Le palais fut initialement construit comme une demeure « fontego » de style manifestement gothique tardif. Le premier noyau du bâtiment remonte en effet à 1300 et fut choisi par les nobles Contarini de la branche de San Paternian comme résidence familiale en raison de la position stratégique qu’occupait l’édifice, à égale distance du Rialto – lieu de commerce – et de Saint-Marc – centre du pouvoir politique vénitien. En 1499, Pietro Contarini fit réaliser le splendide et gracieux escalier en colimaçon (le « bovolo » en vénitien) afin d’« embellir » davantage cette façade du palais, déjà richement décorée de fresques à motifs floraux, dont il ne reste aujourd’hui que quelques fragments. La paternité de cette imposante œuvre architecturale reste encore inconnue. Certains historiens l’attribuent au maître d’œuvre local Giovanni Candi, d’autres avancent le nom de l’architecte Giorgio Spavento.

L'ouvrage est constitué d'une spirale de marches qui s'élève à l'intérieur d'une tour cylindrique de 26 mètres de haut, construite en pierre d'Istrie et en briques apparentes, percée d'une série d'arcs et flanquée de loggias qui la relient au bâtiment adjacent.