El palacio se construyó inicialmente como una casa «fontego» de evidente estilo gótico tardío. De hecho, el núcleo original del edificio data del año 1300 y fue elegido por los nobles Contarini de la rama de San Paternian como residencia familiar gracias a la ubicación estratégica que ocupaba el edificio, equidistante de Rialto —lugar de comercio— y de San Marcos —centro del poder político veneciano—. En 1499, Pietro Contarini encargó la espléndida y elegante escalera de caracol (el «bovolo» en veneciano) para «embellecer» aún más este lado del palacio, que ya de por sí estaba ricamente decorado con frescos de motivos florales, de los que hoy solo quedan unos pocos fragmentos. La autoría de esta imponente obra arquitectónica sigue siendo desconocida. Algunos historiadores la atribuyen al maestro de obras local Giovanni Candi, mientras que otros sugieren el nombre del arquitecto Giorgio Spavento.

La construcción está formada por una espiral de escalones que se desarrolla en el interior de una torre cilíndrica de 26 metros de altura, construida en piedra de Istria y ladrillo visto, perforada por una serie de arcos y flanqueada por galerías que la conectan con el edificio adyacente.