O palácio surgiu como uma casa «fontego» de evidente estilo gótico tardio. O primeiro núcleo do edifício remonta, de facto, ao ano de 1300 e foi escolhido pelos nobres Contarini do ramo de San Paternian como residência da família, graças à posição estratégica ocupada pelo edifício, equidistante de Rialto — local de comércio — e de São Marcos — centro do poder político veneziano. Em 1499, Pietro Contarini encomendou a esplêndida e graciosa escadaria em espiral (o «bovolo» em veneziano) para «embelezar» ainda mais este lado do palácio, já de si ricamente decorado com afrescos de motivos florais, dos quais hoje restam apenas alguns fragmentos. A autoria desta imponente obra arquitetónica continua desconhecida. Alguns historiadores atribuem-na ao mestre-de-obras local Giovanni Candi, outros sugerem o nome do arquiteto Giorgio Spavento.

A construção é formada por uma espiral de degraus que se desenvolve no interior de uma torre cilíndrica com 26 metros de altura, construída em pedra da Ístria e tijolos à vista, perfurada por uma série de arcos e ladeada por galerias que a ligam ao edifício adjacente.