Дворец возник как дом «фонтего» в ярко выраженном позднеготическом стиле. Первая часть здания датируется 1300 годом и была выбрана дворянским родом Контарини из ветви Сан-Патерниан в качестве семейной резиденции благодаря стратегическому расположению здания, находящегося на равном расстоянии от Риальто — торгового центра — и Сан-Марко — центра венецианской политической власти. В 1499 году Пьетро Контарини заказал великолепную и изящную винтовую лестницу (по-венециански «боволо»), чтобы ещё больше «украсить» эту сторону дворца, и без того богато украшенную фресками с цветочными мотивами, от которых сегодня сохранились лишь несколько фрагментов. Авторство этого впечатляющего архитектурного сооружения до сих пор неизвестно. Некоторые историки приписывают его местному мастеру-строителю Джованни Канди, другие называют имя архитектора Джорджо Спавенто.

Сооружение представляет собой спираль ступеней, проходящую внутри цилиндрической башни высотой 26 метров, построенной из истрийского камня и открытого кирпича, прорезанной рядом арок и окруженной лоджиями, соединяющими её с соседним зданием.