La struttura architettonica e la semplice distribuzione degli spazi interni sono state lette come caratteristiche emblematiche dello stile del Bergamasco, al quale il Poleggi ha affiancato, in qualità di capo d'opera nella direzione dei lavori, l'architetto camerale Bernardino Cantone. E' a quest'ultimo che si riconoscono, fra l'altro, il progetto e la supervisione dei lavori di Strada Nuova, per la cui ideazione non si esclude un possibile coinvolgimento dell'architetto perugino Galeazzo Alessi.

La struttura del Palazzo presenta, al disopra del piano terreno con l'atrio ovale, l'androne, e il cortile, due piani nobili, di cui il secondo più sviluppato in altezza, e un ultimo piano attico nel sottotetto. Ogni passaggio di proprietà determinò cambiamenti nella decorazione interna e nella struttura del Palazzo, con adeguamenti funzionali che, se non stravolsero l'originaria planimetria cinquecentesca, come per altre dimore in Strada Nuova, tuttavia ne modificarono l'assetto.

Per la ricostruzione delle vicende architettoniche dell'edificio sono preziosi i disegni del Rubens, pubblicati nella seconda edizione del suo volume Palazzi Moderni di Genova, e i rilievi del Gauthier editi nel 1818. Dal confronto fra queste due fonti si evidenziano alcuni cambiamenti - databili al primo quarto del Settecento e imputabili alla committenza Pallavicini - che interessarono soprattutto gli ambienti del secondo piano rivolti verso il giardino. Il cortile venne ampliato, arretrando un originario ninfeo poi sostituito dall'odierna scenografica fonte, e si diede così maggior respiro alle ali laterali, "che furono sopraelevate ed allungate alla quota di gronda della costruzione primitiva" (Poleggi 1968).

Alla fine degli anni '60, infine, l'architetto Albini mise mano ad una parziale revisione del secondo piano nobile e dell'appartamento sovrastante, intervenendo con l'inserimento di originali strutture funzionali alla moderna vita del Palazzo.