Sul acrocoro roccioso che gli fa di base, s’innalza il Castello con la sua poderosa struttura fatta di muraglie cieche a scarpata e di possenti volte in pietra locale.
Il Castello di Porto Venere rappresenta un vero modello di architettura militare genovese, anche se la sua fisionomia ha subito, sia nell’apparenza esteriore, che nella disposizione interna, alcune mutazioni legate al progresso delle fortificazioni e delle armi da fuoco.
A prima vista il Castello si presenta come un massiccio monoblocco, ma, in realtà, consiste in due grandi corpi distinti racchiusi fra mura ciclopiche: un ‘corpo basso’ con prospetto e portone d’ingresso principale sulla grande ‘sala ipostila’ (nome derivante dai templi antichi coperti da tetto  piano sostenuto da colonne) ed un secondo portone d’accesso al sommo del scalinata.
Sopra la suddetta ‘sala ipostila’ è situata la ‘Casa del Castellano’, poiché nel 1500 nel Castello risiedeva un Castellano o Capitano del Popolo, indipendente dal Podestà di Porto Venere. Siccome alla fortezza era assegnata una guarnigione di balestrieri e di archibugieri, dovevano certamente esistere diversi locali per abitazione, ora non più identificabili.
La spianata del ‘corpo alto’ a livello della copertura della ‘sala ipostila’ dovette essere aggiunta nel XVI secolo, proprio per conseguenza dell’introduzione di armi da fuoco.
La parte nord del Castello, comprendente i resti accennati della rocca cinquecentesca, con l’inaccessibile cortina che la cinge ai due lati, gli ampli camminamenti e le garitte a feritoia che vi sono disposti, appare soprattutto attrezzata per la difesa convenzionale con gli archibugi ed armi idonee a respingere gli assedianti. Invece nel grande ‘corpo basso’ del fortilizio, con i suoi bastioni angolati, la difesa avveniva per mezzo di armamento con bocche da fuoco.
Il Castello situato “in excelso rupis”, descritto dal notaio- poeta Ursone da Vernazza nel 1242 e legato alla storia di tutta la Colonia Januensis, non sfuggì alla vicende napoleoniche iniziate con la consegna di Genova e della sua secolare repubblica a Napoleone nel 1797.
In quel periodo, Napoleone destinava il Castello di Porto Venere a prigione politica con la conseguente deturpazione della grande sala ipostila, nella quale sono ancora visibili  i segni delle inferriate. Il panorama che si gode dall’alto del Castello intitolato ad Andrea Doria è di straordinaria bellezza e questo fortilizio suscita anche ammirazione, poiché per secoli ha difeso la base navale di Porto Venere, celebrata quale baluardo di Genova nel Mar Tirreno.