Era la grandiosa residenza di campagna dell’Imperatore Domiziano che si estendeva attorno al lago di Albano. Le due sponde erano occupate dalla sue ville. C’erano palazzo portici e teatri. Le Ville Pontificie del complesso di Castelgandolfo sono state costruite sui resti della parte centrale della residenza dell’Imperatore. Secondo alcuni studiosi dove si trova ora il Palazzo papale era il centro dell’antica Albalonga.

La Villa dominava il mar Tirreno e la collina era stata tagliata in tre grandi terrazze che finivano sul mare. Il criptoportico dove oggi il Papa passeggia al coperto  era lungo in origine oltre 300 metri. Adesso ne rimangono solo circa 120. Gli altri imperatori non si interessarono però alla grandiosa villa e preferirono scegliersene altre. Adriano si fece costruire la Villa di Tivoli. La storia tace fino al 1200 quando sulle rovine di Albalonga la famiglia genovese dei Gandofi (da cui il nome di Castegandolfo) eresse appunto una rocca quadrata con in piccolo cortile interno, che c’è ancora.

    Nel 1596 papa Clemente VIII con la Bolla dei Baroni prese possesso del castello, togliendolo ai Savelli che l’avevano presa ai Galdolfi. Insomma quella Rocca passò in molte mani in tre secoli finché il Papa con un decreto del Concistori dei cardinali e nel 1604 lo dichiarò “patrimonio inalienabile della Santa Sede”. Paolo V portò l’acqua con l’acquedotto che le attingeva dal Malafitto, una sorgente sulle montagne intorno e bonificò la zona prosciugando un laghetto.

Urbano VIII, Papa Barberini, eletto nel 1623 fu il primo Papa che decise di villeggiare stabilmente a Castelgandolfo. Fece restaurare la Rocca e costruire l’ala del palazzo che guarda il lago, a sinistra dell’attuale facciata. E si cominciò ad ampliare il giardino e ad affrescare gli interni. Alessandro VII, Papa Chigi, costruì l’altra ala a destra del portone quello che guarda verso il mare.

Ma fu Clemente XIV ad acquistare la villa accanto, Villa Cybo, e il parco di tre ettari. Nel 1870 con la presa di Porta Pia e la fine dello Stato Pontificio la residenza papale di Castelgandolfo finì dimenticata, perché, nonostante la “Legge delle Guarentigie” l’aveva inclusa tra le pertinenze del Papa, i Pontefici non uscirono più dal Vaticano, nemmeno per andare in vacanza a Castelgandolfo.