Nelle fonti seicentesche viene descritto come un edificio a due piani, con un cortile e un grande portico, usato come casa del giardiniere. La struttura restò immutata fino al 1791 quando subì significative trasformazioni ad opera dell’architetto Mario Asprucci, su commissione del principe Marcantonio IV Borghese (1730-1800), promotore di una generale trasformazione della villa. Il progetto prevedeva l’aggiunta di massicci speroni angolari e ampie aperture al piano terreno. Sulla sommità della fabbrica Nicola Fagioli realizzò una torretta quadrangolare contenente un orologio, che avrebbe caratterizzato l’edificio, mutandone definitivamente la denominazione. L’antico Casino del Giardiniere venne destinato ad accogliere la collezione di statue e arredi antichi provenienti dalla tenuta dei Borghese a Pantano, rinvenuti negli scavi dell’antica città di Gabii, condotti sotto la direzione di Gavin Hamilton (1723-1798). Il Museo di Gabi, inaugurato nel 1797, ebbe purtroppo vita breve perché nel 1807 buona parte delle sculture gabine vennero vendute a Napoleone Bonaparte, di cui Camillo Borghese aveva sposato la sorella Paolina. Nella seconda metà dell’Ottocento il Casino ospitò una trattoria e in seguito fu usato per le mostre organizzate dalla Società degli Acquarellisti romani. Subito dopo l’acquisizione e l’apertura al pubblico della villa, avvenuta nel 1903, vennero eseguiti significativi lavori di ristrutturazione, tra cui la realizzazione di un nuovo solaio in cemento armato a copertura dell’edificio. Nel 2006, in occasione di un nuovo adeguamento funzionale, furono rimosse le tramezzature, realizzate all’interno del grande salone al piano terreno negli anni Cinquanta del secolo scorso e rinvenute consistenti tracce dell’originaria decorazione ad affresco, con un finto pergolato animato da uccelli variopinti. Dal 2020 l'edificio è sede della Sovrintendenza Capitolina ai BB. CC. - Direzione Ville, Parchi storici e Musei scientifici.