La villa è stata la casa di famiglia dei Manzoni per quasi due secoli e faceva parte delle vaste proprietà immobiliari possedute da Alessandro nel territorio di Lecco.

La villa presenta una struttura tipicamente neoclassica, sobriamente elegante, con una facciata scandita da modanature in arenaria. Un ampio portone immette nel cortile centrale, circondato da un portico con serliane e pilastri anch'essi in arenaria. Adiacente all'edificio vi è tutt'ora un parco, più piccolo dell’originario, da cui si accedeva al fondo agricolo coltivato a viti e a gelsi.

Il primo dei Manzoni che abitò nella casa del Caleotto fu il quadrisavolo dello scrittore, Giacomo Maria, come si legge in un documento datato 15 agosto 1621. Egli accumulò un ingente patrimonio costituito da fucine, opifici, altiforni per la lavorazione del ferro, diventando il maggiore imprenditore siderurgico del Ducato di Milano, un signorotto potente e prepotente circondato da Bravi. L'importanza della siderurgia lecchese era dovuta al fatto che il governo degli Spagnoli vi faceva affidamento per armare il proprio esercito. Dopo Giacomo Maria, tutti gli antenati di Alessandro vissero nella villa. Con la diminuzione dei profitti della mercatura del ferro la famiglia Manzoni indirizzò i suoi investimenti verso la rendita fondiaria. Il padre dello scrittore, Don Pietro Antonio, nacque nella villa del Caleotto il 2 luglio del 1736. Egli proseguì il lavoro di ristrutturazione dell'edifico iniziato da suo padre con decorazioni classicheggianti che denotavano il suo interesse per l'antiquariato, lo studio erudito dell'archeologia e della storia.

Dalle stanze della villa e dalle numerose passeggiate il giovane Alessandro poteva godersi il paesaggio che spaziava dal lago alle creste del monte Resegone. Proprio da questi ricordi visivi dell'infanzia e della prima giovinezza scaturì l’ispirazione e la modalità descrittiva del celebre incipit de I Promessi Sposi “Quel ramo del lago di Como …”.

La villa era il centro di una vasta tenuta agricola coltivata a vite e a gelso e probabilmente furono i contadini che curavano i fondi a trasmettere ad Alessandro la passione per la coltivazione delle erbe e dei fiori. Proprio nel parco del Caleotto Manzoni provò innesti e sperimentò la coltivazione di piante esotiche, come il caffè.

Nel 1818 Alessandro vendette l’edificio e tutti i beni lecchesi a Giuseppe Scola per trasferirsi a Brusuglio (Cormano), dove iniziò a scrivere Fermo e Lucia. Dopo la vendita della villa Manzoni non tornò mai più a Lecco. Lo Scola era un agiato industriale serico che risiedeva a Vercurago, alle porte di Lecco. I successori dello Scola mantennero, almeno al piano terreno, l’aspetto originario degli ambienti e perfino molti mobili e arredi originari nella medesima collocazione, consentendo a studiosi e personaggi pubblici di recarsi in pellegrinaggio negli ambienti che videro la gestazione del più famoso romanzo della letteratura italiana.Questa tradizione ha permesso di mantenere a tutt’oggi nelle sale del Museo Manzoniano una suggestiva atmosfera di casa-museo e di dimora aristocratica ottocentesca.

A Villa Manzoni hanno sede anche la Galleria Comunale d'Arte, la Sezione Separata d'Archivio, la Fototeca e la Biblioteca Specializzata, una sala per esposizioni temporanee nelle antiche scuderie, oltre agli uffici della Direzione del Si.M.U.L.