Il paese si adagia su di un colle, da cui domina tutta la vallata incastonata tra i morbidi appennini e le più imponenti Alpi Apuane. La sua storia prende avvio in epoca romana dall'antico 'Castrum Leonis' , costruito sul territorio strappato ai liguri apuani. Castiglione fin da quei tempi fu tenuto in gran conto per la sua posizione di controllo sulla via che conduceva al passo di San Pellegrino. A quei tempi, quest'ultimo costituiva per gli eserciti, uno dei più facili passaggi dell'appennino. Proprio per la sua posizione strategica ebbe un passato molto tormentato e subì molti assedi. Il primo, da parte dei lucchesi, nel 1170 provocò molti danni.Torrione San Michele La resa impegnò Lucca alla ricostruzione ed alla elevazione a sede di Vicaria, ma a causa delle prepotenze e degli onerosi balzelli imposti Castiglione si fece promotore di una lega di comuni garfagnini contro la stessa repubblica. Nel 1227 fu di nuovo cinto d'assedio e subì nuove distruzioni sempre ad opera dei soldati lucchesi. La pace stipulata nel 1371, consegnò definitivamente la fortezza a Lucca che vi insediò un commissario permanente. Fu potenziata la struttura difensiva con l'ampliamento della cinta muraria ( quella giunta fino a noi). Durante il XV secolo, Castiglione fu una delle comunità garfagnine che, contrariamente alla stragrande maggioranza di queste, non fece atto di sottomissione agli estensi, rimanendo fedele a Lucca. Proprio durante le guerre con gli estensi, la fortezza fu di nuovo cinta d'assedio, in modo particolarmente violento nel 1603 e 1613.