Nella odierna Piazza Guglielmo Pepe, nell'ultimo tratto a destra del Corso Giuseppe Garibaldi, l'area compresa tra l'angolo sud-occidentale della piazza, Via Nuova Marina fino ai pilastri della Porta del Carmine ed il lato sud della Piazza del Carmine, è occupata dagli edifici e dalle torri che costituiscono tutto ciò che resta del Castello del Carmine.
Tutto iniziò quando, nel 1382, Carlo III di Durazzo fece costruire una torre che, per la sua forma, fu chiamata lo "Sperone". Nel 1386, durante la lotta fra angioini e durazzeschi, allo sperone furono aggiunte nuove opere di difesa.Nel 1484, re Ferrante d'Aragona, pensò ad un allargamento delle mura cittadine e, nel quadro di queste opere, inserì anche l'ampliamento e il rinforzo del torrione preesistente trasformandolo in un solido baluardo nel sistema difensivo cittadino.
Nel 1566, complice una formidabile alluvione provocata da un torrente, il torrione fu gravemente danneggiato. Fu deciso, quindi, di ricostruirlo daccapo più forte e più solido stavolta, però, di forma quadrata così come volle il vicerè Parafan de Ribera.
Nel 1647, il torrione divenne il quartier generale del successore di Masaniello, Gennaro Annese e, successivamente, riuscì a molestare il movimento delle navi spagnole cannoneggiando il porto. Per un certo periodo di tempo, nel torrione, alloggiò Enrico di Lorena, duca di Guisa, sbarcato a Napoli per capitanare la Serenissima Repubblica del Regno di Napoli. Ma, l'esperimento durò molto poco e, nel 1648, il vicerè Velez de Guevara, conte d'Ofiate, trasformò il torrione in un castello fortificato che fu presidiato da un buon numero di soldati, onde evitare il ripetersi degli eventi trascorsi.Ma fu fra 1660 e il 1665 che il Castello del Carmine, con la sua cinta bastionata, diventò una vera e propria fortezza e questo fu dovuto al vicerè Gaspare di Bracamonte, conte di Penaranda e al cardinale Pasquale d'Aragona.
Arriviamo così al 1799. Dopo la caduta della Repubblica Partenopea e la violazione dei patti di resa che gettarono per sempre una macchia sul nome di Orazio Nelson, nel castello del Carmine furono imprigionate personalità di spicco che furono protagonisti di quel periodo e, fra questi Eleonora Pimentel Fonseca, Luisa Sanfelice, Ettore Carafa, Giuliano Colonna, Gennaro Serra e Oronzio Massa.Per tutto l'800, il Castello fu adibito a carcere militare, poi, nel primo decennio del '900, fu adattato in parte per essere un panificio militare, in parte a caserma.Attualmente, il panificio non è più funzionante e la caserma, nonostante la presenza della targa con la scritta "Caserma Gen. Giacomo Sani", non è più tale. Nella struttura, infatti, sono solo alloggiati gli uffici della Direzione e del Commissariato della Regione Militare Meridionale.Sull'altro lato del castello, quello che da su Piazza del Carmine e su Via Marina, vi è l'ala occupata dal Centro di raccolta e smistamento vestiario.In questa zona, il traffico è caotico, le auto che vi transitano sono davvero tantissime, la piazza del Carmine è occupata da un enorme parcheggio e nessuno più presta tanta attenzione a quanto lo circonda: la splendida chiesa del Carmine, di cui abbiamo già trattato, il grande spazio della piazza che potrebbe essere destinato a attività diverse e soprattutto restituito alla dignità che meriterebbe e il Castello, questa costruzione cui nessuno volge manco lo sguardo e che invece, se potesse parlare, ci racconterebbe di fatti, avvenimenti ed episodi che hanno contribuito a fare la storia di questa nobile, sempre incantevole città.