La construcció de la fortalesa va sorgir davant la necessitat de protegir la regió fronterera de l'Empordà davant les invasions de les tropes franceses. Per aixecar les seves grans obres defensives es van necessitar quasi 13 anys, de 1753-1766. Va rebre el nom de Castell de San Fernando, en honor del rei d'Espanya Fernando VI. El castell ha estat involucrat en importants esdeveniments polítics i militars en la seva història, com el setge de més de tres mesos de 1811 o la celebració de l'última reunió a Espanya de les Corts Republicanes, el 1939. Després de ser utilitzat com com a caserna militar i presó, el 1997 va ser obert a visites publiques.
El Castell de Sant Ferran ofereix múltiples opcions per a les visites. Es pot visitar lliurement el recinte interior utilitzant una audioguia. També hi ha l'opció de visitar el recinte exterior i els espais subterranis a bord de vehicles tot terreny o embarcacions pneumàtiques, amb reserva prèvia.
✔ El recinte defensiu interior, de planta rectangular, format per 6 baluards de diferents mides, units per cortines.
✔ Les obres defensives exteriors, molt ben conservades: el fossat, amb una superfície de 10 ha, 3 hornabecs, 2 contraguàrdies, 7 revellins i 5 galeries de contramina.
✔ L'interior del recinte fortificat. Allotja nou grans edificis. Al centre se situa la impressionant plaça d'armes, amb una superfície de 12.000 m2.
✔ Les cisternes d'aigua. Sota el pati d'armes se situa la reserva d'aigua potable de la fortalesa, formada per quatre grans cisternes amb una capacitat de 40 milions de litres.
✔ Les cavallerisses, una impressionant nau on podien ser allotjats 450 cavalls. Avui només es conserva la meitat de l'edifici original.