Exposée au cours des siècles aux invasions, l'ile connait plusieurs vagues de fortifications. La plus ancienne aux temps préhistoriques, fut l'aménagement défensif de la pointe Nord-Ouest de l'ile dite aujourd'hui" Pointe du Vieux Château".
En 1693, dans le cadre de la défense de Belle-ile, Vauban fait édifier à la pointe Nord-Est d'Hoedic une batterie circulaire qui sera détruite en 1746 par les Anglais. Le fort actuel d'Hoedic, édifié au centre de l'ile, date du milieu du XlXe siècle.
Les travaux de construction de ce dernier ont débuté en 1847, suite à une ordonnance de Louis-Philippe, les autorités militaires de l'époque voulaient assurer la protection des côtes bretonnes contre les flottes anglaises. Ce fort n'a jamais été armé, et au fil du temps, les pierres de celui-ci serviront à l'édification d'autres constructions (le phare des Cardinaux par exemple).
En 1881, il abrite la première école laïque. Il est vendu en 1893 Ã une entreprise de fabrication d'iode qui exercera son activité jusque dans les années 1930. Puis il fut abandonné de nombreuses années. Le Conservatoire du Littoral en devient le propriétaire en 1979 et entreprend des travaux de réhabilitation.
L'étage supérieur du fort offre un espace pédagogique (expositions, animations, documentation) et la partie intermédiaire est affectée au C.N.H et à l'hébergement (gîte d'étape).