Die Festung wurde gegen Mitte des 13. Jahrhundert von den Dänen gegründet. 1345 wurde die Festung von den Dänen mitsamt Narva und Ostestland an den Deutschen Orden verkauft. Nach dessen Auflösung war sie von 1558–1704 in schwedischem, danach in russischem Besitz. Wie der Großteil Narvas wurde sie im zweiten Weltkrieg fast vollständig zerstört. In der inzwischen restaurierten Festung befindet sich heute ein Museum.
Gegenüber der Hermannsfeste, auf der anderen Seite der Narva, liegt in unmittelbarer Nähe die russische Festung Iwangorod.