室町中期に奥州探題を命じられた畠山満泰が築城し、畠山氏歴代の居城として140年余り続いた後、天正14年（1586）伊達政宗の執拗な攻撃により落城した。

豊臣時代には会津領主となった蒲生氏郷の重要な支城として、中通り（仙道）警備の任を与えられ、頂上の本丸やその周辺に石垣が積まれ、近世城郭として機能し始めた。

寛永20年（1643）二本松藩が誕生し、白河藩より丹羽光重公が10万石で入城し、幕末まで10代続くが、戊辰戦争で西軍に徹底抗戦し、城内や家中屋敷のすべてを焼失。7月29日に落城した。

2013年現在、霞ヶ城公園の「本丸跡」は震災復旧により立ち入り禁止になっている。