岩殿山は９世紀の末、天台宗の岩殿山円通寺として開創されたと伝えられ、10世紀には門前町が作られ、13世紀には修験道の場としても栄え、その支配は甲斐国中の山梨、八代の東部一帯、駿河国は富士郡付近まで及んだという。

16世紀になって戦国大名による領地支配が成立すると武田氏の支配下におかれ、小山田氏が入り岩殿城として武蔵、相模に備える戦略上の拠点とされた。

武田氏滅亡時、新府城を焼き捨てて岩殿城への退却を決意するも、城主の旧臣、小山田信茂に裏切られ、天目山で自害した。明治12年に乃木希典が岩殿山に登った時、正面の鏡岩を見て「兎も登れない」と感嘆した難攻不落の城。