源姓足利氏の祖、足利義兼が文治年間に館を築いたといわれる。中世武士館の典型と言われるもので、一辺が200mほどの方形状で、周囲には堀と土塁が廻っています。

現在は鑁阿寺（ばんなじ）というお寺。本堂は国宝に指定されるとかされたとか。日本100名城に指定されているが、お寺としての方が有名。