紀州徳川家の家老、安藤直次が湊城を拡張し、築いた城。以後幕末まで安藤家の居城であった。
廃藩置県とともに城は払い下げられ、現在は僅かに水門が旧状を残すのみである。