永禄11年(1568）、武田信玄が遠江を押さえるための築いた砦が始まりで、元亀2年（1571）、馬場美濃守によって本格的な築城が行われ小山城の名がついた。

徳川家康との戦いが何度も繰り返されるが、天正9年（1581）3月 高天神城が攻略されると武田方の城兵は城に火をかけ甲府に撤退。小山城は徳川の城となった。