城の始まりは鎌倉時代の仁治元年（１２４０年）有漢郷の地頭・秋庭三郎重信が大松山に砦を築いたことによると伝えられる。今に残る城郭は江戸時代の天和３年（１６８３年）時の城主水谷勝宗が小松山に（標高４３０ｍ）築いたもので、現存する日本の城の中で最も高い所にあり、山上の天険を利用した近世式の城郭として全国に名高い。

元弘年中（１３３１〜３４）、秋庭氏にかわり備後の三好氏の一族である高橋九郎佐衛門宗康が大松山に入城。この頃には縄張りは小松山まで拡張し、弟の大五郎を居城させている。そのあとも、城の縄張りは変遷を遂げ、城主は高氏・上野氏・庄氏・尼子氏と替わり、永禄４年（１５６１）には安芸の毛利元就の支援を得た成羽鶴首城（現川上上郡成羽町）城主三村家親が尼子氏の加番吉田左京亮を討ち、備中松山城主となっている。

元亀３年（１５７２）、将軍足利義昭の仲裁で毛利氏と宇喜多氏の和睦が成立すると、三村元親は東方の織田信長と結び、毛利氏に反旗を翻す。天正２年（１５７４）冬から翌３年夏にかけて毛利・宇喜多連合軍と三村勢との間で備中松山城をはじめとする備中諸城をめぐって激戦が展開される。いわゆる「備中兵乱」で三村氏は滅ぶが、この頃には備中松山城の本城は小松山へ移り、臥牛山一帯は大松山をはじめ天神丸・佐内丸・太鼓丸・馬酔木丸などの出城・出丸が設けられ、全山が一大要塞となっていたことが記録などからうかがえる。また居館である御根小屋も現在の場所（臥牛山南西麓　現高梁高等学校用地）に設けられていたようであるが、本城とともにその縄張りや建物などについて詳細は明らかではない。

関ヶ原の合戦後、全国の実権をほぼ掌握した徳川家康は、毛利領の中で最も東にある備中松山城に国奉行として小堀正次・政一（遠州）父子を赴かせた。小堀氏は頼久寺において政務を執っていたが、政一は、慶長１０年（１６０６）に御根小屋と備中松山城の修築を行っている。その後、政一は所替えとなり、因幡国鳥取から池田長幸が入城。その子長常に嗣子がなく廃絶、常陸下館から成羽を経て、寛永１９年（１６４２）、水谷勝隆が入城する。

水谷氏は、勝隆、勝宗、勝美の三代が備中松山藩を治めている。初代の勝隆により玉島新田の開拓や高瀬舟による高梁川水路の開発など、主に経済基盤が整備され、県下三大祭りとして有名な「備中松山踊り」もこの頃に始まっている。さらに二代の勝宗は、天和元年（１６８１）から３年にかけて備中松山城の大改修を行い、現存する天守や二重櫓、その他の櫓、大手門、二の丸櫓門、搦手門など全容が完成している。しかし、三代の勝美が若くして急逝、跡継ぎがなかったため水谷氏は改易となっている。元禄６年（１６９３）水谷氏断絶後、播州赤穂藩主浅野内匠頭長矩が城の受け取りにあたり、城代家老大石内蔵助良雄は一年近く在番として備中松山城にとどまっている。その後安藤重博・同信友次いで正徳元年（１７１１）に石川総慶が城主となり、延享元年（１７４４）に石川氏に代わって伊勢国亀山（現三重県亀山市）から板倉勝澄が入城する。板倉氏はその後、勝武・勝従・勝政・勝晙・勝職・勝静・勝弼と七代続き廃藩置県を迎える。