苗木城は天文年間（1532年頃）に遠山直廉によって築かれたとされます。
直廉は、岩村城主・遠山景友の次男で織田信長の妹を正室としています。直廉の娘はのちに信長の養女となって武田勝頼に嫁ぎ、勝頼の嫡男・信勝を産んでいます。
1572年（元亀3年）、直廉が病没すると跡継ぎがいなかったため、信長の命により一族の遠山友勝が城主となります。
苗木遠山氏は、岩村城の本家と明知城主・遠山氏とともに遠山三人衆と呼ばれていました。
信濃と美濃の境にあることから武田・織田の争いに巻き込まれ、武田氏の東美濃侵攻により岩村城が武田氏の拠点となると、苗木城が織田方の最前線となりました。
「本能寺の変」後の1582年（天正10年）、1583年（天正11年）には東美濃統一を狙う「鬼武蔵」こと森長可から二度にわたり攻撃を受け、落城します。このときの城主、遠山友忠は徳川家康を頼って落ち延びました。
森氏の城となってからは城代として河尻秀長が入ります。
その後、1600年（慶長5年）3月、森可成の6男（長可の弟）で、森氏を継いだ森忠政が川中島に移封されますが、秀長はそのまま美濃に残り、苗木1万石の領主となります。
しかし同年9月に起きた「関ケ原の合戦」が起こると、家康のもとに逃れていた友忠の子、遠山友政が河尻秀長から苗木城を奪い返します。
戦後この功が家康に認められ、遠山氏は再びこの地に返り咲き、苗木藩主として幕末まで苗木の地を治めることになり、苗木城は1871年（明治4年）に廃城となるまで、遠山氏十二代の居城として用いられました。
わずか1万石の大名ということで、苗木藩は全国でも最小の城持ち藩でした。
領民も藩の財政が厳しいことを知っており、一揆も起きなかったそうです。また苗木城の天守もほかの藩のような立派なものではなく、板葺き屋根だったのではないかと推定されています。さらに漆喰を塗る経費が捻出できなかったためか、天守の壁は白漆喰ではなく赤土がむき出しになっており、そこから「赤壁城」の別名がついたそうです。
苗木城は1981年（昭和56年）に国の史跡に指定されています。
