遠山家は美濃国遠山荘に拠点を置いた一族で、織田信長に従っていた。初代・友政は信長の死後、家康に仕える。「関ヶ原の戦い」の後、旧領の苗木城を中心に1万石あまりを与えられ、美濃国苗木藩を立てた。
以降、転封はなく、幕末に至るまで幕閣の要職に就く者も現われなかったため、遠山家は藩政に力を注いだ。
5代・友由の頃から藩財政はきびしくなり始め、たびたび倹約令が出されるようになる。友由は「百姓衣類定書」、6代・友将は「御家御条目」を発し、質素倹約に努めるよう促す条項を策定する。9代・友清の発した倹約令は59カ条にもおよんだ。
12代・友禄が幕末期、若年寄まで出世し、幕政に関与している。その後、版籍奉還を経て友禄は苗木藩知事に任命され、家督を継いだ婿養子の友悌が子爵位を授けられた。
なお、この遠山家とは別に旗本の遠山家があり、こちらから桜吹雪の刺青で知られる遠山金四郎景元が出ている。