青山家は古くから三河国に根ざし、松平家に仕えた古参である。
家康の小姓を務めた青山忠成は1601年(慶長6年)、内藤清成、本多正信とともに初代の江戸町奉行に就任した。同11年、2万石を与えられて大名の仲間入りを果たす。
忠成の後を継いだ忠俊は、大坂の陣で戦功を上げ、老中に任命される。彼は酒井忠世、土井利勝とともに「寛永の三輔」と呼ばれ、家康と秀忠から3代将軍・家光の補導役を命じられるほど信頼されていた。1620年(元和6年)には、武蔵国岩槻藩4万5千石に入封されている。
忠俊は実直な性格で、家光へのきびしい諌言もいとわなかった。だが、これが家光には疎ましかったらしい。忠俊は家光の機嫌を損ね、2万5千石の減封を受けて上総国大多喜藩2万石へと左遷されてしまう。
忠俊は改易に等しいこの処分を受け入れず、嫡男の宗俊ともども相模国に蟄居する。結局、石高は大御所の秀忠から1千石を与えられたのみで、大名の座からは転落した。
その後、青山家は子の宗俊の代に再興を図る。宗俊は家光に誠実に仕え、家光も先代の忠俊の諫言を恩に感じて、宗俊を取り立てた。書院番頭、大番頭と出世した宗俊は1648年(慶安元年)、信濃国小諸藩3万石に入封する。さらに大坂城代に進み、1678年(延宝6年)には遠江国浜松藩5万石へと転封された。
その後、青山家は4代・忠重の代に丹波国亀山藩5万石、6代・忠朝の代に丹波国篠山藩5万石へと転封され、そこに落ち着くことになる。青山家は藩校の「振徳堂」を創設するなど、藩内教育に力を入れていた。
青山家歴代でも名君とされるのが9代・忠裕である。彼は奏者番から寺社奉行を兼任、西の丸若年寄、大坂城代、京都所司代という出世コースを歩んで老中に就任した。
忠裕は実に30年以上もの間、老中の職責を果たし、11代将軍・家斉が太政大臣に昇進した際には謝恩使を務めるなど、さまざまな業績を残した。これを認められ、青山家は1万石を加増される。また、振徳堂を拡充したり、「丹波焼」で知られる領地の特性を活かすために京都から青磁の名工を招いたりして、藩政にも力を注いだ。嫡男の11代・忠良も老中になっており、1837年(天保8年)の大塩の乱(困窮する庶民の救済を求めて、元大坂町奉行所与力の大塩平八郎が起こした反乱。すぐに鎮圧されたが、幕臣が幕府に反旗を翻したことで大きな反響を生んだ)の際には藩士を派遣して適切な措置を取ったとして褒賞を受けている。
忠良は1848年(嘉永元年)に老中を辞任する。折しも幕末期を迎え、青山家は京都の守衛を命じられた。1864年(元治元年)の禁門の変(京都を追放されていた長州藩が挙兵し、強引に京都に入ろうとして警固役の薩摩・会津藩と戦闘になった事件。長州藩は敗走し、幕府は長州征討の断行を決定した。蛤御門の変とも)などでは、忠良が自ら軍を率いて出陣している。
青山家は譜代大名として幕府側についていたが、大政奉還の後、家老や重臣たちは西園寺公望の率いる新政府軍に帰順することを決める。その頃、12代・忠敏は15代将軍・慶喜に従って江戸にいたが、領地の状況を聞いて京都に戻り、自身も新政府軍に帰順した。
忠敏は版図を朝廷に返還する版籍奉還の後、篠山藩知事に任命されているが、数年で亡くなる。青山家の家督は弟の忠誠が相続し、忠誠には後に子爵位が授けられた。