出羽国上山藩・藤井松平家の分家。2代・信吉の次男・忠晴が興した。
駿河国田中藩2万5千石から始まり、遠江国掛川藩3万石を経て丹波国亀山藩3万8千石が与えられた。
その後、3代・忠周のときに武蔵国岩槻藩4万8千石、但馬国出石藩4万8千石、信濃国上田5万8千石と転封をくり返す。忠周は後に老中にも任命された。
しかし、4代・忠愛のときに大火や水害、5代・忠順のときには宝暦騒動と呼ばれる全藩一揆が起き、藩政は揺れ動いた。
8代・忠固(1度目の就任時の名は忠優)は2度、老中に任命され、開国をめぐる混乱の中で幕政を担ったが、通商条約締結の際、調印後に違勅の条約を結んだと断罪され、老中職を罷免されている。
9代・忠礼のときに明治維新を迎え、佐幕派から尊皇派に変わって新政府軍に従った。