三河国藤井郷を拠点とし、家康の父・松平広忠に仕えたため、藤井松平家と呼ばれる。
初代・信一は1568年(永禄11年)、家康の命を受けて織田信長が六角承禎を攻める際の援軍にかけつけた。そこで信一は六角家の居城・箕作城を落城させるという大手柄を立て、信長から直々に羽織を与えられたという。その後も徳川家の武将として活躍し、「関ヶ原の戦い」の後、常陸国土浦藩3万5千石に封じられた。
2代・信吉のときに1万石を加増され、上野国高崎藩5万石、さらに丹波国篠山藩5万石へと転封される。3代・忠国のときには2万石の加増を受けて播磨国明石藩7万石に転封となった。文学を好んだ信吉は、この地が『源氏物語』や『平家物語』の舞台となったことにちなみ、碑を建立している。
4代・信之は家督を相続する際、弟に5千石を分与した。その後、1万5千石の加増を受けて大和国郡山藩に転封される。信之は老中にも任命され、さらに1万石を加増されている。下総国古河藩に転封されたとき、藤井松平家の石高は9万石に達していた。
しかし、5代・忠之のとき、側用人が重用され、家老や他の重臣たちが藩政から遠ざけられて、藩内に亀裂が生じる。さらに忠之は突如として乱心し、自分の髪を切り落として周囲にもそうするよう声を荒らげた。
家臣たちは口裏を合わせてこのことを隠そうとしたが、幕府に知られ、藤井松平家は所領を没収される。が、由緒ある家柄であることを考慮され、忠之の弟の信通が家督を相続し、新たに備中国庭瀬藩3万石に封じられることとなった。信通は忠之が家督を相続したときに1万石を分与され、大和国興留藩を立てていたが、この藤井松平家宗家の相続の影響で廃藩となった。
信通はその後、出羽国上山藩に転封となり、すでになくなっていた上山城を再建する。これで藤井松平家は城主の家格を手に入れたのだが、加増がない上に城を再建するのでは出費がかさむだけで、実質上の減封だった。こうして藩財政が困窮し、信通は藩士を大幅に削減する。
8代・信将のとき、凶作から米価が高騰、大規模な一揆が起こった。領民は藩に十一カ条からなる要求を突きつけ、一揆の首謀者は処刑されたが、要求は聞き入れられた。しかし、その後も洪水が発生するなど、藩財政はきびしいままだった。9代・信亨はそんな情勢下で和歌や俳諧、書画に入れ込み、藩政をおろそかにしたため、家臣によって藩主の座を追われている。
10代・信古のときになっても藩財政は回復せず、改革派の家臣たちは信将の実家である分家、上田藩藤井松平家に頼ろうとした。しかし、うまくいかず、改革派は藩政から排斥されてしまう。こうした家中の混乱は11代・信愛のときも続いたが、12代・信行が藩政改革に着手し、藩士の俸禄を増額したことでようやく収まった。
14代・信庸のとき、藤井松平家は幕末の混乱から江戸市中取締を命じられ、鶴岡藩の軍勢と協力して薩摩藩邸を襲撃する。藤井松平家は佐幕の立場を取り、翌年には領民から有志を募って農民隊を組織し、新政府軍に従った鶴岡藩と激突した。
その後も奥州の各藩とともに抵抗を続けるが、やがて新政府軍に降伏し、信庸は3千石を減封されて隠居に追い込まれる。家督は5歳の信安が継ぎ、ほどなく版籍奉還を迎えた。信安は上山藩知事に任命されるものの、幼少のため、兄・信庸が補佐につく。後に信安には子爵位が授けられているが、1908年(明治41年)に返上された。