阿部家は平安時代の関白・藤原道兼の末裔とされ、阿部正宣が松平清康に仕えたことから譜代大名になる。
正宣の子・正勝は幼い頃から家康に仕え、今川家や織田家のもとで人質生活を送る家康にずっとつき従っていた。家康が独立した後も忠臣として活躍し、関東に入った際に武蔵国鳩谷に5千石を与えられている。
初代・正次は正勝から家督を相続し、関ヶ原の戦いにも従軍した。その後、5千石を加増されて武蔵国鳩谷藩を治める大名となる。さらに大坂の陣では2代将軍・秀忠の側近として出陣し、戦功を立てて上総国大多喜藩3万石、続いて相模国小田原藩5万石へと、次々に入封していった。
1623年(元和9年)、老中の青山忠俊が解任・転封されたことを受け、阿部家は武蔵国岩槻藩へと移る。正次はこのとき、忠俊に代わって老中に任命された。その後も加増は続き、1626年(寛永3年)、正次が大坂城代になったときには阿部家は8万6千石の石高を与えられるまでになっていた。
正次への将軍家の信頼は厚く、島原の乱で3代将軍・家光の許可を得ずに九州の諸大名に討伐命令を出したときも、咎められるどころか迅速な対応をしたとして賞賛されたほどだったという。
また、正次は晩年、大坂城代を務めたとき、自分が生きているうちは大坂城を他人に任せることはできないと、病にかかりながらも役職を辞さずに大坂城で没した。家光は正次を深く信頼し、典医(徳川将軍家専門の医師)を大坂に派遣して正次の治療に当たらせたほどだったという。
2代・重次は正次の次男で、別の家に養子に出されていたが、兄の正澄が若くして亡くなったため、阿部家に戻って家督を継いだ。重次は家光が選任した六人衆の1人で、後に老中に任命され、幕府の最高決定機関である老臣会議に加わることになる。正次の遺領などを合わせて9万9千石まで阿部家を繁栄させたが、家光の死後、内田正信、三枝守恵とともに殉死した。
5代・正邦のとき、阿部家は丹後国宮津藩、下野国宇都宮藩へと転封され、1千石の加増を受けて10万石の大名となる。そして1710年(宝永7年)、備後国福山藩に移った。福山藩は西国への備えとともに、天領の石見銀山の治安を維持するという重要な役割があった。
阿部家はそれほどの要職を任される家柄の譜代大名だったのである。
江戸時代の後半には、阿部家は代々老中を輩出する家格になっていた。7代・正右、8代・正倫、9代・正精、11代・正弘と次々に老中に任命されている。
特に正弘は幕末を代表する幕閣として名高い。正弘は水野忠邦が失脚した後、25歳の若さで老中になる。翌々年には老中首座として幕政の頂点に立ち、特に外交に力を入れた。この頃、1万石の加増を受けている。
1853年(嘉永6年)、浦賀に黒船が来航し、開国論が沸き起こる。正弘は徳川斉昭や島津斉彬に協力を求め、将軍家と御三家、諸大名、朝廷との間を取り持って挙国一致の外交態勢を整えようとした。翌年、ペリーの再来航に際して開国を決定し、日米和親条約を締結する。その後、開国に備えて講武所や洋学所を創設し、長崎には海軍伝習所を開いた。
正弘は14代将軍に一橋慶喜を推薦している。慶喜の才覚を高く買っており、難局を乗り切る力があると考えてのことだった。だが、1857年(安政4年)に正弘は没し、幕政は井伊直弼の登場によって正反対の方向に転じてしまう。アメリカ公使バリスは「日本の開進のために大損失である」と、正弘の死を嘆いたという。
阿部家はその後、長州征討に加わって出兵するものの、敗戦を味わい、やがて新政府軍に飲み込まれていく。
箱館五稜郭の戦いには新政府軍として参戦し、版籍奉還を経て14代・正桓が福山藩知事に任命された。明治維新の功績により、阿部家は伯爵位を授かっている。