備後国福山藩阿部家の分家で、阿部正勝の次男・忠吉からつながる系譜。初代・忠秋は3代将軍・家光の上洛に共奉し、従五位下豊後守に叙任された。その後、六人衆の1人に選ばれ、そこから老中並、老中と出世し、1635年(寛永12年)に下野国壬生藩2万5千石を与えられる。
忠秋はそれから30年近く老中を務め、4代将軍・家綱の後見役としても活躍した。1639年(寛永16年)には武蔵国忍藩5万石に転封、さらに加増を重ねて阿部家は8万石の大名となる。
2代・正能は忠秋の養子で、忠秋の隠居後、家督を相続し、後任のような形で老中に任命された。しかし、阿部家の分家でありながら老中を世襲することがはばかられたのか、忠秋の強い勧めにより、3年ほどで辞職している。
3代・正武は5代将軍・綱吉のもとで出世し、老中に任命される。正武は学問に強い興味を示し、綱吉とも馬が合った。諸大名家の記録の蒐集を命じられ、3年弱を費やして『武徳大成記』30巻を献上するなどしている。正武は3度にわたって加増を受け、阿部家の石高は10万石に達した。
その後、4代・正喬、5代・正允が老中に任命され、それ以外の当主も大坂城代や京都所司代などを歴任するが、目立った実績は残しておらず、家格に応じて役職を得たとする向きが強い。
9代・正権のとき、阿部家は陸奥国白河藩へ転封される。白河藩主の松平定永は伊勢国桑名藩へ、桑名藩主の松平忠尭は忍藩へ転封という、三方領地替えだった。
幕末の1866年(慶応2年)、阿部家は陸奥国棚倉藩10万石へ転封となる。直後に戊辰戦争が勃発し、16代・正静は幕府に忠誠を誓って出兵した。
しかし、新政府軍に棚倉城を攻め落とされ、正静は官位を剥奪、隠居を余儀なくされる。阿部家も4万石の減封を受けた。
17代・正功は版籍奉還を経て、棚倉藩知事に任命されている。後に子爵位を授けられ、第十五銀行の大株主にもなった。