安藤家の初代・直次は家康傘下の重鎮であり、小牧・長久手の戦いでは池田恒興、森長可という豊臣方の重臣を立て続けに討ち取るという輝かしい戦果を上げた。
1607年(慶長12年)、家康が秀忠に将軍の位をゆずり、駿府城に移った際にも同行している。そこでは本多正純、成瀬正成とともに大御所側近として国政にかかわった。大坂の陣にも出陣し、家康の十男・頼宣の補佐を務めている。直次は長男・重能を戦死させながらも奮戦して、戦後、安藤家は遠江国掛川藩2万石に封じられた。
1619年(元和5年)、頼宣が紀伊徳川家の当主となると、直次は付家老(御三家の家老)として登用され、紀伊国田辺へ転封となる。このとき、加増を受けて石高は3万8千8百石となった。
以降、安藤家は代々、紀伊国和歌山藩を治める紀伊徳川家の家老職を歴任する。しかし、立場上は和歌山藩主の家臣であったため、安藤家が藩主になることはなかった。
安藤家が藩主となったのは、1868年(明治元年)、16代・直裕の代になってからだった。朝廷から御三家の付家老も藩主に加えるという旨が下され、ようやく田辺藩を治めることとなったのである。
とはいえ、ほどなく幕府は滅亡し、版籍奉還が行なわれて直裕は田辺藩知事に任命される。後を継いだ17代・直行は後に男爵位を授けられ、貴族院議員も務めた。