遠藤家はもともと摂津国に拠点を置き、尾張国に移って織田信長に仕えたとされる。遠藤胤好の子・盛数は東常慶の養子となり、その所領2万石を相続した。その後、盛数は遠藤姓を名乗り、これが譜代大名・遠藤家の系譜の始まりとされている。
盛数の嫡男の慶隆は織田信長や豊臣秀吉に仕えた。しかし「小牧・長久手の戦い」で織田信雄と連絡を取っていたことを秀吉にとがめられ、減封されて所領も没収される。その後、「関ヶ原の戦い」では東軍に参加し、西軍から寝返った稲葉貞通との間で和議を結んだ功績から旧領を回復された。こうして遠藤家は美濃国郡上藩を治める譜代大名となる。
遠藤家は郡上藩の藩主を5代にわたって務めるが、5代・常久が7歳で死去したため、ここで一度、取り潰された。
常久は難病を患っており、重臣の池田主馬がこれを毒殺して自分の子を身代わりに立てようとしたという陰謀説も残っている。しかし、結局は幕府の知るところとなって、遠藤家の断絶につながったようだ。
ただ、遠藤家は初代・慶隆の功績を鑑みて家名の存続は認められ、6代・胤親が近江国三上藩1万石に改めて封じられることになった。それから大坂加番を任される家柄となり、10代・胤統は大坂町奉行所与力・大塩平八郎が起こした反乱の鎮圧にも貢献している。胤統はこの功績を認められて若年寄を務め、2千石の加増も受けた。
11代・胤城は奏者番として15代将軍・慶喜に仕えている。しかし、新政府軍に恭順するために奏者番を辞職し、版籍奉還を経て三上藩知事に任命された。その後、和泉国吉見藩に移り、そちらの藩知事も務めている。胤城は姓を遠藤から東にも改め、後に子爵位を授けられた。