伊東家

藤原氏の流れを汲む工藤氏が伊豆国田方郡伊東荘に住みつき、この名を名のるようになった。いわゆる「曾我兄弟の仇討ち」における敵役・工藤祐経もこの一族であり、彼の孫の代に日向国に入って以後九州の有力武家の一つとなった。
戦国時代には飫肥城を拠点に薩摩氏と激しく争ったものの最終的に敗れ、時の当主・義祐は血縁を頼って豊後国の大友宗麟のもとへ逃げのびた。
ところがこの大友氏も島津氏に敗れたため、義祐は京へ逃れて羽柴（豊臣）秀吉に仕えた。彼の子・祐兵が秀吉の九州征伐に従軍して活躍し、その功によって飫肥城と日向南部の所領（石高はその後の検地によると5万7千8十6石余り）を与えられ、大名として復帰することになった（その後、3代）。また、関ヶ原の戦いでは東軍に付き、所領を守っている。

飫肥藩が領した日向南部は山がちな地形であり、耕作にはあまり適していなかったが、代わりに特産品として飫肥杉（伊東杉）があった。そのために藩は林業を奨励し、「三分の一山」制度で3分の2は民の収入としてよいとしたため、藩内の至る所に杉山を見ることになり、逼迫する財政の大きな助けとなったという。
また、10代・祐鐘の時には、植林作業の労賃として食料を与えることで大飢饉に苦しむ農民たちの救済と長期的な造林を結びつけるなどの政策も行われている。

一方、飫肥藩にとって大きな問題となったのは、戦国時代から続く薩摩藩・島津家との因縁であった。これは特産品の杉を巡る対立ともあいまって、かなり火花を散らす関係であったようだ。
特に、2代・祐慶のときには領土問題――「牛の峠」問題が持ち上がった。薩摩藩との境界として「牛の峠」という場所があったのだが、木材の切り出しをめぐって両藩が対立し、「どこまでがどちらか」と領土問題になってしまったのである。これはなんと1627（寛永4）年から1675（延宝3）年までの約半世紀にわたって紛争が続いた末、幕府の評定所が「飫肥藩勝訴」と判決を下してようやく決着した。
遺恨はその後も残り、飫肥藩では正月に家臣団が島津討伐を誓う儀式があったというから尋常ではない。

幕末に立った13代・祐相の頃には飫肥藩の財政は極度に逼迫しており、まず家臣の家禄3分の1を削減した。しかしこれでは足らず、期限付きとはいえ残った家禄のうち7分の1を供出させ、これが終わると今度は5年間の上米まで命じた。その上で倹約をする必要があったというのだから、財政危機の具合がわかる。
そんな中でも祐相は堕胎の禁止・老人の保護など民政を打ち出し、動乱の時代に合わせて軍制の改革や海防の充実などを行っている。
戊辰戦争においては薩摩藩に従う形で新政府側に付いており、二条城・甲府城の守備を務めている。