初代・正貞は旧武田家臣で徳川の支配下に入った保科家の庶流に生まれた。兄・正光が宗家の系譜だったが、2代将軍・秀忠の子・幸松を養育した後、兄の遺領が幸松に相続されたことで、保科家の宗家(のちの会津藩松平家)は家門となり、正貞が保科家宗家の家督を継ぐことになった。
正貞は一時期、諸国を放浪し、老中・酒井忠世らを頼って幕府への士官を願い出た。そうして大番頭や大坂城の在番を務め、保科家の家督を継いだことで加増され、上総国飯野藩1万7千石を立てた。
幕末期は悲惨だった。新政府軍に徹底抗戦する方針を打ち出した会津藩の親戚筋であったため、保科家は御所に入ることすら許されず、恭順のしようがなかった。10代・正益は京都で謹慎させられ、その間に脱藩して会津藩に駆け込み、新政府軍と戦った藩士もいた。
その後、正益は処分を解かれ、版籍奉還の後、飯野藩知事に任命され、さらに子爵位を授けられている。