稲垣重宗の代に今川家の武将として仕え、その子で初代の長茂が徳川家の御家人となった。「関ヶ原の戦い」の論功行賞によって1万石の加増を受け、上野国伊勢崎藩1万3千石が与えられる。
2代・重綱は「大坂の陣」での戦功から1万石を加増され、越後国藤井藩を立てた。4年後、3千石の加増があって越後国三条藩2万3千石に転封となる。
4代・重富のときには上総国大多喜藩2万5千石に転封されるが、領地が狭すぎるという理由で下野国烏山藩へと転封された。そして、5代・昭賢のときに志摩国鳥羽藩3万石に移る。
1830年(天保元年)9月、5代・長剛の代には、大王崎沖で幕府の千石船が難破、積み荷の貢租米をめぐり、村民が600俵に近い積み荷の米を村に持ち帰るという、波切騒動が起きた。後日、幕府の知るところとなり、庄屋をはじめとした村人14人が刑に処された。14人を弔うために、首を傾けた「思案地蔵」がまつられている。
鳥羽藩は海岸線が長く、幕末に外国船への備えを命じられたときはかなりの歳出が必要だった。しかも、近隣にある伊勢神宮の防備を固めるという名目で砲台の新築が求められ、8万5千両を超える借財が発生したという。
「鳥羽伏見の戦い」では朝敵とみなされ、京都に入ることを禁じられた。11代・長行が伊勢国亀山藩主・石川成行を通じて陳謝し、1万5千両の軍費を負担することでようやく許されている。
12代長敬が版籍奉還を経て鳥羽藩知事に任命され、後に子爵位を授けられた。