類いまれなる美貌が春日局の目に留まり、3代将軍・家光の側室となった古着屋の娘・蘭。1641年(寛永18年)、蘭はお楽の方と名を改め、4代将軍を生んだ。ここから実家である増山家の栄達が始まった。
初代・正利はお楽の方の弟で、相模国に1万石を与えられて家綱の小姓になる。さらに奏者番に進み、1万石を加増されて三河国西尾藩に封じられた。
2代・正弥のときに3千石が加増され、常陸国下館藩に転封となる。その後、伊勢国長島藩2万石に移り、そこに落ち着いた。
長島藩は低湿地帯の土地柄で、水害に悩まされることが多かった。3代・正任は堤防工事と、災害に備えての義倉の設置を進め、5代・正賛は幕府の指揮を受けて、木曾川、長良川、揖斐川の大治水工事(宝暦治水の大工事)を敢行している。それでも水害を完全に防ぐことはできず、藩財政は圧迫された。
幕末の増山家は、当初こそ佐幕に傾いていたが、隣藩の亀山藩石川家が恭順したことを聞くと、これにならって新政府軍に加わっている。9代・正同が版籍奉還を経て長島藩知事に任命され、のちに子爵位を授けられた。