信濃国井上村から三河国に移住し、井上清秀が大須賀康高に仕えたことから徳川家の家臣となった。
初代・正就は清秀の嫡男で、母が2代将軍・秀忠の乳母だった縁から秀忠の近侍となった。永井尚政、板倉重宗とともに「近侍の三臣」と呼ばれ、秀忠の信頼を受けて遠江国横須賀藩5万2千5百石に封じられている。正就はその後、加判の列(後の老中)に任命されるが、豊島正次によって江戸城西の丸で殺害されてしまう。
2代・正利のときに常陸国笠間藩へ転封となり、その後も美濃国郡上藩、丹波国亀山藩、常陸国下館藩、ふたたび笠間藩、陸奥国磐城平藩、遠江国浜松藩、陸奥国棚倉藩、上野国館林藩、ふたたび浜松藩と目まぐるしく転封をくり返した。石高は6万石に達し、幕末までに4人の老中を輩出している。
維新後、転封を命じられ、上総国鶴舞藩を立てた。直後に版籍奉還があり、10代・正直が鶴舞藩知事に任命され、嫡男の正英が家督を相続し、子爵位を授けられた。