渡辺家は源頼光の四天王のひとり・渡辺綱を先祖とし、古くから松平家の家臣として仕えていた。家康の命を受け、興したばかりの尾張徳川家の付家老となり、4千石を与えられている。
初代・吉綱は徳川家綱につき従い、家綱が4代将軍になったことを機に江戸城本丸の役職を歴任することになる。書院番頭から留守居、側衆、大坂定番と進み、加増を受けて武蔵国野本藩1万3千5百2十石に封じられた。渡辺家の石高はこれ以降、明治維新まで変わらなかった。
3代・基綱のときに和泉国大庭寺藩、次いで伯太藩に転封される。それ以降は領地を動くことなく、藩政に集中した。
11代・章綱のときに版籍奉還を迎え、章綱が伯太藩知事に任命される。のちに子爵位が授けられた。