高崎藩大河内松平家は、吉田藩大河内松平家の初代・信綱の五男・信興が興した家である。信興は4代将軍・家綱の小姓を務め、そこから小姓組番頭、側衆、若年寄、奏者番と出世していき、常陸国土浦藩2万2千石に封じられた。さらに大坂城代と京都所司代にも任命され、1万石を加増されている。
2代・輝貞のときには転封と加増とがくり返された。輝貞は5代将軍・綱吉の小姓として厚遇され、下野国壬生藩、上野国高崎藩、越後国村上藩を経て、ふたたび上野国高崎藩へと移り、石高は7万2千石に達した。また、8代将軍・吉宗にも重用されて老中格となり、享保の改革を進める1人にもなっている。
4代・輝高も老中に任命され、こちらは田沼意次の側近として活躍して1万石を加増された。6代・輝延が老中に任命されたという記録もあり、高崎藩大河内松平家も老中を輩出する家柄であったことがうかがえる。
11代・輝聲のとき、明治維新を迎え、高崎藩大河内松平家は新政府軍に恭順することを選択する。しかし、幕府の忠臣・小栗忠順の捕縛に失敗し、新政府軍から背反行為とみなされて一時は討伐対象にされかけた。版籍奉還を経て輝声は高崎藩知事に任命され、その子の輝耕は後に子爵位を授けられている。
輝聲は大学南校(後の東京帝国大学)で英語を学び、東京に英学校を開いている。ここでは明治を代表する宗教家・内村鑑三が学んだという。