初代・安治は豊臣秀吉に仕え、福島正則、加藤清正、加藤嘉明、平野長泰、糟屋武則、片桐且元と並んで「賤ヶ岳の七本槍」と称賛された勇将だった。「小牧・長久手の戦い」でも豊臣方の武将として徳川家康と戦っている。
しかし、「関ヶ原の戦い」ではあらかじめ家康と密約を結び、西軍として参加しながら、途中で寝返って東軍に加わった。その後、石田三成の居城・佐和山城を攻め落とし、伊予国大洲藩5万3千5百石を与えられた。
安治は「大坂の陣」には豊臣家への恩義から参戦しなかったが、脇坂家としては2代・安元が名代として軍を率い、戦功を上げて信濃国飯田藩5万5千石に転封されている。3代・安政のときには播磨国龍野藩5万3千石に転封された。
1683年(天和3年)、安政は江戸城の殿席を外様大名の使う柳間から、譜代大名の使う帝鑑間へ移され、詰衆に加わる。このときから脇坂家は外様大名ではなく、願譜代(譜代大名並)として、譜代大名と同様に扱われるようになった。
脇坂家の所領である龍野藩は、京都と西国をつなぐ街道の通過点で、交通の要所だった。このため、脇坂家は朝鮮通信使や西国へ下向する朝廷の勅使の馳走役(接待役)を代々任されている。
また、10代・安董は願譜代とはいえ、外様大名の家からは異例の老中経験者となった。
1803年(享和3年)、奏者番兼寺社奉行の役職にあった安董は、大奥に出入りしていた延命院の住職・日道の密通を暴き、断罪した。これを契機に安童は仏教界の綱紀粛正を図り、存在感を発揮する。
さらにときの老中・松平康任を巻き込んだ出石藩主仙石家の御家騒動を裁き、出石藩5万8千石を3万石に減封するという思い切った裁決を下した。
こうした手腕が評価され、安童は西の丸老中から本丸老中へと、外様大名の家としては初の出世を成し遂げる。
安董によって道が開かれ、続く11代・安宅も老中に任命され、大老の井伊直弼を補佐した。「桜田門外の変」を受けて一度は解任されるが、のちに老中に再任されている。
幕末は12代・安斐のときに迎える。安斐は第一次長州征伐には参加したが、第二次は不可能だと老中・板倉勝静に進言した。そして、新政府軍が組織されるといち早く従属し、会津藩攻撃にも加わっている。
版籍奉還後は安斐が龍野藩知事に任命され、のちに子爵位を授けられた。