柳生家は戦国時代、松永久秀に仕えていた。しかし、松永家は織田信長によって滅ぼされ、当主の宗厳は浪人になったという。その頃、宗厳は新陰流の祖であり、後世「剣聖」と謳われる上泉信綱に出会い、その武芸の腕前に心酔して弟子入りし、柳生新陰流を創始した。
1594年(文禄3年)、宗厳は家康に招かれ、五男の宗矩を連れて武芸を披露する。宗矩はそのときから家康の側近として仕え、「関ヶ原の戦い」にも従軍して、大和国柳生に2千石を与えられた。
柳生新陰流は徳川家の御流儀とされ、代々の将軍が学ぶことになる。これにより、宗矩は2代将軍・秀忠の兵法師範に任命され、1千石を加増された。同様に3代将軍・家光の兵法師範も務め、家光から厚く信頼された。
1632年(寛永9年)、宗矩は3千石を加増され、初代の惣目付(のちの大目付)に任命される。4年後に4千石の加増を受け、大和国柳生藩を立てて譜代大名となった。その後も加増があり、石高は1万3千5百石となる。
将軍家の他、酒井忠勝、鍋島元茂、細川忠興ら諸大名も門弟として宗矩に武芸を学んでいた。また、宗矩は猿楽や華道、茶道などにも通じていたという。
2代・三厳は十兵衛の通り名で知られる。文武両道の達人で、家光の小姓として仕えていたが、突然辞職して、新陰流の研究に12年間没頭した後、諸国をめぐったという。こうしたことから隠密説が生まれたり、『十兵衛旅日記』などの創作がなされたりした。三厳は家督を継いだ際、父・宗矩の言葉に従って弟たちに石高の一部を分与したため、身分は旗本となっていた。
3代・宗冬は三厳の弟で、4代将軍・家綱の兵法師範に任命された。分与や相続、加増などを合わせて1万石に達したため、柳生家はふたたび譜代大名となる。
4代・宗在の後、柳生家の血統は途絶え、歴代の藩主はすべて養子として家督を相続していくことになる。石高に変化はなく、老中のような要職に就くこともなかった。家を守るというよりも、流派を継承していくような形で柳生家は存続し、明治維新に至る。
ときの藩主である13代・俊益は迷った末、新政府軍への恭順を決めた。しかし、江戸にいる藩士の一部は納得せず、家老・広瀬小太夫らを監禁するという事件を起こす。
版籍奉還によって俊益は柳生藩知事に任命され、後に子爵位を授けられた。