西尾家の初代・吉次は織田信長に仕え、家康が信長に招かれて堺を見物した際、饗応役を命じられた。そのとき、「本能寺の変」が起こり、岡崎城に帰還する家康に同行して警護に当たったことから、徳川家の御家人となる。「関ヶ原の戦い」の後、武蔵国原市藩1万2千石に封じられた。
2代・忠永のとき、「大坂の陣」の論功行賞で6千7百石を加増され、上野国白井藩、さらに常陸国土浦藩へと転封された。3代・忠昭のときには5千石を加増の上、駿河国田中藩2万5千石を与えられる。そして4代・忠成のときに信濃国小諸藩を経て遠江国横須賀藩2万5千石へと落ち着いた。5代・忠尚は老中に任命され、計1万石の加増を受けている。産業や文化の振興に力を注ぎ、横須賀三熊野神社の祭礼囃子を興した忠尚は、名君と称賛されたという。
徳川家の転封によって領地が駿府藩に吸収され、安房国花房村に移ったことで、最後は花房藩を治めることとなった。
版籍奉還を経て11代・忠篤が花房藩知事に任命され、後に子爵位を授けられている。