鳥居家は忠吉が松平清康・広忠に仕えた頃からの古参の譜代大名である。清康の死後、忠吉は今川義元の支配する岡崎で惣奉行を務め、今川家の人質になった家康に衣類や食料を送る役目を担っていた。一説には、家康が帰還したときに備えて、岡崎城にひそかに物資をため込んでいたという話もある。
忠吉の三男・元忠が鳥居家の初代に数えられる。人質生活を送る家康につき従い、以降も側近として姉川、三方ヶ原、長篠と数々の戦いに参戦した。小田原攻めの後、下総国矢作藩4万石を与えられる。この配置は、上野国館林藩の榊原康政と協力して、常陸国にいた外様大名・佐竹家への備えとするものだった。
1600年(慶長5年)、家康は上杉景勝の征討に出発する。このとき、家康は石田三成が兵を挙げて、背後から攻めかかってくることを予見していた。
元忠は松平家忠、内藤家長、松平近正らとともに家康に呼ばれ、家康が出発した後の伏見城を死守するよう言い渡される。
家康の予見した通り、伏見城は小早川秀秋らの率いる大軍勢に包囲された。元忠たちは奮戦するも、兵力差がありすぎたため、及ばなかった。元忠たちは伏見城に火を放ち、落城する中、壮絶な戦死を遂げた。
元忠の忠義に報いる形で、2代・忠政は6万石を加増された上、陸奥国磐城平藩10万石として鳥居家の家督を継いだ。その後、出羽国の最上義俊が改易されたことを受け、出羽国山形藩22万石に転封される。こうして鳥居家は酒井忠勝、戸沢政盛、松平重忠らとともに奥州の押さえを任されることとなった。
忠政は領内の一斉検地を行なって年貢の取り立ての体制を整え、河川や街道、宿駅の整備も並行して藩政の腺継を作った。のちに2万石を加増され、鳥居家の石高は24万石となる。
しかし、3代・忠恒が早逝してしまい、鳥居家の家系は一度、絶えてしまう。初代・元忠の功績を考慮した上、鳥居家は信濃国高遠藩3万2百石として4代・忠春に継承され、家名はそのまま残された。
ところが、ここから譜代の名門・鳥居家に影が差し始める。忠春は当初こそ藩政に熱心に取り組んだのだが、次第に乱行が目立ち始め、いさめようとした重臣7人を手打ちにしてしまった。さらに圧政に耐えかねた領民が天領へ逃げ込む事件が発生し、1663年(寛文3年)、大坂で侍医の松谷寿覚に斬り殺されてしまったのである。
後を継いだ5代・忠則は藩財政の悪化に苦しみ、松本や木曾の商人から借金を重ねた。ところが、これを返済しなかったために幕府へ訴えられてしまう。さらに家臣が職務中に旗本の妾の家を覗いて捕えられるという不祥事を起こし、監督不行き届きで閉門を命じられた。忠則は恥じ入るあまり、自害してしまい、鳥居家はまたもや所領を没収されてしまったのである。
ここでも先祖の功名がとどろき、6代・忠英は能登国下村藩1万石に封じられた。忠英は堅実に出世し、まず1万石の加増を受けて近江国水口藩に、後にまた1万石を加増の上、下野国壬生藩3万石に転封されている。自身も若年寄に任命された。
その後、8代・忠意も奏者番から寺社奉行を兼任、若年寄へと出世コースをたどった。忠意は9代将軍・家重の死去に伴い、一度は職を辞するのだが、2年後にふたたび奏者番兼寺社奉行に任命され、若年寄から西の丸老中、本丸老中へと出世を果たした。
12代・忠宝のとき、戊辰戦争が勃発する。藩内の意見は佐幕と尊王とで割れたが、最終的に尊王に統一され、鳥居家は新政府軍に従って参戦した。
忠宝は版籍奉還を経て壬生藩知事に任命される。13代・忠文にも家名と知事の座は継承された。忠文は後に岩倉具視らの欧米使節団に同行し、アメリカに留学している。のちには子爵位も授けられた。