土岐家はもともと美濃国土岐郡に居住し、美濃守護を務めた源氏の名門とされる一族であったが、家臣だった斎藤道三(「美濃の蝮」と呼ばれた戦国大名。織田信長の舅としても知られる)に下剋上を起こされ、一時没落してしまった。また、一族から信長を「本能寺の変」で倒した明智光秀が出たともいわれている。
藩祖・定政は家康に仕えたが、光秀と同族であることを隠すため、当初は菅沼藤蔵と名乗っていた。戦功を上げて勇名をとどろかせ、家康の関東入りに際して下総国守谷藩1万石に封じられた。
その後、2代・定義のときに摂津国高槻藩2万石、3代・頼行のときに出羽国上山藩2万5千石、4代・頼殷のときに駿河国田中藩3万5千石と、加増と転封を重ねて5代・頼稔のときに上野国沼田藩に落ち着いた。
沼田藩でも江戸時代を通して藩財政の困窮が続く。そんな中、12代・頼潤が「間引き禁上の触書」を発し、14代・頼寧も「丙午迷信の触書」を発して間引きの悪習を根絶しようとした。
土岐家は佐幕派の重鎮といくつも姻戚関係を結んでいたため、新政府軍から疑いをかけられていた。しかし、16代・頼知は軍資金や弾薬の提供、兵の派遣といった条件をすべて飲み、恭順の証とした。
版籍奉還の後、頼知は沼田藩知事に任命され、後に子爵位を授けられている。