大岡家は相模国に5百石を与えられた旗本だった。そこから大名になった最大の功労者は初代・忠相である。
1712年(正徳2年)、忠相は山田奉行(遠隔地の幕領を管理する遠国奉行の一つ。伊勢神宮とその周辺を担当する。伊勢町奉行とも)に任命された。そこで、代々の奉行が先送りにしていた紀伊徳川家領と天領との境界線問題を、紀伊徳川家に不利な形で決着させた。これを「御三家の威光を恐れない」と称賛したのが、紀伊徳川家の当主・頼方(のちの8代将軍・吉宗)だった。
吉宗が将軍になると、忠相は普請奉行、江戸町奉行と抜擢され、吉宗の右腕として「享保の改革」を進めることになる。1732年(享保7年)には、本来なら勘定奉行が担当する地方御用掛を兼務し、関東の新田開発や治水事業も取り仕切った。
長年の功績が高く評価され、忠相は1736年(元文元年)、寺社奉行に任命される。これは旗本としては異例の大出世だった。さらに1748年(寛延元年)には奏者番も兼任し、計1万石の石高を得て三河国西大平藩を立藩する。
こうして大岡家は譜代大名の仲間入りを呆たしたとはいえ、やはり新参の家であるため、家格は低く、出世の道もほぼ閉ざされていた。忠相以降、大岡家から幕閣に任命されたのは6代・忠愛が奏者番になった例だけだ。
幕末の「鳥羽伏見の戦い」の後、三河国の諸藩は新政府軍に従い、大岡家もそれにならった。7代・忠敬は版籍奉還を経て西大平藩知事に任命され、後に子爵位を授けられている。