熊野神社の神職の一族が紀伊国亀井に住み、その地名を名のったことから始まる。その後、出雲国に移って、戦国時代に中国地方の二強として覇を唱えた尼子家の家臣となった。
亀井秀綱が討ち死にしたことによって一時断絶したが、残されたふたりの娘のうちひとりが湯進十郎茲矩の妻となって、茲矩が亀井家を継いだ。
尼子家が毛利家に攻め滅ぼされたのちは、秀綱のもう一人の娘を妻とした山中幸盛(鹿之助)とともに尼子家復興運動を繰り広げた。しかし山中は戦いの中で死に、茲矩は織田家の中国方面軍団を統括する羽柴(豊臣)秀吉の軍団に組みこまれて毛利家との戦いをつづけた。この頃、因幡国気多郡に1万3千8百石を与えられている。
この茲矩をめぐる、ちょっと面白いエピソードがある。彼は本能寺の変後も秀吉の家臣として活躍するが、その中で毛利家と秀吉が和睦したため、かつて秀吉が茲矩に約束していた「出雲国を与える」ことが不可能になってしまった。それを気に病んだか、秀吉が「どこか所領として欲しい場所はないか」と問うたところ、茲矩が「日本において望むものはもうありません、願わくば琉球(沖縄)をください」といった。そこで秀吉は琉球守の官職を与え、また証拠として「亀井琉球守殿」と書いた扇を渡した、という。
とはいえこの時代、官職と領地が無関係になっていたのはすでに紹介したとおりであり、実際に亀井家が琉球を領地としたことは一度もない(実際に琉球関係の対応をし、のちに従属体制にしたのは薩摩藩の島津家)。
関ヶ原の戦いでは東軍に与し、戦後に加増されて3万8千石余りとなった。その後、2代・政矩の時には5千石を加増されていたが、大坂の陣で活躍した功によって石見国津和野4万3千石へ転封された。
初代茲矩の波乱万丈が終わった後も、亀井家の苦労は終わらない。
2代政矩が三十歳で急死してしまうのだが、跡継ぎの茲政はわずか3歳で、家督継承の資格なしとしてお家断絶になってもおかしくない状況であった。
時代は江戸時代初期、幕府によって多くの外様大名が取り潰されていた頃のことである。この際は、茲政の母(譜代大名の松平家出身)が機転を利かせ、「息子は15歳ですので、十分に家を継ぐ資格があります」といった意味の嘘の届け出をしたことによって危機を回避できたという。
さらに、幼い主君・茲政を取り巻く津和野藩の重臣たちには、かつて亀井家と同僚であった尼子家の旧臣が多く、彼らはたびたび派閥抗争を起こした。しかし、茲政を補佐して改革を進めてきた多胡真清と、これに反撥する多胡勘解由とが激しく対立した際、勘解由が幕府の介入を受けて処分されると、ようやく藩政は安定を見せ始めた。
特産物として紙があり、徹底した殖産興業や紙によって税を納めることを許可した政策などの結果として大きく増産され、藩財政の助けとなった。ところが津和野藩の財政は初期より困窮が続き、厳しい倹約や農政改革によって一時好転するも、うち続く凶作や幕府に課せられた役目が重しとなって、再び悪化の一途をたどった。
そうした中で藩主となり、動乱の幕末期に津和野藩の舵を取ったのが12代・茲監である。久留米藩・有馬家より養子として入った茲監は有能な人材を藩政の中心に引き上げると改革を断行し、窮乏していた藩財政を再建することに成功した。また西洋の技術や学問を取り入れる一方で国学も振興した。
幕末では長州藩と隣接する位置関係から三度の長州征伐で出兵を命じられたが戦うことはなく、鳥羽・伏見の戦いにおいては新政府側で参戦している。