藤原家の末裔が遠江国榛原郡相良荘に住み、こう名のったことに始まる。この一族は源頼朝の御家人になり、地頭に任じられたことから肥前国へ移住した。その後、南北朝・戦国時代の動乱の中で一族同士の内紛を繰り返しながらも勢力を拡大し、九州でも有力な勢力の一つとなった。
島津氏に敗れたのちその支配下に入ったが、秀吉の九州征伐後、相良国にあった旧領・球磨郡の2万2千石を安堵された。また、関ヶ原の戦いでは当初西軍に付いていたものの東軍側へ寝返り、これを評価されて処分は受けずに済んだ。
江戸時代中期まで、相良家は藩政の安定しない大名であり、御家騒動が続発していた。
2代・頼寛の頃に起きたのは、「お下の乱」と呼ばれる事件である。この頃、人吉藩の藩政は重臣同士の対立の末に犬童頼兄(相良清兵衛頼兄)という男によって牛耳られていた。この専横があまりに過ぎたため、頼寛は幕府に訴え、頼兄は死罪相当と見られながらも功績を評価されて津軽家預かりとなった。しかし、その裁きが下る前に国元では、頼兄の養子とその一族が頼兄の屋敷(お下屋敷と呼ばれた)に立て籠もって戦った挙句に全員討ち死にしてしまった。
7代・頼峰の時には「御手判銀事件」が起きている。この頃、人吉藩では大水害などの天災が重なって藩士たちの生活が困窮し、何らかの救済を考える必要があった。そこで家老らは「御手判銀」として知行の半分を銀で貸し付けることによる策を打ち出した。しかし、一門衆は「貸し付ける代わりにその分の知行を差し押さえるのでは、結局藩士たちの収入が半減することになり、彼らがさらに追いつめられてしまう」と主張したために両派閥が対立。この件は一門衆が「頼峰の毒殺を計画した」という名目で処罰され、いったん解決した。
ところがこの事件は後を引いた。両者の対立が続いた末に、8代・頼央が鉄砲で射殺されてしまったのである。この際、家老らが「子供の遊びの竹鉄砲(爆竹)である」とごまかして調査を行わなかったため、「竹鉄砲事件」という。これによって相良家の血筋は断絶し、さらに5年にわたって多数の藩主を迎えなくてはならないという非常事態に追い込まれた。
ただ、11代・長寛以降は一応の安定を見たようである。
このように混乱が続いた背景には、古くからの名族である相良家が近世大名への脱皮を上手くこなすことができず、一門衆・家臣団の力が強く大名の支配力が弱いままで江戸時代を迎えたことがあったと考えられる。
幕末期には軍制改革を巡って、外部から招かれて西洋式軍制(高島流砲術)を導入しようとした松本了一郎らと、古来の山鹿流軍学を守ろうとする家老らの間に対立が起きた。
前者は佐幕派、後者は尊王攘夷派であったため、これは同時に幕末の思想対立でもあった。
当初、この対立には家老派が勝利したものの、大火事でダメージを受けた人吉藩が、当初イギリスと接近していた薩摩藩から援助を受けた関係で西洋式軍制が見直された。
ところが今度は松本了一郎が暗殺されてしまい、最終的に軍制は薩摩藩経由でイギリス式が導入されるという泥沼ぶりだった。このような混乱が後を引き、人吉藩が幕末の動乱に積極的な関与をすることはなかったのである。