早川城の主郭南西端には櫓台と伝わる塚があり、その上に「東郷元帥祖先発祥之地」と書かれた顕彰碑が建てられています。
早川城を築いた渋谷氏は、1213年（建暦3年）5月に起こった和田合戦で和田氏に加担したため、渋谷高重をはじめとする一族の多くは討たれました。
しかし、1247年（宝治元年）6月に起こった宝治合戦では、残った一族が幕府側に立ち勝利しました。この戦功により薩摩地頭職に任じられ、渋谷実重ら一族の多くは薩摩国へ下向しました。
実重は薩摩で東郷氏を称しています。東郷氏は戦国時代になると島津氏の重臣としてつかえました。
また、東郷氏の末裔には示現流開祖の東郷重位のほか、日露戦争で参謀・秋山真之とともにロシアのバルチック艦隊を撃破する日本海海戦に勝利した司令官である東郷平八郎がおり、1932年（昭和7年）に子孫により記念碑が建立されました。
