別名・粉蝶城。文永元年(1264年)関実忠により築城。

　関盛信は、1568年伊勢に侵攻した織田信長に抗戦、神戸氏等一族が次々と降る中で唯一独立を保っていたが、抗しきれず降伏。1569年再び抵抗するが、やがて講和。元亀4年(1573年)長島一向一揆に荷担したため信長によって追放される。天正10年（1582年）神戸信孝の与力として許され、亀山城に戻る。信長死後は羽柴氏に誼を通じたことから、1584年城主の子・関一政の不在時、織田信雄の勇将神戸(林)与五郎正武率いる兵500に攻撃されるも、留守を守る盛信がわずか13騎を率いて討って出て、城を死守したという。滝川一益に一時城を落とされたが後に奪還し、小牧・長久手の戦いにも参陣。後に蒲生氏郷に属し、その会津転封に従い白河城5万石を得た。

　天正18年(1590年)岡本宗憲が入城すると近世城郭として大修築し天守を建てた。宗憲は関ヶ原合戦で西軍に属したため改易となり三宅康貞が城主となる。

　三宅康貞→関一政→松平忠明→三宅康信→本多俊次→石川昌勝→板倉重常から三代→石川総慶から11代続いて明治に至る。

　元和5年(1620年)三宅康信が一万石で入封した際、幕府から丹波亀山城の天守を破却するように命ぜられた堀尾吉晴が間違えて伊勢亀山城の天守を破却したと言われるが定かではない。一説では一万石の大名に不釣合いな天守を破壊させたとも言われる。

　寛永13年(1636年)本多俊次が本丸北にあった三重櫓を天守代用とするなど城を改修した。現在、建物はほとんどが破却されているが正保年間(1644年～1648年)に天守台に移築された多門櫓が現存している。

・2007年（平成19年）三重県中部地震により天守台の石垣の一部が崩落したが、崩落箇所は1972年（昭和47年）の台風被害の補修で新たに積んだ部分のみで、江戸時代初めに穴太衆によって築かれた古い部分には一切被害はなかった。

・2012年（平成24年）江戸末期の姿に戻すため板壁から漆喰壁にするなどの工事が行われた。