芥川城は殿町に平城もあり、これと区別するため三好山に築かれた山城を一般的には便宜上、芥川山城と呼ぶ（通称は三好山城）。古文書に「芥川城」とだけ記載されている場合は、芥川城なのか芥川山城を指しているのか、はっきりしないことがある。

　管領・細川高国の勢力下で能勢頼則が芥川城主となり、永正12（1515）年新たに芥川山城を築いた、と云われる。その後、代々能勢氏が城主となっていたが、大永4（1524）年、細川高国による香西元盛謀殺に激怒した香西元盛の兄の波多野稙通・柳本賢治らが細川晴元を擁して反乱を起こす。稙通らが丹波から京都へ向かう途中、芥川山城を含む摂津の城々を降伏開城させた。この際に能勢国頼は逃亡したと思われる。

 　天文2（1533）年頃から芥川山城は細川晴元の本拠地となり、管領となって畿内にその勢力を奮う。

　天文8（1539）年、晴元は家臣の三好長慶によって京を追われ、芥川山城には長慶が入城したが、両者の間に和議が成立し退城。替わって晴元派の薬師寺与一（元一）が入城した。その後、晴元と同族の細川氏綱との間に確執が生じ、天文15（1546）年に芥川山城は氏綱方に奪われたが、翌年に三好軍に包囲され、芥川山城は無血開城し結局は長慶の手に落ちた。

　しかし、芥川山城主とした三好一族の芥川孫十郎が晴元に呼応したため、天文22（1553）年、長慶は篭城戦のすえ芥川山城を攻め落とし、自らの居城として畿内の拠点の一つとした。

　永禄3（1560）年、長慶は飯盛山城へ居城を移し、芥川山城には嫡男・三好義興を置いたが、永禄6（1563）年、義興はわずか二十二歳で没した。その後は三好三人衆の一人三好長逸が城主となっていたが、永禄11（1568）年、織田信長に攻められ落城、信長の家臣・和田惟政が城主となった。

　翌年、本圀寺の戦いでの功により、惟政に高槻城が与えられると自身は高槻城へ移り、芥川山城には家臣の高山友照を置いた。

　元亀2（1571）年、和田惟政は三好三人衆と結んだ池田知正を討つべく出陣したが（白井河原の戦い）池田家臣の荒木村重に討たれた。和田惟長が家督を継いだが、これを好機と見た家臣の高山友照・右近親子に追放され、元亀4年(1573年)高山氏が高槻城を居城とし廃城となった。