芥川山城は芥川に面した標高180mの三好山山頂に築かれている。東を除く三方を摂津峡である芥川が流れる天然の要害である。東に隣接する帯仕山の方が192.3mと高いが、山頂部がなだらかであるため城郭には不向きで、摂津峡の切り立った断崖など、地形を重視して選地されたと推定される。
　芥川山城は大きく東曲輪群・中央曲輪群・西曲輪群の3つのブロックから構成されている。

 

・東曲輪群
　現在の登山道は、東曲輪群の東側にある。途中の削平地に石積が見受けられるが、これは江戸時代末期のもの。最高所には土塁囲みの曲輪があり墓地となっている。その南山腹に竪土塁が伸びている。中央曲輪群との間を隔てる掘切には土橋がかかる。

・中央曲輪群
　本来の大手道は、南西にある主郭群と、中央曲輪群の間の谷筋にある。麓の城山集落から登り、中央曲輪群の虎口に到達する。またこの虎口跡には山城には珍しい石垣跡が存在している。この石垣は戦国時代の技術ではあり得ない組み方をしており、現在でも議論になっている。大手道の突き当りに「城山城」の石碑がある。
　出丸は広い曲輪に南西側に腰曲輪が付き、南斜面にわずかに石積が残る。なお、出丸の最先端部には櫓があった可能性もある。ここから南下には大堀切があり、南尾根の曲輪とを隔てている。

・西曲輪群
　主郭は三好山の西よりにある山頂に位置する。主郭部は、南北に長い曲輪の下方にそれを取り巻くように曲輪が付く。最高所には「城山城」の石碑と三好長慶を祀った祠がある。ここには発掘調査の結果、礎石跡が検出され御殿的な施設が存在したようである。北出丸は主郭から北西に伸びた尾根にあり、主郭部とは土橋が架かる堀切で区画されている。南出丸（田の丸）は、土橋の架かる堀切で主郭とを分断する。。

　田の丸のさらに南にあるのが南曲輪で、主郭側とを大堀切で遮断し、この堀に面して高さ約２m程の高土塁を設けている。また、南曲輪に入らず山道をさらに下った所に石切り場を見つけた。