Alytaus piliakalnį, iškilusį virš Nemuno apie 40 m ir giliai įsigraužusio Alytupio atidalytą nuo kranto aukštumos, kurioje senovėje būta gyvenvietės, archeologai datuoja IX-XIV a. Rašytinių XIV a. šaltinių liudijimu, Alytuje kadaise stovėjusi pilis, ir manoma, kad būtent ant šio piliakalnio. Dabartinių dirbamų laukų vietoje turėjusi būti priešpilio teritorija. J. Radziukynas knygoje „Suvalkų rėdybos piliakalniai“, išleistoje 1909 m., mini Nemuno dešiniajame krante už Alytaus stovėjusią „apgintuvę“. Kraštovaizdžio ypatumų aprašymas ir ypač užuomina, kad „kalno papėdėje – šiaurės pietų pusėje – teka upelis, kuris įteka į Nemuną“, nepalieka abejonių, jog minimas būtent Alytaus piliakalnis. Nuo piliakalnio gilia perkasa atskirta smaili kūgiška kalva. Netaisyklinga keturkampė aikštelė piliakalnio viršuje iš prieinamiausios – rytinės – pusės lanku juosiama maždaug 40 m ilgio pylimo. Jo viršus nuskliaustas, apie 4 m pločio, 2,5 m pakilęs virš aikštelės. Išoriniu šlaitu aikštelės pakraščiais tęsiasi pusiau užslinkę apkasai, o pietuose, ties pylimo galu, yra neaiški įduba, primenanti sviedinio sprogimo išrausą. Aikštelės pietinėje ir vakarinėje pusėje yra 2 m pločio ir 1 m gylio Pirmojo pasaulinio karo apkasai.
Šiandien piliakalnis – vienintelis miesto praeities liudininkas, apipintas legendomis. Viena jų pasakoja, kad kadaise gyvenusi bajoro Raimonio duktė Mirgrausėlė ir kunigaikščio Smūkninio sūnus Alyta, kurie vienas kitą pamilę. Nepaisant to, Mirgrausėlė turėjusi tapti vaidilute. Tuo metu vietos pilį užpuolę kryžiuočiai. Kovoje kritę visi Raimonio kariai ir tik vienas Alyta išlikęs gyvas. Jis prasiveržęs iš kryžiuočių apsupimo, nujojęs į Gabijos kalnelį, kur Mirgrausėlė kursčiusi šventąją ugnį, ir ją paslėpęs, o pats grįžęs į kovą. Nors ir narsiai kovojęs nuo žūties Alyta neišsigelbėjo. Mirgrausėlė, sužinojusi apie Alytos mirtį, taip graudžiai verkusi, kad jos ašaros upeliu pradėjusios tekėti į Nemuną. Upelis žynių buvo pavadintas Alytupiu, Gabijos kalnelis – Mirgrausėlės piliakalniu, o nuo Alytupio pavadinimą gavęs Alytaus miestas. Ir šiandien į Nemuną teka Mirgrausėlės ašarų upelis, o seni žmonės sako, kad iš to upelio atsigėrus, kas nemylėjęs – įsimyli, o kas myli – meilė dar tvirtesnė tampa.
Kita legenda pasakoja, kad ant piliakalnio buvo pastatytas moterų vienuolynas. Tas vienuolynas nugrimzdo į žemę, o jo varpas nukritęs į Nemuną ir iki šių dienų skambina kiekvieną sekmadienį 12 valandą šventų Mišių metu.
Piliakalnio papėdę puošia skulptūrų ekspozicija „Alytaus piliakalnio protėviai“. Šiandien piliakalnis ir jo apylinkių vietos yra istorinis-landšaftinis draustinis.
Piliakalnio rytinėje papėdėje 1 ha dydžio plote yra I tūkstantmečio antrosios pusės (VII a.) ir XI a.– XIV a. gyvenvietė su 60 cm storio kultūriniu sluoksniu, tyrinėta 1985–1986 m. Gyvenvietės šiaurės vakarų ir vakarų dalyje archeologai ištyrė 240 m² plotą, rado VII a.– XII a. kultūrinį sluoksnį su lipdyta grublėtu paviršiumi ir žiesta keramika. Gyvenvietėje rasta sudegusių pastatų liekanų, ūkyje naudojamų dirbinių, kalavijo galas, pentinas su spygliu. 500 m į šiaurės vakarus yra 1984–1986 m. tyrinėtas vėlesnio laikotarpio senkapis, įrengtas greičiausiai dar pilėnų.
