Birštono piliakalnis (Vytauto kalnas) apjuostas daubų. Šlaitai statūs, 13–20 m aukščio. Aikštelė ovali, apie 70 x 35 m dydžio, jos šiaurės vakarų dalis suardyta – iškastos vandentiekio rezervuaro duobės. Piliakalnio pietinėje papėdėje yra senovės gyvenvietės liekanų. Piliakalnis apaugęs medžiais ir krūmais. Iš šiaurės pusės griovys jungia piliakalnį su gretima aukštuma. Piliakalnis ir aukštuma sujungti laiptais. Jo šlaitai statūs, aikštelė ovali, apie 70 m ilgio, 35 m pločio. Šiaurės vakarinė jos dalis suardyta. Piliakaknio papėdėje yra senovės gyvenvietės liekanų. Rasta lipdytinės grublėtosios ir žiestosios keramikos.
Ant daugiau nei 30 m aukščio stačiašlaičio (70-800) piliakalnio turėjusio apie 2500 m2 aikštelę ir apie 80 m2 terasą, XIV a. pabaigoje jau stūksojo tvirta, sunkiai paimama medinė Birštono pilis, vienaamžė su pirmąja Punios pilimi. Ją supo gilios, šaltiniuotos raguvos, klampi šaltiniuota pelkė, pylimas ir įtvirtintas papilys. Netoli pilies buvo didžiojo kunigaikščio dvaras.
Vytauto laikais Birštonas buvo strategiškai svarbi valstybės vieta. Medinė pilis, ne kartą buvo pulta kryžiuočių. Pilyje lankydavosi kunigaikščiai ir kiti didikai, atvykdavę į medžiokles, kartais pilis buvo prieglobsčiu nuo karų ir neramumų besislapstantiems. Birštono pilyje 1473 m. gyvenęs karalius Kazimieras Jogailaitis su šeima, slėpėsi nuo šalyje siautėjusios maro epidemijos. Pilis netekusi gynybinės reikšmės bei nunykusi iki XVII a.
