De huidige toegang bevindt zich 3 m boven de originele ingang. Lang een korte corridor gaat men naar een vierkante vestibule. In de achterwand is een halfronde nis gemaakt, misschien voor een standbeeld van de keizer. Aan de rechterkant ziet men een galerij die leidt naar de grafaula, de kern van het gebouw. De aula is vierkant, oorspronkelijk bekleed met marmer waarin de grafurnen waren gezet van keizer Hadrianus en zijn vrouw Sabina en die van alle keizers uit de familie van Antoninus en Severus, tot aan Caracalla.
In 403 liet keizer Honorius het oude graf ombouwen
tot een fort in de muur van Aurelianus. In 537 bood
het weerstand aan de aanvallen van de Oost-Gothen, maar later verviel het onder de
hamer van Totila die het verder verbouwde tot een citadel. Vanaf de 10e eeuw diende het mausoleum
als een kerker en als toevluchtsoord: paus Gregorius VII vond er bescherming
in de 11e eeuw, toen Rome werd ingenomen door de Duitse keizer Hendrik IV;
paus Clemens VII verzette zich in 1527 6 maanden tegen het beleg van de troepen
van keizer Karel V (keizer van de Nederlanden, Duitsland, Oostenrijk en
Spanje, Napels en Sicilië). Het bezit van Castel Sant' Angelo, het voornaamste
bolwerk in Rome, stond gelijk met de controle over de stad, m.a.w. de geschiedenis
van het fort loopt parallel met die van de stad.
Met paus Nicolaas III werd het fort een bezit van de pausen. De toegangen tot de ondergrondse galerijen werden gesloten; er werden 2 torens gebouwd bij de ingang en 4 bastions, op elke hoek van het fort een; bovendien werd er een corridor gemaakt naar het Vatikaanse paleis (ook op de foto hierboven, linksonder).