Pierwsza budowla stanęła w tym miejscu w czasach cesarza Oktawiana Augusta. Jego przyjaciel a zarazem szwagier Marek Agrypa w 27 roku p.n.e. wybudował tu świątynię poświęconą wszystkim bogom, choć spekuluje się, że byli to głównie ci związani z dynastią julijską. Według kronikarza Kasjusza, piszącego na początku III stulecia n.e., znajdowały się w nim posągi Wenus i Marsa, czyli bóstw w szczególny sposób związanych z Juliuszem Cezarem i jego przybranym synem Oktawianem. Pomnik Oktawiana znalazł się, podobnie jak Agrypy, w przedsionku tego przybytku.

Budowla, zniszczona w czasie wielkiego pożaru, jaki wybuchł na Polu Marsowym w 80 roku, została odbudowana przez Domicjana, ale w 110 roku ponownie doznała uszkodzeń, tym razem od uderzenia pioruna. Po raz kolejny została przywrócona do życia już w czasach Trajana, a ukończono ją w 125 roku dzięki staraniom cesarza Hadriana. Tym razem zastosowano bardzo solidną konstrukcję, uwzględniającą również usytuowanie Panteonu na bagnistym terenie. Ściany bębna rotundy, grube na 6 metrów, dodatkowo wzmocniono u nasady, aby osadzić na nim imponującą, samonośną kopułę z liczącym prawie 9 metrów średnicy z okulusem w środku, którego zadaniem było dopuszczenie do wnętrza światła. Dzięki tej właśnie kopule, stworzonej w technice opus caementicium, wykorzystującej jako spoiwo materiał podobny do betonu, była to w owym czasie budowla przełamująca wszystkie dotychczasowe standardy. Stała się też dla pokoleń architektów inspiracją i przykładem doskonałej myśli inżynieryjnej. Jak zatem udało się starożytnym architektom zbudować kopułę o średnicy około 43 metrów?

Grubość betonowej powłoki różnicowano w miarę wznoszenia kopuły. Im bliżej okulusa, tym jest ona cieńsza, a przy tym lżejsza dzięki połączeniu zaprawy z lekkim, porowatym tufem. I dlatego z zewnątrz wygląda na lekko spłaszczoną, przypominającą odwrócony talerz. W czaszy kopuły widnieją kasetony, w liczbie 28, ułożone w rzędy i zmniejszające się oraz zwężające w miarę zbliżania się ku otworowi.

Ściany i posadzka rotundy, również liczącej 43,3 metra średnicy i tyleż samo wysokości, wysadzane są wielobarwnymi marmurowymi płytami, trawertynem i granitem. Siedem ekseder, między którymi widnieją edykule o okrągłych lub spiczastych przyczółkach, przeznaczonych było do ekspozycji posągów bóstw. Jakim celom służyła budowla od czasów Hadriana, nie do końca wiadomo. Niektórzy badacze uważają, że w pierwszym rzędzie stanowiła salę posiedzeń, dziś powiedzielibyśmy „centrum konferencyjne”, a dopiero w drugim – świątynię, która jednak nie musiała pełnić funkcji liturgicznych. 

Tympanon przedsionka podtrzymuje szesnaście kolumn pochodzących z Egiptu i Sardynii i mierzących 13,5 metra wysokości. Zdobi go napis przypominający o pierwotnym fundatorze: M[arcus] AGRIPPA L[uci] F[ilius] CO[n]S[ul] TERTIVM FECIT (Marek Agrypa, syn Lucjusza, wystawił ten budynek, gdy po raz trzeci został konsulem). I ani słowa o Hadrianie – odnowicielu budowli. Można zadziwić się nad wspaniałomyślnością cesarza, który usuwając się w cień, przypominał rzymianom o pierwotnym zleceniodawcy. Zachowanie zaiste rzadko spotykane w takich okolicznościach. W postawie tej historycy dopatrują się przezorności cesarza, w Rzymie niezbyt popularnego i nieczęsto w nim goszczącego, który z zapałem przemierzał swoje imperium i który musiał wiedzieć, jak źle rzymianie przyjęli decyzję Domicjana, umieszczającego własne imię na murach odbudowywanego przez siebie po raz pierwszy Panteonu. Ten gest Hadriana, i tego zapewne był świadom cesarz wybrany drogą adopcji, w zdecydowany sposób wzmocnił jego pozycję. Jawi się on oto nie jako ten, który w ostatniej godzinie życia swego poprzednika, Trajana, został przez niego „adoptowany”, ale jako kontynuator i konserwator tradycji pierwszych cesarzy, niejako im równy.

Mimo iż budynek został zamknięty w czasach Teodozjusza Wielkiego (395 r.) w związku z walką z wierzeniami pogańskimi, przetrwał w niemal nienaruszonym stanie 214 lat, co może uchodzić za prawdziwy cud. Jako jeden z nielicznych nie został rozebrany w czasach chrześcijańskich, gdy świątynie pogańskie na ogół popadały w ruinę i służyły za źródło budulca. Stało się tak dzięki ówczesnemu władcy Rzymu – wschodniorzymskiemu cesarzowi Fokasowi, który pragnąc uchronić ten niezwykły przybytek od dewastacji, podarował go papieżowi Bonifacemu IV, a ten poświęcił go i nakazał umieścić w nim ciała męczenników Kościoła z pobliskich katakumb. Od tego czasu Panteon pełnił funkcję kościoła poświęconego Marii i Wszystkim Męczennikom (Santa Maria ad Martyres).

W czasach Hadriana plac, na którym stoi Panteon, znajdował się 1,5 do 2,5 metra poniżej dzisiejszego poziomu. Z czasem schody prowadzące do świątyni zniknęły w narastającym przez stulecia gruncie, a ona sama znalazła się jakby w obniżeniu. Tymczasem, jak wiadomo, początkowo osadzona była na platformie, do której prowadziły schody, i górowała nad wyłożonym trawertynem narteksem (60 ´ 120 metrów) otoczonym od północy, wschodu i zachodu kolumnadą. Dziś miejsce to zajmuje Piazza della Rotonda ze zdobiącą go fontanną (Fontana della Rotonda). Patrząc na Panteon od tyłu, zauważymy dobudowaną do jego walcowatej formy prostokątną budowlę. Są to skromne pozostałości bazyliki poświęconej bogowi Neptunowi – fragmenty korynckich kolumn oraz fryz z delfinami.

Panteonem zaczęto zachwycać się ponownie dopiero pod koniec XV wieku. Przyciągał uwagę architektów renesansu, pragnących naśladować to arcydzieło, a szczególnie jego kopułę. Pamiętał o niej Michał Anioł, konstruując tę swoją – nad bazyliką watykańską (San Pietro in Vaticano). Ponoć zadanie, jakie stawiali przed nim papiescy zleceniodawcy, było jednoznaczne. Kopuła największej świątyni chrześcijańskiej miała być w ongiś pogańskim mieście najwyższa, ale też największa pod względem średnicy. I o ile to pierwsze polecenie zostało przez Michała Anioła po mistrzowsku wykonane, z tym drugim nie zdołał się uporać. Średnica kopuły bazyliki watykańskiej jest o 1,4 metra mniejsza od tej Panteonu. Nie odczuwamy tego, gdyż nie ma on bębna, na którym spoczywa kopuła bazyliki Piotrowej. Ale to nie fakt, że budowla skutecznie rywalizuje z bazyliką watykańską, budzi nasz niekłamany dla niej podziw, ale elegancja i powaga panujące we wnętrzu, a zarazem prostota bryły. Trudno to odczuć w przelewającym się tłumie ludzi, bezustannie nawiedzających ten przybytek. Jedynie rano, zaraz po otwarciu, w pustym wnętrzu doświadczymy jego prawdziwego, zniewalającego piękna. A gdy nadarzy się okazja i krople deszczu zaczną wpadać do środka, albo jeszcze rzadsze w Rzymie płatki śniegu, nikt nie będzie się dziwił, gdy i my zaczniemy bić brawo dla tego najprzedniejszego dzieła ludzkich rąk. Nie trzeba jednak tych zjawisk, by i tak poczuć ściskające gardło wzruszenie, gdy staniemy pod okulusem i spojrzymy na błękit rzymskiego nieba. A może będziemy mieli szczęście i słońce zajrzy do środka, aranżując swoisty teatr cieni, prowadzących grę z plamami jaskrawego światła.