Był za to przystojny, świetnie jeździł konno i dobrze tańczył, co może nie stanowiło atutu dla kardynała, ale przyniosło mu innego rodzaju korzyści. Wkrótce po otrzymaniu godności kardynalskiej, ku zgorszeniu matki i wielkim rozczarowaniu papieża, Camillo postanowił kardynalski kapelusz oddać. Czyn ten wzbudził olbrzymią dezaprobatę rzymskich elit, nie tylko dlatego, że rezygnacja taka nie miała prawie precedensu, ale też z tego względu, że młody Pamphilj zaraz potem ożenił się z piękną Olimpią księżną Rossano. Była to jedna z najbardziej atrakcyjnych partii ówczesnego Rzymu – wdowa po Paolo Borghese, a równocześnie jedyna bratanica i spadkobierczyni nad wyraz zamożnego kardynała Pietro Aldobrandiniego, znanego ze swej kolekcjonerskiej pasji i ogromnego zbioru sztuki. Szczególnie czyn ten nie spodobał się matce Camilla, która wręcz niechęcią darzyła swą synową, zresztą z wzajemnością. Nienawiść obu kobiet trwać miała całe ich wspólne życie i stanowić, ku uciesze rzymian, wdzięczny temat paszkwili i satyr.

Camillo, niepozbawiony artystycznych zamiłowań, a nawet umiejętności planowania ogrodów, stał się księciem i kolekcjonerem, a jak się wkrótce okazało, także jednym z najznakomitszych mecenasów sztuki swoich czasów. Po śmierci wuja, papieża Innocentego X, oraz swej matki odziedziczył niemały majątek. Już wcześniej nie był co prawda biedny, ale dopiero w tym momencie niejako dojrzał i uświadomił sobie spoczywający na nim obowiązek wobec własnego rodu, czego wyrazem było pragnienie upamiętnienia imienia jego najznakomitszego przedstawiciela – tegoż Innocentego X. Być może był to wyraz skruchy po haniebnym pozostawieniu zwłok papieża bez należytej opieki ze strony rodziny oraz odmówieniu sfinansowania trumny dla zmarłego, którym lata temu Camillo się wsławił. Ale był to też wspaniały sposób podbudowania swego nadszarpniętego wizerunku, który znacząco ucierpiał poprzez historię z kardynalskim kapeluszem, porzuconym – jak wiemy – dla własnej zachcianki. Aby wszystko to wynagrodzić, Camillo podjął się finansowania niedokończonych projektów swego wuja. Kontynuował ciągnącą się latami budowę kościoła Sant’Agnese in Agone, w którym miał się znaleźć pomnik nagrobny papieża.  Finansował też znakomite dzieło Gian Lorenzo Berniniego – ambitny projekt budowy kościoła Sant’Andrea al Quirinale przeznaczonego dla nowicjatu zakonu jezuitów, w którym to przybytku Camillo nie omieszkał odpowiednio zaakcentować obecności swego rodu.  Ponieważ zmarł w stosunkowo młodym wieku, nie dożył poświęcenia kościoła San Nicola da Tolentino, ufundowanego jako ex voto za ozdrowienie ciężko chorej w czasie ciąży żony i mającego też być swoistym przyczółkiem rodu Pamphilj w rejonie zdominowanym przez fundacje Barberinich. Dożył natomiast i z wielkim zapałem brał udział w planowaniu i wznoszeniu Casino di Villa Doria Pamphilj, podmiejskiej rezydencji usytuowanej w malowniczym parku.

Wszystkie jego przedsięwzięcia budowlane stawiają go w rzędzie wybitnych rzymskich fundatorów doby seicenta, a równocześnie zdolnych kreatorów pozytywnego (dziś powiedzielibyśmy) PR-u, który zdecydowanie podniósł podupadły image własnego rodu.