Urodził się koło Cezarei w Kapadocji w 439 roku. W wieku ośmiu lat wstąpił do pobliskiego klasztoru, a dziesięć lat później znalazł się w gronie ascety i pustelnika Eutymiusza Wielkiego koło Jerozolimy. W okresie narastającego konfliktu w łonie świata chrześcijańskiego uczestniczył w poselstwach do Konstantynopola, gdzie bronił zawzięcie pozycji biskupa Rzymu Leona I i ustaleń soboru w Chalcedonie z 451 roku. Podobnie jak Leon, Saba był zdeklarowanym wrogiem monofizytyzmu, który od tego czasu zaczął dzielić chrześcijan. Spór dotyczył doktryny teologicznej traktującej o dwóch naturach Chrystusa. Poszukujący kompromisu patriarcha konstantynopolski nie znajdował posłuchu, a kościoły, zrywające z ustaleniami z Chalcedonu, odwracały się coraz bardziej zarówno od Konstantynopola, jak i od Rzymu. Konflikt zaogniał się, a sytuacja mnichów, skupionych wokół Saby i deklarujących oddanie tezom z Chalcedonu, stawała się coraz trudniejsza.

Napływ muzułmanów postawił przed klasztorami założonymi przez Sabę na terenie Palestyny nowe wyzwania.  On sam tego nie doczekał, zmarł w podeszłym wieku w 532 roku i pochowany został w klasztorze, który otrzymał jego imię – Mar Saba. W czasie ekspansji arabskiej przybytek ten był wielokrotnie napadany. Mnich Antioch pisze, że w 614 roku zginęło w czasie pożogi 44 mnichów, których ciała złożono w jednej z kaplic. Ostatecznie w 645 roku uciekający przed muzułmanami mnisi z klasztoru Mar Saba przybyli do Rzymu i osiedlili się na Małym Awentynie. Od tego czasu datuje się kult Saby w Wiecznym Mieście.

Doczesne szczątki Saby przeniesiono tymczasem do Konstantynopola. W 1204 roku zostały jednak zrabowane jako cenny łup przez Wenecjan, którzy oprócz splądrowania cesarskich kosztowności, kradzieży bazaltowych kolumn i rumaków z brązu zagarnęli również tamtejsze relikwie, nie tylko zresztą Saby.

W 1965 roku, po wielu wiekach próśb mnichów z Mar Saba (czyli Wielkiej Ławry św. Saby, bo taka jest oficjalna nazwa tego prawosławnego przybytku), papież Paweł VI zdecydował się oddać szczątki świętego temu klasztorowi.