Rodil se je 1. julija 1867, v Cerknem. Pri 10 letih je izgubil oba starša in v Kamnik ga je vzel njegov stric duhovnik. Stric je prepoznal glasbeno nadarjenost in ga je poslal k patru Angeliku Hribarju, ki mu je posredoval temeljit pouk v glasbeni teoriji in ga spravil v orglarsko šolo Cecilijinega društva v Ljubljani. Spričevalo, z datumom 14. 7. 1887 se je zaključilo z napisom: »torej je vrlo sposoben za orglarsko službo«.
Samo z igranjem na orgle se ne bi dalo preživljati, zato je vzporedno zaključil tudi šolanje za pisarniška dela in ob zaključku šolanja dobil službo občinskega tajnika v Litiji.
V Litiji je bil najprej pomožni organist (1887–89), potem je služboval kot glasbenik pri vojaški godbi 97. pešpolka v Pulju (1889–92) in nato nad 40 let opravljal službo občinskega tajnika in organista v Litiji (1892–1933), ko je stopil v pokoj. Ves ta čas je bil tudi pevovodja znanega Pevskega društva Lipa v Litiji. Pred pevce Lipe je kot umetniški vodja stopil leta 1892. Takrat je društvo delovalo še v okviru podružnice Ciril – Metodove družbe v Litiji. Šele v času njegovega vodenja, v letu 1910, je zbor dobil ime Lipa, ki ga nosi še danes. Že v preteklosti je PD Lipa delovalo kot mešana zasedba, pozneje zgolj kot moški zbor, danes obstajata dve vokalni skupini, ŽVS Lipa in MVS Lipa.
Prav za pevce Lipe je zložil mnogo skladb, ki so jih z veseljem prepevali. Jerebove odlične posvetne skladbe (v glavnem zborovske) so zgrajene v narodnem duhu in slone na slovenski ljudski pesmi.
Ko je skladatelj našel primerno besedilo, so nastale pesmi, ki jih zbori še danes redno umeščajo v svoje repertoarje: Pelin roža, O kresu, Pisemce, Balada, Šent - Janževo, Kam si šla?, Napitnica, Prepelica, Na Posavju, Vetrček moj, Zimska idr. Od cerkvenih skladb je omeniti: Graduale in festo s. Joachim za moški zbor (1897), motet Bone pastor za moški zbor (1914), Ave Maria za mešani zbor (1915).
Največkrat je uglasbil besedila Cvetka Golarja, ki ga je tudi osebno poznal.
Manjši del opusa je izšel v treh zbirkah: Deset moških in mešanih zborov, samozaložba 1924, Ob 70-letnici skladatelja Petra Jereba, osem zborov, Hubadova župa, J.S.P. Ljubljana, 1937 ter Moški zbori, ZKOS, 1978.
Peter Jereb je bil tudi pobudnik za nastanek prve litijske glasbene šole, ki so jo ustanovili v tridesetih letih 20. stoletja, kot sekcijo Pevskega društva Lipa.
Za svoje delovanje je prejel številna odlikovanja, domači pevci so se ga redno spominjali ob okroglih življenjskih jubilejih.
Jerebovo vodenje pevskega zbora se je zaključilo tik pred drugo svetovno vojno, po skoraj petdesetih letih.
Peter Jereb je bil poročen dvakrat, prva žena mu je umrla, v zakonu se je rodila hčerka Angela. Drugič se je poročil z vdovo Ano, rojeno Lajovic (1888), iz znane družine z Vač. Ana je v zakon pripeljala hčer Jeleno in sina Staneta. Zakoncema Jereb se je v letu 1925 rodil sin Peter.
V zakonu je vladala velika harmonija, skladatelj je dokončano skladbo najprej zaigral soprogi Ani, skupaj sta jo zapela. S soprogo Ano jima je med drugo svetovno vojno grozila deportacija v taborišče, če se sin ne bi odzval na vpoklic v nemško vojsko. Njegova prisilna mobilizacija se je končala v ruskem ujetništvu.
19. 5. 1945 je Peter Jereb zaradi bolezni izgubil soprogo. V mesecih čakanja na vrnitev sina iz ruskega ujetništva, je pisal dnevnik, kjer je zapisal: »Miklavž ni pozabil name, čeprav je napravil nekaj dni zamude, pripeljal pa mi je moje največje veselje, mojega težko pričakovanega zlatega sina Petra.«
Peter Jereb je kot občinski tajnik v Litiji delal kar 47 let. V tem času je služil pod desetimi župani, skupno pa je v Litiji prebival kar 64 let. Bil je tajnik trškega odbora, tajnik in blagajnik gasilcev, gasilec, blagajnik šolskega odbora, tajnik in blagajnik okrajnega cestnega odbora, vodja litijskega orkestra, kapelnik litijske gasilske godbe, zastopnik državnega tožilca v Litiji, občinski tajnik. Službo občinskega tajnika je dopolnjeval kot cerkveni organist.
V obeh krajih so mu posvetili ulici, v Cerknem in Litiji.
O Petru Jerebu, svojem sokrajanu in prijatelju, je ob stoletnici rojstva v Idrijskih razgledih obširneje pisal Jože Župančič iz Litije. V sestavku je omenil, da je pred smrtjo precej svojih del uničil s požigom. Ta požig je bil prvi znak, da stari skladatelj usiha. Umrl je 3. oktobra 1951 v Litiji, pokopan je na litijskem pokopališču.
Po smrti je njegov sin Peter sestavil seznam skladb, ki jih je našel v očetovih mapah. Uredil jih je kronološko, seznam vsebuje 47 naslovov. Glasbeni opus je podaril Narodni univerzitetni knjižnici, nekaj osebnih predmetov pa Knjižnici Litija, ki jih je posodila Mestnemu muzeju Litija. Tam so v letu 2019 uredili Jerebovo sobo, kjer je skladateljev klavir in nekateri predmeti: škatla za dirigentsko paličico, piščal za intonacijo, zlata medalja z likom cesarja Franca Jožefa in številna druga odlikovanja.
V Litiji je v preteklosti Zveza kulturnih društev Litija podeljevala Jerebova priznanja za dolgoletno delo in prepoznavne dosežke na področju ljubiteljske kulture, nazadnje leta 2008. Od leta 2017 Občina Litija ob svojem prazniku podeljuje zlata, srebrna in bronasta Jerebova priznanja Občine Litija za dosežke na področju kulture.
V letu 2017, ob 150 letnici skladateljeva rojstva, so se ga v Litiji spomnili z več dogodki: v KC Litija je v aprilu potekala slavnostna akademija, ki so jo pripravili OŠ Gradec, Knjižnica Litija in Pevsko društvo Lipa Litija. Spomine na občinskega tajnika v službi pri županu Lebingerju, je obujala županova hči, Marijela Lebinger, akademijo so spremljali 92 letni sin Peter, vnukinja Smilja in pravnuk Tibor.
Na pročelju njegovega doma, Farbarjevega turna, so hvaležni pevci PD Lipa že v letu 1955 pritrdili spominsko ploščo dolgoletnemu zborovodji. Ob 150-letnici rojstva mu je Občina Litija odkrila še doprsni kip, ki ga je izdelal akademski kipar Anže Jurkovšek. V letu 2017 je izšla notna zbirka Izbrani zbori Petra Jereba, ki so jo uredili Ana Tori, Darko Vidic in Mitja Gobec. Za to izdajo so pridobili skladateljeve rokopise, ki jih hrani NUK. V njej je med drugimi spremnimi besedami tudi spremna beseda pravnuka Petra Jereba. Tibor Mihelič Syed, direktor Slovenskega mladinskega gledališča in baskitarist skupine Katalena je med drugim zapisal.: »Vedno bolj sem prepričan, da je beseda, ki jo tako neumorno iščem, da bi v njej strnil občutke, ki se mi porajajo ob omembi imena in dela mojega pradeda, pravzaprav hvaležnost. Takoj za hvaležnostjo, verjetno pride beseda ponos.«