Ephraim Carlebach wurde am 12. März 1879 in Lübeck geboren. Hier besuchte er zusammen mit Thomas Mann das Katharineum. Er studierte Geschichte und Pädagogik in Zürich, Basel, Würzburg und Berlin. Während seiner Zeit in Berlin war er Religionsführer der Adass-Jisroel-Gemeinde.

1900 promovierte er in Berlin und legte ein Jahr später das Rabbinerexamen ab. Von Berlin zog Carlebach nach Leipzig, wo er als Rabbiner des Talmud-Thora-Vereins arbeitete. Hier war er nicht nur Rabbiner, sondern fungierte als Lehrer und Vermittler zwischen den liberalen und orthodoxen Juden Leipzigs. Erst 1917 wurde er offiziell zum Gemeinderabbiner ernannt.

1905 heiratete er Gertrud Jacoby und beide bekamen sechs Kinder: Esriel, Hanna, Cilly, David, Rahel und Joseph.

Mit seinem Amtsantritt begann Carlebach an der Eröffnung einer Schule für die Leipziger Orthodoxie zu arbeiten. 1912 konnte die Schule mit eigenem Schulgebäude realisiert werden. Ziel war die Verbindung von moderner Bildung mit religiöser Wissenschaft. An seiner Schule setzte er die reformpädagogischen Ideen seines Bruders David Carlebach, welche auf den Arbeiten von Dr. Hugo Gaudig basierten, um.

Ab 1933 begann der NS-Lehrerbund an der Carlebach-Schule mit der systematischen Ausgrenzung von Carlebach. Seine angeschlagene Gesundheit litt dadurch weiter, sodass er 1934 im Schulamt zusammenbrach und daraufhin alle Ämter niederlegte.

Im März 1936 verließ Carlebach mit seiner Familie Leipzig, um in Palästina zu leben. Am 4. Oktober 1936 starb Carlebach völlig unerwartet im Alter von 57 Jahren.