Der Pastor
Nach dem Theologiestudium in Basel, Straßburg und Montauban wurde er 1859 zum Gründungspastor der Kirchengemeinde von Libourne (Departement Gironde) ernannt, die er bis 1877 betreute. Seine persönliche Entwicklung führte ihn an die Seite des radikalliberalen Protestantismus, dessen Standpunkte er in zahlreichen Artikeln und Vorträgen vertrat. 1869 wollte Ferdinand Buisson ihn für die Freie und Liberale Kirche gewinnen, deren Gründung er in Neuchâtel (Schweiz) vorbereitete. Steeg mußte aus gesundheitlichen Gründen ablehnen, widmete sich aber auch weiterhin der Verbreitung demokratischer und republikanischer Ideen. 1877 legte er sein Pastorenamt nieder, da er sich keinerlei kirchlichem Zwang unterwerfen wollte.
Der Politiker
Nachdem er 1870 in seinem Kanton Libourne eine republikanische Zeitung gegründet hatte, in der er für die Republik und gegen die Volksabstimmung zur Bestätigung der Regierung Napoléons III. (8. Mai 1870) eingetreten war, wurde er 1881 und 1885 als Abgeordneter der Gironde in die Nationalversammlung gewählt. Im Kabinett von Jules Ferry, wo er seine protestantischen Freunde Félix Pécaut und Ferdinand Buisson wiedertraf, beteiligte er sich aktiv an der Einrichtung eines republikanischen, laizistischen, öffentlichen, kostenlosen und obligatorischen Schulunterrichts. Er war (positiver) Gutachter der Gesetzesvorlage zur Abschafffung des Konkordats von 1801 sowie der Gesetzesvorlage von Jules Ferry zur Laizität des Erziehungswesens.
Der Pädagoge
1889 wurde er zum Generalinspektor des Grundschulwesens ernannt und mit der Leitung des Pädagogischen Museums in Paris betraut. Er beendete seine Karriere als Nachfolger seines Freundes Ferdinand Buisson als Studieninspektor der Pädagogischen Hochschule [École Normale Supérieure] in Fontenay-aux-Roses (Departement Seine).
Sein Sohn Théodore, der es bis zum Vorsitzenden des Ministerrates brachte, schrieb 1937 : « Ich schäme mich fast der Erfolge meiner politischen Karriere, wenn ich daran denke, daß sie eigentlich alle meinem Vater zugestanden hätten, ihm, an dessen Intelligenz, Mut und Talent ich nicht heranreiche ».