Jehan Alain wurde am 3. Februar 1911 in Saint-Germain-en-Laye in eine Musikerfamilie hineingeboren. Sein Vater Albert (1880–1971) war Organist, Komponist und Orgelbauer und hatte bei Alexandre Guilmant und Louis Vierne Orgel studiert.
Alain erhielt seinen ersten Klavierunterricht bei Augustin Pierson, dem Organisten an St. Louis in Versailles, sowie Orgelunterricht bei seinem Vater, der eine viermanualige Hausorgel im Wohnzimmer seiner Familie gebaut hatte. Bereits mit 13 Jahren vertrat ihn Jehan als Organist an der katholischen Pfarrkirche in St. Germain-en-Laye.
Von 1927 bis 1939 studierte Alain am Conservatoire National Superieur in Paris. Sein berühmtester Lehrer war Marcel Dupré. Alains musikalisches Schaffen war wesentlich beeinflusst von Claude Debussy und Olivier Messiaen.
1935 wurde Alain zum Organisten an St. Nicolas de Maisons-Laffitte ernannt, wo er vier Jahre lang arbeitete. Darüber hinaus spielte er regelmäßig im Temple Israëlite in der Rue Notre-Dame-de-Nazareth in Paris, wo im Jahre 1938 die einzige bekannte Tonaufnahme von ihm, eine sechsminütige Orgelimprovisation, gemacht wurde.
Seine Einberufung zum Kriegsdienst erfolgte 1939. Am 20. Juni 1940 fiel er in einem Gefecht bei Saumur und hinterließ Ehefrau Madeleine Payan und drei Kinder.
Das Werkverzeichnis Alains umfasst mehr als 140 Kompositionen. Er schrieb Musik für Klavier und Orchester sowie Vokal- und Kammermusik. Seine Bekanntheit verdankt er aber vor allem seinen Werken für Orgel.