Nach Beendigung der Dritten im Sommer 1896, dieser gigantischen und bis dahin umfangreichsten aller Symphonien, brauchte Mahler offenbar ausreichend Zeit, um einen neuen Ansatz zu finden. Die Komposition an seiner neuen, der vierten Symphonie, nimmt er jedenfalls erst drei Jahre später im Juli 1899 in Angriff. Es scheint eine spontane und fieberhaft verfolgte Eingebung gewesen zu sein, die Mahler gegen Ende seines Sommerurlaubs in Aussee in der Steiermark zehn Tage "vor Torschluß in den Schoß gefallen!" (NBL 1984, 138). Mahler musste, ob er wollte oder nicht, so viel davon festhalten, wie er konnte. "Er arbeitet trotz aller Hindernisse, wo er nur kann, selbst beim Spazierengehen (allein, oft sogar mit uns, indem er zurückbleibt)« (NBL 1984, 138). Denn nach Ende der Ferien war an ein Weiterkomponieren nicht mehr zu denken. Mahler sei "beim Entwerfen [ ... ] die Erfindung oft ins Stocken« geraten. »Doch diesmal quoll und floß es mir so reichlich zu, daß ich gar nicht wußte, wie alles aufzufangen, und fast in Verlegenheit war, wie es unterzubringen sei. Und mir diesem schrecklichen Mißton mußten die Ferien enden [ ... ]" (NBL 1984, 143).
Was Mahler hier »in den Schoß gefallen« war, scheine der Einfall gewesen zu sein, wie er seinen früheren Plan, das Lied Das himmlische Leben zum Schluss-Satz einer Symphonie zu machen, realisieren könne. Das Lied war 1892 als eines von fünf Orchesterliedern nach Texten aus Des Knaben Wunderhorn entstanden, die Mahler "Fünf Humoresken" genannt hatte (dazu gehören Der Schildwache Nachtlied, "Verlorne Mühe", Trost im Unglück, Das himmlische Leben und Das irdische Leben). Schon während der Arbeit an der Dritten hatte Mahler, wie oben geschildert, das Lied zeitweise auch als Finalsatz vorgesehen, den Plan aber zugunsten der sechssätzigen Anlage mit Adagio-Finale fallen gelassen. Nun in Aussee war ihm die Lösung eingefallen; es sollte freilich zunächst , "nur eine symphonische Humoreske" werden, wie er Natalie Bauer-Lechner gegenüber äußerte, die sich dann aber auf "das normale Maß einer Symphonie" ausgewachsen habe (NBL 1984, 162).
Die noch ausstehenden Sätze eins bis drei hatte Mahler in den letzten Urlaubstagen "zur Hälfte entworfen":
"Du magst dir denken, mit welchen Gefühlen ich das alles abbrach und Aussee verließ, da ich an die Möglichkeit eines Wiederaufnehmens dieser Arbeit absolut nicht glauben konnte [ ... ]. In einer einzigen Rolle packte ich die paar für niemand zu entziffernden Skizzen zusammen, warf sie in das letzte Fach meines Schreibtisches und sah sie nicht an, ja konnte nicht daran denken ohne den stechendsten Schmerz." (NBL 1984, 164)
In den Urlaubswochen des folgenden Jahres wurde die Komposition in Maiernigg am Wörthersee wiederaufgenommen. Mahler glaube, Bauer-Lechner zufolge (und ganz im Sinne der damals brandneuen Theorien Sigmund Freuds), dass wir ein "zweites Ich" besitzen, das
"im Schlafe tätig ist, das wächst und wird und hervorbringt, was das wahre Ich vergeblich suchte und wollte [ ... ]. Daß dieses zweite Ich aber über zehn Monate Winterschlafs (mit all den furchtbaren Träumen des Theatergetriebes) an meiner Vierten Symphonie gearbeitet hat, ist unglaublich! Denn weiter und fertiger, als ich sie voriges Jahr in Aussee stehen lassen mußte, greife ich sie heuer wieder auf, ohne mich auch nur einen Augenblick bewußt mit ihr befaßt zu haben [ ... ]."(NBL 1984, 161)
Am 5. August 1900 (NBL 1984, 165) wurde die Symphonie im Wesentlichen beendet. Änderungen folgten noch im Laufe des nächsten Jahres, bevor das Werk am 25. November 1901, also noch vor der Dritten, unter Mahlers Leitung in München uraufgeführt wurde und ein Jahr später in Wien im Druck erschien.