Obwohl sich diese Schulform, die auf eine frühe Aufteilung der Kinder auf verschiedene Schultypen verzichtet, in den vergangenen 30 bis 40 Jahren in praktisch allen Industriestaaten durchgesetzt hat, ist die Diskussion darüber seit der Zwischenkriegszeit in Österreich ideologisch stark belastet. Während die SPÖ seit damals immer wieder für die Gesamtschule eintritt, besteht die ÖVP auf der Trennung der Kinder nach vier Jahren Volksschule in die Hauptschule einerseits und die AHS-Unterstufe andererseits.
Die Gymnasien für die Kinder der "höheren" Bürger blicken in Österreich auf eine lange Tradition zurück - sie existierten bereits vor der Einführung der sechsjährigen Schulpflicht durch Kaiserin Maria Theresia. Mit dem Reichsvolksschulgesetz wurde 1869 die allgemeine Schulpflicht dann von sechs auf acht Jahre verlängert. Als Pflichtschule war die achtklassige öffentliche Volksschule vorgesehen, in größeren Gemeinden gab es nach Absolvierung von fünf Klassen Volksschule außerdem die Möglichkeit, eine dreiklassige "Bürgerschule" (Vorläufer der Hauptschule) zu besuchen. Daneben blieben die Gymnasien bestehen.
Nach dem Ende der Monarchie, dem Erstarken der Sozialdemokraten und dem Aufkommen der Reformpädagogik gab es in den 1920er Jahren die Bestrebung, sämtliche Kinder in einer Einheitsschule zu unterrichten - damit verbunden waren Forderungen nach der Unentgeltlichkeit des Schulbesuchs und der Lehrmittel sowie nach einer radikalen Trennung von Kirche und Staat im Schulbereich. Besonders stark waren die Auseinandersetzungen um die vom damaligen sozialdemokratischen Wiener Stadtschulratspräsidenten Otto Glöckel (1874-1935) propagierte und in Schulversuchen erprobte "allgemeine Mittelschule", in der die Zehn- bis 14-Jährigen nicht auf Gymnasium und Bürgerschule aufgeteilt, sondern gemeinsam in zwei Klassenzügen unterrichtet wurden. "Glöckel zog seine Reformen mit großem Elan durch, Wien wurde gleichsam zu einem Mekka der Pädagogik", so der Wiener Erziehungswissenschafter Richard Olechowski.
Nicht zuletzt Glöckels antiklerikale Stoßrichtung (keine Verpflichtung zur Teilnahme an religiösen Übungen) erregte den Zorn der Christlich-Sozialen: Abgänger der "Glöckelschule" wurden auf Plakaten als uneheliche Mütter bzw. als geschlechtskrank dargestellt. 1927 fand man schließlich zu einem Kompromiss, dem "Mittelschul- und Hauptschulgesetz": Demnach war nach vier Jahren Volksschule ein Übertritt in achtklassige Mittelschulen (Gymnasium, Realgymnasium, Frauenoberschule) bzw. in eine vierjährige Hauptschule mit zwei Klassenzügen möglich. Die Lehrpläne waren allerdings so zu gestalten, dass ein Übertritt zwischen Haupt- und Mittelschule jederzeit möglich war - also praktisch wortgleich. Dies wurde zwar 1934 außer Kraft gesetzt, wurde aber ab 1946 wieder so geregelt und ist mit einer kurzen Unterbrechung bis heute so geblieben.
Neuen Auftrieb erhielt die Gesamtschule mit der Einführung dieser Schulform in den skandinavischen Ländern ab den 1960er Jahren und den Wahlsiegen der SPÖ in Österreich Anfang der 1970er Jahre. Auf Grund der erforderlichen Zwei-Drittel-Mehrheit für Schulgesetze konnte die SPÖ wegen des Widerspruchs der ÖVP trotz Alleinregierung allerdings nur Schulversuche starten. An insgesamt 120 Standorten wurden verschiedene Modelle erprobt, meist mit Leistungsgruppen nach drei Niveaus. Da die Schulversuche allerdings fast nur an Hauptschulen durchgeführt wurden, blieb die eigentlich angestrebte Integration von AHS-Unterstufe und Hauptschule aber trotzdem unrealisiert.