Vorsicht Statistik: PISA-Ergebnisse sind international nur eingeschränkt vergleichbar

Bereits vor der offiziellen Publikation der internationalen OECD-Schulleistungsuntersuchung („Programme for International Student Assessment“) Anfang Dezember sorgt die neueste Ausgabe der Studie für einiges Rauschen im deutschen Blätterwald. So berichtete beispielsweise die Frankfurter Allgemeine Zeitung am 28. November in einem Gastbeitrag des Bildungsforschers Rainer Bölling unter dem Titel „Schiefer als der schiefe Turm“ von verschiedenen Problemen zurückliegender PISA-Studien.

Ziel der Studie ist das Messen und Vergleichen von Schulleistungen in Lesen, Mathematik und Naturwissenschaften. Diese Zahlen beruhen auf Stichproben. Dagegen wäre auch nichts einzuwenden, würden diese in allen Ländern gleichmäßig nach den gleichen Standards der Statistik erhoben. Das geschieht aber nicht. In manchen asiatischen Ländern etwa, die bei PISA regelmäßig Spitzenplätze belegen, nehmen nur rund 80 Prozent der Schüler in den zufällig ausgewählten Schulen an den Testaufgaben teil, in Deutschland über 95 Prozent. Welche Schüler fallen durch den Rost? Hier gibt es durchaus Hinweise, dass in manchen Ländern vor allem schlechtere Schüler am PISA-Prüfungstag krank werden oder die Schule schwänzen. Damit werden dann aber Äpfel mit Birnen verglichen.

Auch der wachsende Migrantenanteil bei Schülerinnen und Schülern in Deutschland ist eine wichtige Ursache für das im internationalen Vergleich eher mittelmäßige Abschneiden deutscher Schulen. Als Gegenargument wird oft das Beispiel Kanada aufgeführt, wo es ebenfalls einen hohen Migrantenanteil gibt, ohne dass dies den Schulleistungen Abbruch täte. Aber in Kanada zeigen Kinder mit Migrationshintergrund als Folge einer selektiven Einwanderungspolitik im Durchschnitt bessere schulische Leistungen als einheimische, sie ziehen den Durchschnitt tendenziell nach oben. In Deutschland schneiden Kinder mit Migrationshintergrund im Durchschnitt in der Schule schlechter ab als einheimische, insbesondere, weil sie teils erst einmal die deutsche Sprache lernen müssen. Sie drücken den Durchschnitt daher tendenziell nach unten.

Statt reiner Rang-Vergleiche Ergebnisse differenziert betrachten

Es bleibt zu hoffen, dass diesmal eine im Vergleich zur Vergangenheit differenziertere Berichterstattung und öffentliche Diskussion der Ergebnisse der PISA-Studie erfolgt. So haben die Autoren der Studien bereits in der Vergangenheit sogenannte Konfidenzintervalle ausgewiesen, die die durch die Stichprobenziehung entstehende Unsicherheit in den Schätzergebnissen berücksichtigen. Dabei fallen die Unterschiede zwischen den einzelnen Staaten teilweise so gering aus, dass viele dieser Unterschiede statistisch nicht signifikant sind. Auch wurde in diesen Berichten ausführlich auf die Unterschiede zwischen Kindern mit und ohne Migrationshintergrund hingewiesen. Beides – sowohl die Unsicherheit der Ergebnisse als auch die Unterschiede zwischen Kindern mit und ohne Migrationshintergrund – wurde in der öffentlichen Diskussion zu PISA jedoch weitgehend ignoriert.

Daher unsere Bitte, in der Diskussion der Ergebnisse der PISA-Studie nicht den Rang Deutschlands in einem problematischen internationalen Vergleich zu betrachten. Vielmehr sollte man sich auf die Lösung der eigenen Probleme im Bildungssystem konzentrieren. Hier kann die PISA-Studie durchaus Erkenntnisse zu relativen Defiziten in einzelnen Bereichen liefern.