Wenn Evaluationen auf gefühlte Wahrheiten treffen

Hypo, KH Nord, Skylink – wenn wir an Ineffizienz und Steuergeldverschwendung denken, so kommen einem meist die großen Skandale in den Sinn. Wenn dann wieder einmal ein Skandal hochkocht, so fragt man sich, wie es denn überhaupt so weit kommen konnte.

Nicht selten liegen die Ursachen an mangelnder oder schlecht ausgeführter Evaluation und Intransparenz und nicht selten ist es eine Aufsummierung von vielen kleinen, für sich genommen nebensächlichen, Fehlentscheidungen, die dazu führen, dass aus kleinen Problemen große werden.

Ein schönes Fallbeispiel hierfür hat heute die Stadt Wien mit der Evaluation der sogenannten „Wiener Gratis-Nachhilfe“ geliefert. Bei der Gratis-Nachhilfe handelt es sich um eine Unterstützungsleistung für Schüler_innen, wobei die Nachhilfe für Volksschüler_innen direkt an den Schulen stattfindet und für Schüler_innen der AHS bzw. der Mittelschule an den Volkshochschulen Wiens stattfindet. An dieser Maßnahme gab und gibt es immer wieder Kritik, da Wien beispielsweise Spitzenreiter bei privaten Ausgaben für Nachhilfe ist. Es stellt sich daher die Frage, wie Effektiv ist die Gratis-Nachhilfe nun?

Hierzu hat die Stadt Wien heute die Resultate einer Evaluation veröffentlicht. Die publizierten Ergebnisse liefern jedoch weniger Antworten, als sie (neue) Fragen aufwerfen. Ziel der Lernunterstützung ist laut Homepage der Stadt Wien:

„…, dass Kinder, die Hilfe beim Lernen und bei den Hausaufgaben brauchen, ein hochqualitatives Angebot zusätzlicher Förderung haben.“ (Quelle)

Damit liegen die wesentlichen Indikatoren, nach denen man eine derartige Maßnahme evaluiert, auf dem Tisch: hat sich die Leistung der Hausaufgaben verbessert, werden diese öfters abgegeben, wie effektiv wurden Lerntechniken vermittelt und, da ein Großteil der privaten Ausgaben dafür ausgegeben wird, dass Schüler_innen ein Nicht genügend bzw. Nachprüfungen vermeiden, wie sich die Schulnoten verändern.

Eine sinnvolle und verwertbare Evaluation von Nachhilfeangeboten liefert beispielsweise das Education Lab der University Chicago, die sich angesehen haben, wie sich schulische Leistungen durch Nachhilfe verbessern lassen. Dies sieht dann beispielsweise so aus: Verschiedene Programme werden daraufhin untersucht wie stark sich die Ergebnisse verändern, bei gleichem Mitteleinsatz. Sprich wenn ich 1.000$ in die Programme A und B investiere, welches Programm liefert die besseren Ergebnisse.

Und wie evaluiert die Stadt Wien nun ein rund 20 Mio. schweres Programm? Mit einer Umfrage, die die subjektive Wahrnehmung von Eltern, Lehrer_innen und Schüler_innen misst.

Laut der Studie, die es natürlich weder auf den Seiten des Stadtschulrats noch der Gemeinde Wien öffentlich einsehbar ist, wirkt die Gratisnachhilfe, da „42 Prozent der Lehrkräfte nehmen wahr, dass die Schülerinnen und Schüler bessere Noten erhalten.“ 

Anstatt einfach zu messen, ob sich die Schulnoten verbessert haben oder nicht, zählt die „gefühlte Wahrnehmung“. Anscheinend nimmt sich die Rot-Grüne Stadtregierung ein Beispiel an der Schwarz-Blauen Bundesregierung, die das „subjektive Sicherheitsgefühl“ der Bevölkerung erhöhen will.

Personen mit einem guten politischen Langzeitgedächtnis werden sich an dieser Stelle vielleicht noch an die Präsentation der SPÖ-Mitgliederbefragung zum Thema Bildung aus dem Jahr 2015 erinnern. Dort wurden so großartige Fragen wie diese hier gestellt:

Quelle: PK Unterlage zur Präsentation der SPÖ-Mitgliederbefragung , 12.8.2015

Angesichts dieser Erfahrungen sollten wir etwas misstrauisch sein, wenn von der SPÖ geführte Institutionen Umfragen mit Evaluationen verwechseln und niemand die Ergebnisse bzw. die Methodik überprüfen kann, da die Ergebnisse nicht online gestellt werden.

Zwar kann eine Befragung von subjektiven Wahrnehmungen durchaus ein wichtiger Punkt sein, da die Einstellung zu Schule und Lernen durchaus das Verhalten von Schüler_innen beeinflusst, jedoch kann es nicht die einzige Basis sein, auf der ein millionenschweres Programm evaluiert wird. Insbesondere da qualitativ hochwertige Studien Zweifel aufkommen lassen:

So hat das BIFIE erst vor kurzem die Ergebnisse der im Frühjahr 2017 durchgeführten Standardüberprüfung Mathematik veröffentlicht. Wien schneidet hier nicht berauschend ab und an den Wiener AHS hat sich die Leistung im Vergleich zu 2012 sogar verschlechtert.

Insofern bleibt die Frage, ob die Wiener Gratis-Nachhilfe nun wirkt oder nicht, weiterhin offen.