Ziel des Projekts ist ein Verständnis dafür zu gewinnen, welche Voraussetzungen für eine KI-gestützte Korrektur von Prüfungen erforderlich sind. Verwendet wurden anonymisierte und ohne Deckblatt gescannte Prüfungen mit Aufgaben über Lineare Algebra und Analysis im Basisjahr.
Gemini (via ETH), ChatGPT & Codex (OpenAI), Claude (Anthropic).
Diese Informationen stammen aus der Arbeit und den Berichten, die Andreas Golder leisten und erstellen konnte - besten Dank dafür:
Zusammenfassung, Präsentation, Beispiel einer Vorlage, Generic Grading Instuctions Vgl. auch Stift+
Ein generisches Dokument deckt möglichst viele Anwendungen ab. Jede Bewertung benötigt die Bausteine Instructions, Musterlösung und Bewertungsschema (Prompt); die letzten beiden können auch kombiniert werden. Die aktuellen Instructions umfassen rund 30 Regeln, darunter die Authorship Rule (z.B. ist die Schreibfarbe relevant), die Detection Map und die Folgefehlerregel.
Punktevergabe nach separatem Schema; benötigt zusätzlich die offiziellen Lösungen \(\implies\) zwei Dokumente, fehleranfälliger. Mehr Raum für Fehlinterpretation, z.B. and / or im Schema.
Punkte direkt in der Lösung annotiert; nur ein Dokument \(\implies\) weniger fehleranfällig.
Getestete Manipulationsversuche direkt auf dem Prüfungsblatt:
Codex (OpenAI)
Für Darstellungsmatrix von \(L\) bezüglich \(B_1\) wäre ein Punkt korrekt, aber die KI vergab jedoch zwei, weil sie die Matrix im Aufgabenbild \(B_c\) für richtig hielt (was falsch ist). Problem: Die Spalten wurden nicht mit der Lösung verglichen.
ChatGPT
Der Punkt wurde korrekt als Folgefehler vergeben: Der Ansatz eines homogenen Gleichungssystems \(Ax = 0\) mit der zuvor sichtbaren eigenen Matrix war erkennbar, und die Methode damit korrekt angesetzt.
ChatGPT
Die Polarkoordinaten sind sichtbar, das Integral \(\displaystyle \iint_P e^{x^2+y^2}\,dA\) aber falsch aufgesetzt; die Rechnung führte zu \(20 - 2 = 18\), inkompatibel mit dem erwarteten Wert. Da die Behandlung des Jacobians \(r\) fehlte, durfte nach der binary-vs-partial rule kein Teilpunkt inferiert werden.
Grading Instructions
Zunächst als falsch interpretiert \(\implies\) 0 Punkte. Weiter unten stand jedoch die korrekte, explizit sichtbare Aussage „für alle \(b\) gibt es Lösungen", diese muss also gewertet werden, auch wenn davor verwirrende Aussagen stehen (Robustheit).
Ein generischer Prompt mit ähnlichen Regeln, ergänzt um Didaktikanweisungen (Feedback). Damit generiert die KI pro Serie:
Individuelles didaktisches Feedback pro Studierendem.
Zusammenfassung der häufigen Fehler für die TAs.
Material, das die fehlerträchtigsten Aufgaben nochmals aufgreift.
Die Korrektur soll lernwirksam, aber bewusst kompakt sein, dabei gilt Kürze vor Vollständigkeit.
Unterschieden wird zwischen mathematischer Idee, Ausführung und Vollständigkeit.
Weitere didaktische Erklärungen nur bei zentralen Fehlern; keine langen Herleitungen.
Klassifikationen (pos. / neg., indefinit, …); berechenbare Ergebnisse (Eigenwerte, Determinanten, Lösungsvektoren); Bestimmung einer Bedingung/eines Parameters; strukturierte Objekte (\(\ker(A)\), Darstellungsmatrix, Zeilenstufenform).
Offene Begründungen („Begründen Sie …"); Skizzen ohne Achsen, Labels oder klare Kriterien; geometrische Interpretationen ohne explizite Abfrage oder Punkte für „implizite", scheinbar „offensichtliche" Schritte (z. B. Zeilenumformungen).
Kurzprinzip (auch für eine humanen Korrektur): Eine KI korrigiert am zuverlässigsten, wenn jedes bewertete Objekt sichtbar, lokal auffindbar, eindeutig der Aufgabe zugeordnet und im Bewertungsschema atomar beschrieben ist.
Als Beispiel Prüfungsvorlage Lineare Algebra II (Auszug) mit freiem Rechenraum, Korrekturankern, expliziten Lösungen und internem Grading Scheme.
Zentrale Objekte mit Feldern abfragen: Endmatrix, Eigenwerte, Koordinatenvektoren, Parameterwert.
Jedes Rubric-Item prüft ein konkretes Objekt, z.B. Eigenwerte, normierte Eigenvektoren.
Basis als Menge, Koordinatenvektoren als Spalten, Matrix in bestimmter Basis; auf Blatt ergänzen.
Verhindern, dass verstreute Resultate als gleichwertige finale Antworten erscheinen.
Zwischenobjekte sichtbar machen, um relativ zur eigenen Vorarbeit zu bewerten.
Finale Lösung eindeutig markieren; durchgestrichene Rechnungen zählen nicht.
Eine Aufgabe möglichst zusammenhängend; Zusatzblätter mit klaren Aufgabennummern.
Achsen, Gitter, Beschriftungsfelder und erwartete qualitative Merkmale vorgeben.
Korrekte alternative Methoden müssen im Schema klar zugelassen sein.
Keine überfüllten Layouts, keine winzigen Felder; Seiten & Aufgaben eindeutig nummeriert.