Rechtswissenschaft
Die KI-Korrektur als Forschungslabor

Wie kann Künstliche Intelligenz die juristische Arbeit sinnvoll unterstützen? Diese Frage untersuchen Professor Dominik Brodowski und seine Mitarbeiterin Anne Zettelmeier an der Universität des Saarlandes im Rahmen eines großen, von der Daimler und Benz Stiftung geförderten Forschungsprojekts. Die KI-Korrektur von Probe-Examensklausuren bietet ihnen hierfür ein kontrolliertes Testfeld. Von dieser Forschung sollen Studierende zugleich profitieren – durch einen neuen Service: Direkt nach der Klausur, wenn der Eindruck noch frisch und die Erinnerung an den Fall lebendig ist, soll die KI eine schnelle erste Rückmeldung und einen zusätzlichen Lerneffekt ermöglichen.

In einem interdisziplinären und standortübergreifenden Forschungsverbund untersucht Dominik Brodowski mit Doktorandin Anne Zettelmeier, wie KI und große Sprachmodelle die Justiz sinnvoll unterstützen können. Die KI-Korrektur von Probe-Examensklausuren bietet ihnen ein "Testlabor".

Samstags um 9 Uhr ist Trainingszeit für Saarbrücker Jurastudentinnen und -studenten höherer Semester – nicht etwa im Unisport, nein: Sie schreiben Klausuren, ganze fünf Stunden lang. Für alle, die sich aufs Examen vorbereiten, bietet die Jura-Fakultät den Examensklausurenkurs an: Im Hörsaal oder auch online von zu Hause aus lösen die angehenden Juristinnen und Juristen knifflige Rechtsfälle. Sie proben den „Ernstfall“: Die Studierenden üben Zeitdisziplin, trainieren saubere Argumentation, gewöhnen sich an die Prüfungssituation und bauen Ängste ab.

 

Nach Abgabe der Probe-Examensklausuren heißt es: Warten. Denn die gewissenhafte Korrektur mehrerer Dutzend Klausuren dauert seine Zeit – in fünf Stunden kommt einiges an Seiten zusammen. Erst einige Wochen später erfahren die freiwilligen Klausurschreiberinnen und -schreiber bei der Besprechung mehr über die Musterlösung.  Mit ihrer korrigierten Klausur erhalten sie ein konkretes individuelles Feedback samt Tipps, wie sie Schwächen ihrer Methodik vermeiden und an ihrer Technik feilen können. „Bei menschlichen Korrektorinnen und Korrektoren ist eine schnellere Rückmeldung nicht möglich“, sagt Strafrechtsprofessor Dominik Brodowski. Seit Juni bietet er mit seinem Lehrstuhlteam eine weitere Option an: „Die Studierenden haben die Chance, ihre Klausurlösung sogleich nach getaner Arbeit in unserer Plattform namens ‚BenGER‘ hochzuladen. Binnen Sekunden erhalten sie eine KI-Korrektur“, sagt der Jura-Professor, der in der Forschung einen Schwerpunkt auf Digitalisierung und den Einsatz von KI in der Justiz legt: Brodowski erforscht Themen von Cybercrime über digitale Beweismittel und Forensik bis hin zu IT-Sicherheit.

 

„Wir wollen herausfinden, wie gut Künstliche Intelligenz Jura kann, wie leistungsfähig und wie vertrauenswürdig KI-Anwendungen im Recht sind."

Strafrechtsprofessor Dominik Brodowski

 

KI-Korrektur als Testlabor für die Forschung zu KI-Einsatz in der Justiz
 

In einem interdisziplinären und standortübergreifenden Forschungsverbund untersucht Dominik Brodowski, wie KI und große Sprachmodelle die Justiz sinnvoll unterstützen können. Die Daimler und Benz Stiftung fördert das Ladenburger Kolleg „Titan“, kurz für „Technologische Intelligenz zur Transformation, Automatisierung und Nutzerorientierung des Justizsystems“. „BenGER ist ein zentrales Ergebnis dieses Projekts. Der Name steht für Benchmark for German Law“, erklärt Dominik Brodowski. Mit dieser von der TU München entwickelten Plattform lassen sich Qualität und Zuverlässigkeit von KI-Systemen bei juristischen Aufgaben systematisch bewerten. „Kurz gesagt wollen wir herausfinden, wie gut KI Jura kann, wie leistungsfähig und wie vertrauenswürdig KI-Anwendungen im Recht sind. Die Plattform macht es möglich, juristische Aufgaben von Menschen und KI-Systemen bearbeiten zu lassen und die Ergebnisse anschließend systematisch zu vergleichen und auszuwerten“, erläutert der Jura-Professor, der im Verbund mit den Kollegen der TU München daran mitarbeitet, die Plattform weiterzuentwickeln. Die KI-Korrektur ist für das Forschungsteam wie ein kleines Testlabor: Mensch und KI lösen, bewerten, beurteilen und benoten hier denselben Fall.

 

Wie in einem Laborexperiment können Brodowski und sein Team analysieren, wie die KI im Vergleich zum Menschen vorgeht, und so zugleich die BenGER-Plattform testen. „In wenigen Sekunden erstellt das Sprachmodell zur Klausur ein detailliertes Text-Votum. Wir untersuchen, wie genau die KI dabei bewertet, worauf sie besonderen Wert legt und worauf nicht, und vergleichen die Ergebnisse später mit denen der menschlichen Korrektorinnen und Korrektoren“, sagt Doktorandin Anne Zettelmeier. Die Juristin ist wissenschaftliche Mitarbeiterin am Lehrstuhl und arbeitet am Titan-Projekt mit.

 

Was der KI-Korrektor kann – und was nicht
 

„Auffallend ist, dass die KI insgesamt gnädiger korrigiert als die menschlichen Korrektorinnen und Korrektoren“, erklärt sie. „Im Schnitt bewertet KI um 1,4 Notenpunkte besser, in einigen Fällen liegen die Ergebnisse von KI und Mensch noch weiter auseinander, es gab Ausreißer“, erläutert die Juristin, die am Lehrstuhl selbst Arbeiten korrigiert. Es kam vor, dass die KI etwa 09 Punkte vergab, während der Korrektor die Arbeit mit 03 bewertete – statt voll befriedigend also durchgefallen. „Auch bei menschlichen Korrektoren kommen mal Unterschiede vor, aber solch krasse Abweichungen sind sehr selten zu erwarten“, sagt die Juristin. Die KI berechnet ihr Urteil mit Wahrscheinlichkeiten. Dabei klebe sie bei ihren Saarbrücker Korrekturen sehr an der Musterlösung, mit der sie die Arbeit abgleicht, wie Anne Zettelmeier berichtet. „Ein Mensch kann dagegen individuell auf die Auslegung eingehen, vertretbare Lösungen erkennen und auch den Mut bewerten, andere Lösungswege zu finden. Der Korrektor geht am Textrand konkret auf einzelne Passagen ein, macht gezielte Verbesserungsvorschläge, wie die Studenten ihre Argumentation verbessern können“, erläutert die Doktorandin.

 

"In wenigen Sekunden erstellt das Sprachmodell zur Klausur ein detailliertes Text-Votum. Wir untersuchen, wie genau die KI dabei bewertet, worauf sie besonderen Wert legt und worauf nicht, und vergleichen die Ergebnisse später mit denen der menschlichen Korrektorinnen und Korrektoren."

Doktorandin Anne Zettelmeier

 

Mit den Ergebnissen dieser Forschung sollen die KI-Modelle und die BenGER-Plattform verbessert werden. Worum es nicht geht, ist, den menschlichen Korrektor zu ersetzen. „Das wird auch nicht funktionieren, die persönliche Korrektur durch den Menschen ist nicht ersetzbar. Für die Korrektoren selbst kann die KI-Korrektur ein Stück weit Hilfsmittel sein, über die eigene Bewertung nachzudenken und sie zu reflektieren. Um beim Korrigieren Arbeit zu sparen aber taugt die KI nicht, dafür ist sie kein sinnvolles Tool“, betont Dominik Brodowski.

„Wohl aber kann eine solche KI-Korrektur für Studierende den zusätzlichen Service einer ersten schnellen Rückmeldung direkt nach der Abgabe der Klausur bieten. Das ist von Vorteil, weil dann die eigene Lösung noch sehr präsent ist und man sich an die Einzelheiten sehr frisch erinnert. Nach drei, vier Wochen stecken die Studierenden nicht mehr so im Detail wie kurz nach der Klausur. Die KI gibt eine Einschätzung, die die Studierenden nutzen können, um ihr Studium entsprechend anzupassen und etwa gewisse Inhalte aufzuarbeiten oder an ihrer Methodik zu feilen“, erklärt Professor Brodowski. Immer aber müssten die Studierenden den kritischen Blick im Umgang mit Künstlicher Intelligenz bewahren.

 

Wie Studierende die KI-Korrektur sehen
 

Die Teilnahme am Forschungsprojekt KI-Korrektur ist für die Studierenden im Examensklausurenkurs ein freiwilliges Angebot. Beim ersten Mal nahmen von den insgesamt 46 Studierenden 23 teil. Bei der zweiten Klausur, die Jura-Professorin Annette Guckelberger im Oktober stellte, waren es 22 von 59 Abgaben, und bei der dritten abermals von Professor Brodowski gestellten Klausur waren es 29 von 56. Technisch funktionierte alles: Innerhalb von Sekunden gab es ein Votum. „Man erhält schnell eine erste Einschätzung der Klausurlösung und kann sich dadurch besser auf die Besprechung der Klausur vorbereiten“, schildert Student Laurenz Hübscher, der seine Klausur in BenGER hochlud. Statt der sonst längeren Zeit der Ungewissheit biete die KI-Korrektur früh eine gewisse Klarheit über Lernfortschritte, Wissenslücken oder Klausurtaktik.
 

Aber auch bei der Korrektur seiner Klausur lagen KI und der menschliche Korrektor ganze vier Punkte auseinander. „Die KI hat wohlwollender korrigiert“, sagt der Student. Wegen der Diskrepanz korrigierte Anne Zettelmeier die Klausur erneut und bestätigte die menschliche Korrektur. „Auch bei den anderen Studierenden, die die KI-Korrektur genutzt haben, hat die KI einige Auslegungsfragen und stilistische Aspekte entweder nicht richtig oder zu gut bewertet. Ich habe den Eindruck, als hätte die KI nur nach Schlagworten in der Lösung gesucht und diese Teile dann als gut befunden, statt den tatsächlichen Inhalt zu bewerten“, sagt Laurenz Hübscher.

 

Bei Studentin Alexandra Baronesse von Engelhardt, die ebenfalls teilnahm, lagen KI und Mensch nur wenig auseinander. „Die KI kam zwar fast zum selben Ergebnis – sie vergab einen Punkt mehr –, aber bei der Bewertung hat sie andere Schwerpunkte gesetzt und andere Punkte bemängelt oder hervorgehoben als der menschliche Korrektor“, sagt die Studentin. „Die KI gibt einen guten Einblick, was Inhalt der Musterlösung war. Sie hat sich vor allem auf die Stellen gestützt, an denen meine Lösung hiervon abgewichen ist. Der Korrektor dagegen hat auch andere Inhalte, Argumente und den persönlichen strukturellen Aufbau betrachtet – also etwa: Zwar trifft dieses oder jenes Argument nicht die Lösungsskizze, aber die Lösung zeigt, dass man juristisch arbeiten kann“, schildert sie. Sie würde die schnelle KI-Rückmeldung wieder nutzen, ebenso wie ihr Kommilitone Laurenz Hübscher. „Die KI-Korrektur ist nützlich, um zu überprüfen, ob Klausurschwerpunkte getroffen und entsprechende Schlagwörter bei der Bearbeitung verwendet wurden“, bestätigt der Student. „Aber ich denke auch, dass die KI – Stand heute – noch nicht so weit ist, juristische Argumentation und Auslegung entsprechend zu bewerten. Mit vertretbaren Argumenten und Lösungen kann man ja durchaus von der Musterlösung abweichen und trotzdem noch ein gutes Ergebnis erzielen“, sagt er.

 

Das Forschungsprojekt läuft weiter, für die Saarbrücker Studierenden könnte die schnelle KI-Korrektur bei Übungsklausuren zum zusätzlichen Service werden. Für Jura-Professor Dominik Brodowski ist klar: „Künstliche Intelligenz wird die juristische Arbeit in Zukunft in vielen Bereichen sinnvoll unterstützen können. Aber auch der Erwartungshorizont wird mit KI steigen.“ Studierenden gibt Brodowski mit auf den Weg: „Man sollte immer kritisch hinterfragen und KI-Ergebnisse niemals zu gutgläubig hinnehmen oder gar Quellen ungeprüft übernehmen. Die KI ersetzt niemals das eigene Denken und die eigene, sorgfältige wissenschaftliche Arbeit.“

Text:Claudia Ehrlich
Claudia Ehrlich
Fotos: Claudia Ehrlich/UdS
18.11.2026
Fotos:
Fotos: Claudia Ehrlich/UdS
Zum Seitenanfang