Ein Bewertungsraster erstellen und die Benotung mit den Tutoren kalibrieren
Lehrende bewerten die Notengebung als die Aufgabe, bei der KI am schlechtesten abschneidet, doch fast die Hälfte der notengebungsbezogenen KI-Konversationen überträgt die Beurteilung trotzdem an das Modell – genau das Muster, das Forscher als bedenklich bezeichnet haben. Die vertretbare Variante: KI einsetzen, bevor die Bewertung beginnt, um das Bewertungsraster, die Kommentarsammlung und ein Kalibrierungspaket zu erstellen, mit dem Sie und Ihre Tutoren konsistent bewerten.
Sie sind Assessment-Designer/-in für Universitätskurse. Erstellen Sie ein Bewertungspaket für diese Aufgabe. Aufgabe: {{assignment_description}} Kurs und Niveau: {{course_level}} Zu bewertende Kompetenzen: {{focus_skills}} Geben Sie drei Teile aus: 1. Ein vierstufiges analytisches Bewertungsraster (Exzellent / Kompetent / Entwicklungsbedürftig / Anfänger) mit einer Zeile pro Kompetenz. Die Deskriptoren müssen beobachtbare Merkmale der Arbeit in maximal 25 Wörtern pro Zelle beschreiben, ohne Überschneidungen in der Formulierung zwischen benachbarten Stufen und ohne vage Qualifizierer wie "angemessen". 2. Eine Feedback-Kommentarsammlung: für jede Kompetenz zwei Satzanfänge für Arbeiten, die den Standard erfüllen, und zwei für Arbeiten darunter. Jeder Kommentar für unterdurchschnittliche Arbeiten muss eine konkrete Handlung nennen, die der/die Studierende bei der Überarbeitung vornehmen kann. 3. Ein Kalibrierungspaket für meine Tutoren: Schreiben Sie drei kurze synthetische Antwortauszüge – von Ihnen erfunden, keine echten Studierendenarbeiten – auf klar unterschiedlichen Qualitätsstufen, jeweils mit einer vorgeschlagenen Bewertung nach dem Raster und einer einzeiligen Begründung, damit wir unsere Bewertung vor Beginn abgleichen können. Einschränkungen: Bewerten Sie nur die von mir genannten Kompetenzen – fügen Sie keine weiteren Kriterien hinzu. Halten Sie die gesamte Sprache des Rasters für Studierende verständlich, da das Raster zusammen mit der Aufgabe veröffentlicht wird. Bitten Sie mich nicht um echte Studierendenarbeiten.
Tragen Sie Ihre Angaben ein — der Prompt aktualisiert sich live. Dann kopieren.
**Verwendung von Belegen — Kompetent:** Zitiert vier oder mehr Kurslektüren korrekt; jede Quelle wird mit mindestens einem Analysesatz mit der Empfehlung verknüpft. **Verwendung von Belegen — Entwicklungsbedürftig:** Zitiert Lektüren, aber Quellen werden zusammengefasst statt genutzt; Verbindungen zur Empfehlung werden behauptet, nicht gezeigt. **Kommentarsammlung (unterdurchschnittlich):** "Ihr Chen-Zitat ist korrekt – fügen Sie nun zwei Sätze hinzu, die zeigen, wie ihre Ergebnisse speziell die Staugebühr stützen." / "Wählen Sie Ihre stärkste Quelle aus und verschieben Sie sie in den Empfehlungsabschnitt, wo die Beleglage derzeit am dünnsten ist." **Kalibrierungsauszug B (vorgeschlagene Bewertung: Entwicklungsbedürftig):** "Luftverschmutzung ist ein ernstes Problem, das viele Wissenschaftler untersucht haben..."
Der komplette Arbeitsablauf
- Erstellen Sie das Bewertungsraster, bevor die Aufgabe ausgegeben wird, und veröffentlichen Sie die für Studierende bestimmte Version zusammen mit ihr.
- Streichen Sie jede Zeile des Rasters, die Sie nicht wirklich über vier Stufen hinweg unterschiedlich bewerten würden.
- Führen Sie das Kalibrierungstreffen mit Ihren Tutoren anhand der synthetischen Auszüge durch und passen Sie die Deskriptoren an, wo die Bewertungen auseinandergehen.
- Greifen Sie beim Bewerten frei auf die Formulierungen aus der Kommentarsammlung zurück – treffen Sie aber jede Bewertungsentscheidung selbst.
Worauf Sie achten sollten
Lehrende in Anthropics Umfrage bewerteten die Notengebung als die am wenigsten wirksame KI-Nutzung, und Forscher stellten fest, dass 48.9% der Notengebungs-Konversationen die Beurteilung an das Modell delegierten. Nutzen Sie KI für die Formulierung des Feedbacks, nicht für die Note.
FERPA: Wenn Sie Studierendenarbeiten zur Feedback-Entwurfserstellung einfügen, entfernen Sie zuerst Namen, IDs und Kopfzeilen – und bevorzugen Sie ein von der Institution lizenziertes Tool mit Datenschutzvereinbarung gegenüber einem privaten Consumer-Konto.
Woher das stammt
Jeder Anwendungsfall auf dieser Website beruht auf echten Berichten, die Professoren aus der Praxis geteilt haben — nichts davon ist von uns erfunden.