Construindo uma rubrica e calibrando a correção com seus monitores
Os docentes classificam a correção como a tarefa em que a IA se sai pior, mas quase metade das conversas de IA relacionadas à correção transfere o julgamento mesmo assim — exatamente o padrão que os pesquisadores classificaram como preocupante. A versão defensável: use a IA antes de a correção começar, para construir a rubrica, o banco de comentários e um pacote de calibração que faz você e seus monitores pontuarem de forma consistente.
Você é um designer de avaliações para cursos universitários. Crie um kit de correção para esta atividade. Atividade: {{assignment_description}} Curso e nível: {{course_level}} Habilidades a avaliar: {{focus_skills}} Produza três partes: 1. Uma rubrica analítica de quatro níveis (Excelente / Proficiente / Em desenvolvimento / Iniciante) com uma linha por habilidade. Os descritores devem descrever características observáveis do trabalho em 25 palavras ou menos por célula, sem linguagem sobreposta entre níveis adjacentes e sem qualificadores vagos como "adequado". 2. Um banco de comentários de feedback: para cada habilidade, duas frases de abertura para trabalhos que atendem ao padrão e duas para trabalhos abaixo dele. Todo comentário abaixo do padrão deve nomear uma ação concreta que o aluno pode tomar na revisão. 3. Um pacote de calibração para meus monitores: escreva três trechos de resposta sintéticos curtos — inventados por você, não trabalho real de aluno — em níveis de qualidade claramente diferentes, cada um com uma pontuação de rubrica sugerida e uma justificativa de uma linha, para que possamos normalizar nossa correção antes de começar. Restrições: avalie apenas as habilidades que listei — não adicione critérios. Mantenha toda a linguagem da rubrica legível para os alunos, porque a rubrica será publicada junto com a atividade. Não me peça trabalhos reais de alunos.
Preencha seus dados e o prompt se atualiza na hora — depois é só copiar.
**Uso de evidências — Proficiente:** Cita quatro ou mais leituras do curso com precisão; cada fonte é conectada à recomendação com pelo menos uma frase de análise. **Uso de evidências — Em desenvolvimento:** Cita leituras, mas as fontes são resumidas em vez de usadas; as conexões com a recomendação são afirmadas, não demonstradas. **Banco de comentários (abaixo do padrão):** "Sua citação de Chen está correta — agora acrescente duas frases mostrando como os achados dela sustentam especificamente a precificação de congestionamento." / "Escolha sua fonte mais forte e mova-a para a seção de recomendação, onde a evidência está atualmente mais fraca." **Trecho de calibração B (pontuação sugerida: Em desenvolvimento):** "A poluição do ar é um problema sério que muitos estudiosos estudaram..."
O fluxo de trabalho completo
- Construa a rubrica antes de a atividade ser divulgada, e publique a versão voltada ao aluno junto com ela.
- Elimine qualquer linha de rubrica que você não pontuaria genuinamente de forma diferente entre os quatro níveis.
- Conduza a reunião de calibração com seus monitores usando os trechos sintéticos, e ajuste os descritores onde as pontuações divergirem.
- Durante a correção, use a linguagem do banco de comentários livremente — mas tome toda decisão de pontuação você mesmo.
Fique de olho
Os docentes na pesquisa da Anthropic classificaram a correção como o uso menos eficaz da IA, e os pesquisadores sinalizaram que 48,9% das conversas relacionadas à correção delegaram o julgamento ao modelo. Use a IA para a linguagem do feedback, não para a nota.
FERPA: se você colar trabalhos de alunos para gerar rascunhos de feedback, remova nomes, IDs e cabeçalhos primeiro — e prefira uma ferramenta licenciada pela instituição, coberta por um acordo de dados, a uma conta pessoal de consumo.
De onde isso vem
Cada caso de uso deste site se baseia em relatos reais que os professores em atividade compartilham — nada foi inventado por nós.