Гайд · TNWS AI
Как создать рубрику оценивания с ИИ: критерии и понятные уровни
Как подготовить шкалу для текста, проекта или ответа модели, убрать размытые слова и проверить согласованность оценок.
Определите результат
Запишите, какое умение или качество проверяется. Не смешивайте содержание, оформление и дисциплину в одном критерии. Для каждого важного аспекта нужен наблюдаемый признак.
Опишите уровни
Вместо «отлично — хорошо — плохо» укажите, что именно присутствует на каждом уровне. Например: факт подтверждён первоисточником, ссылка существует, вывод следует из данных.
Дайте модели примеры
Попросите проверить рубрику на нескольких работах разного качества и объяснить балл по каждому критерию. Если одинаковые работы получают разные оценки, уточните границы.
Оставьте человеку решение
ИИ может предложить черновую оценку, но не должен единолично решать судьбу ученика, кандидата или сотрудника. Проверяйте смещения и разрешайте апелляцию.
Частые вопросы
Нужно ли проверять результат вручную?
Да. Нейросеть создаёт черновик или помогает анализировать, но не подтверждает факты.
Можно ли загружать конфиденциальные данные?
Только в разрешённый организацией сервис и после минимизации данных.
Как понять, что процесс работает?
Заранее задайте критерии и проверьте результат на нескольких реальных примерах.
Читайте также
Как дать агенту Pydantic AI инструмент чтения справки без права записи
Инструмент tool_plain для чтения вымышленной справки: минимальные полномочия, пример вопроса, проверка вызова и защита от ложных ответов.
Как извлечь поля заявки из русского письма через Pydantic AI и output_type
Пошаговое извлечение темы и номера заявки в Pydantic AI: схема BaseModel, конкретное письмо, проверка полей и ошибки, которые не исправит одна валидация.
Как ограничить число обращений агента Pydantic AI к модели через request_limit
Ограничение числа модельных шагов Pydantic AI: UsageLimits(request_limit), обработка исключения и тест на цикл инструмента.
Комментарии
Пока тихо. Скажите первое слово