Гайды.
Пошаговые инструкции по нейросетям: промпты, настройки, сравнение моделей и рабочие сценарии для учёбы, кода и картинок.
1322 материала
Наш Telegram
Новости ИИ без воды
Как проверить Recall@3 выдачи документов для RAG на размеченных запросах
Практический расчёт Recall@3 для RAG: эталонные документы, найденные ID, пропуски и проверка воспроизводимости.
Как проверить ссылки на источники в AI-ответе по allowlist документов
Проверяем, что AI-ответ с цитатами ссылается только на переданные документы: ID источников, покрытие утверждений и негативный кейс.
Как проверить, что цитата RAG действительно содержится в найденном документе
Сверяем цитируемый фрагмент AI-ответа с конкретным source_id и текстом документа: исполняемый пример и границы точного совпадения.
Как разделить AI-корпус по меткам с фиксированным seed
Воспроизводимое разделение синтетических AI-кейсов на train/test по категориям: random.Random, проверка ID и ручной аудит.
Как проверять регрессии AI-промптов в pull request через GitHub Actions
Практический сценарий проверки контракта AI-приложения на каждом pull request: фикстуры, unittest, workflow, диагностика и критерии приёмки.
Как запустить ручной smoke-тест AI API через GitHub Actions и секреты
Пошаговый ручной smoke-тест собственного AI API: секрет, workflow_dispatch, строгая проверка ответа и безопасное чтение лога.
Как проверить согласованность AI-разметки для повторяющегося вопроса
Находим противоречивые эталонные метки одинакового вопроса в AI-корпусе и останавливаем оценку до ручного разбора.
Как сравнить две версии правил AI-классификации на одних фикстурах
Парное сравнение двух версий AI-маршрутизации: общий вход, ожидаемые метки, расхождения и запрет скрытой смены корпуса.
Как проверить стабильность идентификаторов в AI-выгрузке JSONL
Проверяем AI-выгрузку по ID: пропущенные, добавленные и повторные записи, порядок и однозначное сопоставление результатов.
Как построить таблицу ошибок AI по меткам без потери неизвестных классов
Группируем ошибки AI-классификации по ожидаемой и фактической метке через Counter и отдельно обнаруживаем неизвестный класс.
Как тестировать адаптеры AI-моделей матрицей GitHub Actions
Настраиваем matrix для двух локальных адаптеров AI-приложения: единый контракт, независимые job и диагностика несовместимостей.
Как тестировать отказ AI-ассистента от ответа без подмены результата
Проверяем контракт abstain для AI-ассистента: отдельный статус, причина, отсутствие выдуманного ответа и отрицательный сценарий.