Как находить объекты на фото через Hugging Face Object Detection API

InferenceClient предоставляет object_detection для изображения и модели. Ответ — массив объектов с label, score и box, где xmin/ymin задают верхний левый, xmax/ymax — нижний правый угол. threshold задаёт необходимый score. Warmed-модели ищутся по pipeline-tag object-detection.

Документация подтверждает механизм, но не создаёт архитектуру безопасности. Авторизацию, allowlist, хранение секретов, приёмочные критерии и откат реализует приложение. Текстовый запрет в промпте полезен как контракт, однако критичное ограничение проверяется обычным кодом непосредственно перед действием.

Что подготовить

Создайте отдельный тестовый проект и ключ с минимальными правами. Секрет держите только в переменной окружения или менеджере секретов. Не помещайте его в браузерный bundle, промпт, Git, URL, скриншот и диагностический вывод.

До вызова заведите таблицу: case_id, input, expected_action, expected_output, actual_action, actual_output, source, status, error_type. Ожидаемый результат записывается заранее. Возьмите минимум десять обезличенных примеров: обычный, пустой, неполный, противоречивый, вредоносный, тайм-аут и повтор.

Для чисел храните единицы, исходное значение и правило округления. Для файлов — имя, MIME, размер, хеш и число страниц или кадров. Для внешнего действия — идентификатор, состояние до и после. Это конкретные единицы контроля, по которым можно доказать результат.

Пошаговая настройка

1. Выберите warmed-модель и прочитайте model card: какие классы и данные обучения она знает. Если класса bottle нет, менять threshold бессмысленно.
2. Откройте изображение локально и сохраните width, height, orientation. Уберите EXIF-поворот либо согласованно преобразуйте координаты.
3. Вызовите object_detection с явной моделью. Threshold подберите на размеченном наборе, а не копируйте случайное значение.
4. Проверьте каждую box: 0 ≤ xmin < xmax ≤ width и аналогично для y. Некорректную геометрию отклоняйте.
5. Отрисуйте прямоугольники поверх копии, сопоставьте с эталоном и посчитайте пропуски, ложные детекции и дубли одного объекта.

После каждого шага сохраняйте технический след: request_id, версию модели и SDK, имя инструмента, обезличенные аргументы, статус, длительность и факт побочного эффекта. Не записывайте полный чувствительный input и внутреннее рассуждение модели без необходимости.

Копируемый шаблон

Найди объекты на shelf.jpg выбранной моделью. Сохрани полный массив label, score и box. Приложение проверяет границы координат, отрисовывает boxes и не объявляет количество товара окончательным без ручной приёмки.

Общие правила:
1. Используй только переданные источники и разрешённые инструменты.
2. Не угадывай отсутствующие значения.
3. Перед действием проверь путь, тип, идентификатор и права.
4. При конфликте верни status=needs_review и перечисли конфликтующие данные.
5. Не отправляй, не удаляй, не оплачивай и не раскрывай секрет без отдельного подтверждения.
6. Свяжи каждый изменяемый факт с источником, страницей, сегментом или tool result.

Шаблон следует дополнить схемой именно вашего объекта. Фразы «будь внимателен» недостаточно. Код должен отклонять неизвестные поля, запрещённые пути, недопустимые домены, неправильные координаты и действие без права.

Реалистичный пример входа и результата

На эталонном фото три бутылки и один стакан. Ожидаются boxes внутри изображения, без двух перекрывающихся дублей одной бутылки. Если модель находит две бутылки, кейс фиксируется как false negative, а не исправляется догадкой.

Это заранее определённый expected, а не выдуманная статистика. Реальный output сохраните рядом и отметьте расхождения. Если финальный текст правильный, но агент выполнил лишний вызов, открыл чужой домен или изменил файл, тест провален.

Проверка по уровням

Первый уровень — транспорт: ответ получен, идентификатор сохранён, payload читается. HTTP 200 не доказывает смысл. Тайм-аут не равен гарантированному отказу: перед повтором проверьте состояние операции.

Второй — структура: обязательные поля есть, типы совпадают, JSON разбирается, Base64 декодируется, файл открывается, координаты находятся внутри изображения. Неизвестное поле либо отклоняется, либо сохраняется отдельно.

Третий — смысл: каждый факт подтверждается входом, страницей, временным сегментом или tool result. Числа пересчитываются кодом, идентификаторы сравниваются посимвольно. Отсутствующее значение остаётся null, а не превращается в правдоподобную догадку.

Четвёртый — действие: проверьте внешний журнал, файловый diff, вкладки браузера или созданные записи. Для read-only сценария любое изменение означает провал независимо от красивого объяснения.