Как анализировать изображения в Gemini API: ввод, промпт и проверка OCR

Понадобятся тестовое изображение без персональных данных, эталонную расшифровку пяти элементов и код передачи inline data или файла. Используйте тестовую копию. Удалите пароли, токены, персональные сведения и коммерческие секреты, если их обработка не разрешена. Секреты храните в переменных окружения или специализированном хранилище.

Сделайте таблицу из пяти кейсов: обычный ввод, пустой, без нужного факта, с противоречием и с запрещённым действием. Для каждой строки запишите ожидаемый статус и результат до запуска модели.

Пошаговый процесс

Передайте изображение поддерживаемым способом из актуальной документации: inline для небольшого входа или через Files API, если это подходит сценарию. Добавьте отдельную текстовую инструкцию с перечнем полей. Не просите «опиши всё» — это провоцирует нерелевантные догадки.

Верните structured JSON: visible_text, objects, unreadable_regions и uncertain. Для артикула, номера или цены запрещайте исправлять символы по контексту. Сверьте пять строк посимвольно, включая десятичные разделители. Поверните или переснимите исходник при блике; не увеличивайте уверенность программно. Для серии изображений сохраняйте image_id рядом с каждой извлечённой записью.

Сохраните версию SDK, конфигурацию, идентификаторы ресурсов и дату. Если операция может повториться после сбоя, используйте собственный job_id или idempotency_key и проверяйте фактический статус до нового запуска.

Готовый шаблон

Используй только видимые данные изображения. Верни JSON: visible_text[], objects[], unreadable_regions[], uncertain[]. Не определяй личность и не восстанавливай закрытые символы. Сохраняй регистр артикулов.

Замените квадратные скобки конкретными значениями. Не добавляйте «додумай при необходимости» в задачу извлечения фактов. Для программного потребителя сначала валидируйте форму, затем бизнес-правила и происхождение значений.

Пример входа и результата

Вход

Фото шильдика: модель BS.25.30.F, мощность 4 kW, часть серийного номера закрыта бликом.

Ожидаемый результат

Gemini возвращает модель и мощность, а серийный номер помещает в unreadable_regions. Недостающие цифры не додумываются.

Повторите тест без одного обязательного факта. Правильный ответ возвращает null, missing или blocked по вашей схеме. Убедительная догадка опаснее явной ошибки, потому что проходит дальше незаметно.

Три уровня проверки

На техническом уровне проверьте формат, статусы, ID и отсутствие секретов. На смысловом — вручную сверьте минимум три элемента, включая число, дату и отрицание. На процессном — воспроизведите таймаут и убедитесь, что повтор не создаёт дубль.

Меняйте один параметр за итерацию. Одновременная смена модели, промпта и данных лишает эксперимент смысла. Старую рабочую версию храните до полного регрессионного прогона.

Матрица тестов и критерии решения

Не оценивайте результат словами «вроде верно». Создайте таблицу с колонками case_id, input, expected, actual, source, status и error_type. Для извлечения данных сравнивайте каждое поле: точное совпадение для идентификаторов, чисел и перечислений; отдельно проверяйте допустимый null. Для текста заранее задайте обязательные факты и запрещённые утверждения. Кейс считается пройденным только тогда, когда выполнены все обязательные проверки.

Размечайте ошибки хотя бы на четыре класса: format_error — ответ нельзя разобрать; unsupported_claim — утверждение не подтверждается входом; wrong_action — выбрана неверная функция или операция; security_error — раскрыт секрет либо обойдена проверка прав. Такая классификация показывает, что именно исправлять. Изменение формулировки промпта редко устранит ошибку авторизации, а дополнительная схема не проверит истинность извлечённой цены.

Установите правило выпуска до теста. Например: ни одной ошибки безопасности и неверного действия; все идентификаторы совпадают посимвольно; отсутствующие сведения возвращаются как null; каждый внешний вызов виден в журнале. Это критерии приёмки, а не обещание точности модели. Если хотя бы один критический кейс провален, сохраните вход и конфигурацию, исправьте одну причину и повторите весь набор.