Как задать простой русскоязычный вопрос через DSPy Predict и Signature

Порядок действий

1. Настройте действительную LM по официальному руководству DSPy.
2. Определите ровно два осмысленных поля: вопрос на входе и ответ на выходе.
3. Создайте dspy.Predict по строковой сигнатуре.
4. Передайте учебный вопрос именованным аргументом question.
5. Проверьте поле result.answer и дополнительно достоверность самого ответа по эталону.

Для сетевого запуска установите пакет командой pip install dspy, подготовьте свой доступ к модели и задайте DSPY_MODEL в форме provider/model и DSPY_API_KEY в окружении. Исключение — код, который только проверяет локальные настройки без сетевого вызова. Шаблон ниже содержит вымышленные входные данные и не включает секретов; перед запуском сверьте, что выбранная вами модель подходит для задачи и разрешена правилами провайдера.

Готовый пример программы

import os
import dspy
dspy.configure(lm=dspy.LM(os.environ["DSPY_MODEL"], api_key=os.environ["DSPY_API_KEY"]))
faq = dspy.Predict("question -> answer")
result = faq(question="Какой город является столицей Франции?")
print(result.answer)
assert isinstance(result.answer, str) and result.answer.strip()

Вход и ожидаемый результат

Вход — вопрос «Какой город является столицей Франции?». Ожидается непустое строковое поле answer; фактически верный ответ должен назвать Париж. Проверка isinstance подтверждает лишь структурный контракт, а не правильность факта. В записях проекта сохраняйте обе оценки отдельно, чтобы форматный успех не скрывал ошибку содержания.

Проверка качества, а не только запуска

Минимальная сигнатура удобна для прототипа, но плоха для задачи, где запрещены догадки: отсутствуют контекст, политика отказа и ссылка на источник. Не добавляйте в статью ложный «готовый RAG» только на основании такого примера. Для FAQ с частной документацией понадобятся дополнительные входы и тесты на отсутствие сведений. Отдельно проверьте русский язык на нескольких контрольных фразах: тот факт, что в вопросе русские слова, не гарантирует, что доступная LM ответит на русском.

Для приёмки простого Predict подготовьте три карточки вопросов: однозначный, неоднозначный и вопрос, ответа на который в исходной информации нет. Контракт должен проверять имя поля ответа, а отдельно редактор решает, соответствует ли его содержание фактам. Например, если пользователь спрашивает о сроке доставки без указания региона, корректная система не должна обещать конкретный день. Формулировку Signature стоит менять по одной переменной: сначала описание задачи, затем имена полей и только затем варианты входного текста. Иначе при улучшении результата нельзя установить причину. Сохраните исходный набор вопросов вне программы, чтобы повторная проверка действительно обнаруживала регрессию, а не только подтверждала знакомые ответы модели.

Особые случаи и границы

Если вместо ответа в поле result.answer появляется необработанный технический шаблон, рассмотрите реальный формат ответа провайдера и адаптер DSPy, а не делайте string split по произвольному маркеру. Прямой вызов LM из предыдущего шага позволяет понять, исправен ли транспорт. Даже правильный общеизвестный факт не делает систему готовой к медицинским, финансовым или юридическим утверждениям: для таких областей нужен специальный набор данных и дополнительные проверки.