Перейти к основному содержанию

​
Короткий ответ

Это нормально, если модель неверно отвечает на вопрос о собственной версии. Такой ответ не доказывает, что вы вызвали не ту модель. Параметр model в первую очередь нужен API-серверу для маршрутизации. Модель может не видеть это поле и может не знать финальное имя релиза, если оно появилось после обучения. Официальные веб-продукты часто отвечают правильно, потому что продуктовый слой добавляет system prompt с текущей идентичностью модели. Если вы вызываете модель через API и не указываете её идентичность в system message, она может угадать старое название по данным обучения.

​
Когда это встречается

  • Вы вызываете новую модель, а она говорит, что относится к старой версии
  • На официальном сайте версия определяется правильно, а через API — нет
  • Одна и та же модель по-разному представляется в разных инструментах
  • Вы хотите проверить, действительно ли API gateway вызвал нужную модель
  • Пользователь проверяет модель вопросом «Какая ты модель?»

​
Почему так происходит

Названия моделей часто утверждают после обучения. Во время обучения модель изучает язык, код и знания, но не обязательно знает финальное имя продукта после релиза. В API-запросе поле model сообщает серверу, куда направить запрос. Это не обычный текст диалога, и модель может не получить его как информацию о себе. Официальные веб-продукты могут добавлять скрытую инструкцию вроде «Ты такая-то модель». API-вызовы обычно не добавляют такую инструкцию автоматически.

​
Как проверить реально вызванную модель

Не полагайтесь только на вопрос «Какая ты версия?». Проверяйте цепочку запроса и поля ответа. Пример ответа:
Точная структура ответа зависит от API-формата. Главное — смотреть поле модели, которое вернул сервер, и запись в dashboard, а не самоописание модели.

​
Как заставить модель представляться нужным именем

Если вашему продукту нужно, чтобы модель называла себя определенным образом, укажите это в system message:
Это работает как в официальном веб-продукте: приложение сообщает модели, кем она должна себя назвать.
System message влияет только на самоописание и стиль поведения модели. Он не меняет модель, которая реально вызывается. Настоящая маршрутизация всё равно определяется Base URL, API Key, группой ключа и Model ID.

​
Частые ошибки

  • Использовать вопрос «Какая ты модель?» как единственную проверку.
  • Считать, что provider подменил модель, если самоописание неверное.
  • Думать, что параметр model всегда попадает в контекст модели.
  • Игнорировать dashboard logs и поле model в ответе.
  • Указать идентичность в system message и считать, что фактическая модель изменилась.

​
О BetterToken

Dashboard BetterToken помогает проверить API Key, Model ID, историю запросов и расход баланса. Если нужно подтвердить, что модель выбрана верно, сначала смотрите call logs и поля ответа. Если самоописание модели расходится с логами, ориентируйтесь на логи и поля ответа.

​
Связанные материалы