OpenGradient все еще может провалиться на уровне сообщений, прежде чем модель получит токен для предсказания.
Я застрял на чате, потому что риск не в окончательном ответе. Это стек сообщений, который его сформировал.
Билдер может вызвать llm.chat(). Запрос может содержать системные, пользовательские и ассистентские сообщения. Он также может включать инструменты и tool_choice. Результат может вернуться с подтверждением оплаты и проверкой подсказки, поддерживаемой TEE.
Это звучит завершенно, пока агент не начнет принимать решения на его основе.
Если неправильное системное сообщение стоит выше пользовательского запроса, модель может следовать неправильной авторитетной информации. Если предыдущее ассистентское сообщение остается в потоке, когда его нужно было удалить, следующий ответ может унаследовать устаревший контекст. Если tool_choice подталкивает к неправильному функциональному пути, агент может действовать, пока финальный вывод все еще выглядит нормально.
Билдер не может только доказать, что OpenGradient выполнил подсказку.
Им нужно доказать, какой фрейм разговора модель на самом деле видела, когда было принято решение.
Это последствия, о которых я беспокоюсь. Агент по рискам кошелька, помощник по аудиту или маршрутизирующий бот могут дать проверенный ответ и все равно быть неправыми, потому что роли сообщений, поданные в вызов, были неправильными.
Подписанный ответ недостаточен, если фрейм разговора был загрязнен.
#OPG $OPG @OpenGradient $LINK $BLESS
Я застрял на чате, потому что риск не в окончательном ответе. Это стек сообщений, который его сформировал.
Билдер может вызвать llm.chat(). Запрос может содержать системные, пользовательские и ассистентские сообщения. Он также может включать инструменты и tool_choice. Результат может вернуться с подтверждением оплаты и проверкой подсказки, поддерживаемой TEE.
Это звучит завершенно, пока агент не начнет принимать решения на его основе.
Если неправильное системное сообщение стоит выше пользовательского запроса, модель может следовать неправильной авторитетной информации. Если предыдущее ассистентское сообщение остается в потоке, когда его нужно было удалить, следующий ответ может унаследовать устаревший контекст. Если tool_choice подталкивает к неправильному функциональному пути, агент может действовать, пока финальный вывод все еще выглядит нормально.
Билдер не может только доказать, что OpenGradient выполнил подсказку.
Им нужно доказать, какой фрейм разговора модель на самом деле видела, когда было принято решение.
Это последствия, о которых я беспокоюсь. Агент по рискам кошелька, помощник по аудиту или маршрутизирующий бот могут дать проверенный ответ и все равно быть неправыми, потому что роли сообщений, поданные в вызов, были неправильными.
Подписанный ответ недостаточен, если фрейм разговора был загрязнен.
#OPG $OPG @OpenGradient $LINK $BLESS