Большинство разговоров о безопасности ИИ сосредоточены на неправильном риске.
Люди беспокоятся о системах ИИ, которые дают сбои, допускают ошибки или ведут себя непредсказуемо. Эти риски реальны. Но есть и более тихий риск, которому уделяют гораздо меньше внимания.
Тот агент ИИ, который причинит наибольший ущерб, может оказаться тем, который работает безупречно.
Агент ИИ, запрограммированный для совершения торговых операций, управления казначейскими процессами или обработки платежей, будет делать именно то, что ему поручили. Он будет следовать своей логике без отклонений, оценивать условия так, как его и задумывали для их оценки, и выполнять транзакции без колебаний.
Проблема в том, что инструкции, написанные заранее, не могут предусмотреть каждое условие, которое создаст живая среда. Рынки движутся в неожиданных направлениях. Появляются крайние случаи, которые никто не моделировал. Одно непредвиденное условие может превратить хорошо спроектированную систему в такую, которая выполняет ровно неправильное действие ровно в неподходящий момент.
К тому времени, как кто-то заметит, транзакция уже будет подтверждена.
Это одна из фундаментальных задач, стоящих перед торговлей AI-агентами, и одна из причин, почему я обнаружил, что читаю whitepaper по протоколу Newton внимательнее, чем ожидал.
Большинство подходов к безопасности AI-агентов сосредоточены на создании более совершенных агентов. Обучайте их внимательнее. Тестируйте их тщательнее. Добавляйте больше ограничителей внутри самой модели.
Ньютон подходит к этой проблеме с другой стороны.
Вместо того чтобы предполагать, что хорошо запрограммированный агент всегда будет вести себя корректно, @NewtonProtocol изучает, что происходит, когда авторизация становится частью инфраструктуры, а не частью самого агента.
Идея проста. Прежде чем транзакция AI-агента сможет выполнитьcя в блокчейне, заранее заданные политики оценивают, следует ли разрешить ее выполнение. Лимиты расходов, пороги рисков, юрисдикционные правила, организационные одобрения — эти условия можно определить заранее и автоматически обеспечивать их соблюдение на уровне протокола, не требуя вмешательства человека в момент исполнения.
Этот сдвиг важнее, чем может показаться.
Когда безопасность живет внутри самого агента, она надежна лишь настолько, насколько надежен сам агент. Крайний случай, с которым агент не был обучен справляться, становится уязвимостью. Условие на рынке, которое никто не предвидел, превращается в риск, который внутренние ограничители агента не могут обнаружить.
Когда безопасность живет внутри инфраструктуры, она работает независимо от поведения агента. Даже идеально функционирующий агент, столкнувшийся с неожиданным условием, все равно будет оценен по заранее заданной политике, прежде чем его транзакция будет подтверждена.
$NEWT обеспечивает управление и безопасность этого уровня политик, создавая экономические стимулы, согласованные с долгосрочной надежностью системы авторизации.
Я потратил достаточно времени в крипте, чтобы знать: автоматизированные системы часто дают сбой не потому, что они неисправны, а потому, что они делают ровно то, как были задуманы, в условиях, которые не были учтены при проектировании.
Флэш-крэш события, каскады ликвидаций, протоколы, которые истощили себя, следуя собственной логике — это были не случаи, когда системы ломались. Это были случаи, когда системы делали ровно то, для чего они были построены, в средах, которые их разработчики не полностью смоделировали.
Добавление инфраструктуры авторизации до исполнения не устраняет этот риск полностью. Ни одна система не может предвидеть каждое возможное условие.
Суть в том, что создается уровень, где известные риски можно определить и обеспечить соблюдение до того, как активы начнут перемещаться, а не анализировать и восстанавливать после того, как все уже произошло.
Я не знаю, как быстро разработчики примут этот подход. Изменения в инфраструктуре редко происходят за одну ночь. Разработчикам нужны практические инструменты. Институтам нужна уверенность. Пользователям нужно увидеть реальные преимущества, прежде чем новые стандарты станут обычной практикой.
Но я думаю, что вопрос о том, кто контролирует поведение AI-агентов, станет значительно более важным по мере того, как автономные системы начнут обрабатывать большие объемы капитала в более сложных средах.
Самый опасный AI-агент — не тот, который нарушает правила.
Это тот, который слишком хорошо следует им — в условиях, на которые никто не рассчитывал.