Пока гонка по созданию все более мощных систем искусственного интеллекта набирает обороты, один из ведущих игроков в этой сфере призывает мир рассмотреть возможность, которая до недавнего времени принадлежала в основном научной фантастике: машины, которые улучшают себя без человеческого вмешательства.
Anthropic, компания ИИ, стоящая за Claude, заявила в четверг, что возможность замедлить темпы разработки передового ИИ может оказаться ценным активом по мере того, как технологии приближаются к возможностям, которые могут коренным образом изменить общество.
Предупреждение появилось в блоге, написанном Мариной Фаваро, главой внутреннего исследовательского института Anthropic, и соучредителем компании Джеком Кларком.
Пост раскрыл внутренние исследования, показывающие, что самые продвинутые модели компании быстро развиваются и в конечном итоге могут перейти к тому, что исследователи называют "рекурсивным самоулучшением" — сценарию, в котором ИИ-системы становятся способными улучшать свои собственные возможности.
Компания подчеркнула, что такой порог еще не достигнут и, возможно, никогда не будет достигнут.
Тем не менее, она утверждала, что вероятность этого становится достаточно серьезной, чтобы оправдать подготовку.
ИИ, который может создавать себя, станет значительным событием в истории технологий — событием, которое может принести огромные блага миру в науке, здравоохранении и не только," — говорится в посте.
Anthropic признает, что любые усилия приостановить или замедлить разработку ИИ будут работать только в том случае, если примут участие основные игроки.
Поэтому компания предложила изучить международные соглашения и механизмы верификации, направленные на обеспечение соблюдения.
Тем не менее, она также признала, что мониторинг разработки ИИ может быть значительно сложнее, чем выполнение традиционных соглашений по контролю вооружений.
Тренировочные сессии намного легче скрыть, чем ракетные шахты," — отметила запись в блоге.
Компания предупредила, что любой игрок, продолжающий разработку, пока конкуренты приостановились, может получить значительное преимущество, что сделает координацию особенно сложной.
На данный момент Anthropic планирует организовать обсуждения с политиками, исследователями и лидерами отрасли, чтобы рассмотреть, как следует изучать рекурсивное самоулучшение и могут ли механизмы для координированных замедлений когда-либо оказаться практичными.