Vesper Valois

Есть момент, с которым почти любой, кто запускает автоматизированную систему, в конце концов сталкивается — хотя о нем почти не говорят. Вы выстраиваете процесс, он работает правильно, и вы постепенно перестаете проверять — не из лени, а просто потому, что проверка перестает казаться необходимой. А потом однажды, по какой-то совершенно не связанной причине, вам хочется заглянуть внутрь и понять, что именно она делает. И вы осознаёте: посмотреть нельзя.

Я попал в точности в эту ситуацию с ботом, который отслеживал для меня позиции. Он тихо работал неделями; я даже забыл, что он существует. Потом мне понадобилось сверить некоторые цифры для другой задачи — и только тогда выяснилось: не сохранено никаких логов, нет панели, нет способа получить историю того, что он сделал. Он не был скрыт. Просто никому не требовалось смотреть, поэтому никто и не заметил, что смотреть нельзя.

И именно тогда я начал по-новому думать о фразе «hands-off» («без участия рук»). Она звучит как один запрос, но на самом деле в ней две вещи, собранные вместе: свобода больше не проверять — и свобода при желании все-таки проверять. Большинство из нас заказывает только первую.

А вот часть, которую я не учёл, пока не столкнулся с ней недавно: отключить возможность проверки просто дешевле, чем заработать доверие, из-за которого проверка начинает казаться ненужной. Поэтому системы по умолчанию выбирают дешевую версию, а затем подают это как щедрый вариант.

Я стал обращать внимание на то, какие системы относятся к видимости как к стандарту, а не как к функции, которую прикручивают после жалоб. То, как Newton Protocol решает это, заставило меня остановиться: возможность «посмотреть» — это не то, что добавили позже. Оно заложено изначально. И это, если поразмыслить, странная вещь — вообще нужно на это указывать. Почему очевидное должно быть заявлено как опция?

Так что, возможно, следующий раз, когда что-то называют «hands-off», более полезный вопрос: какая из версий на самом деле подразумевается. Вам не хочется проверять. Или вам не хочется, чтобы проверять было возможно.

@NewtonProtocol $NEWT #Newt $TAIKO $NFP

Друг показал мне свой Discover Weekly пару недель назад, немного смеясь над тем, как не в своей тарелке это звучало. Те же мрачные инди-треки, тот же медленный темп — все явно унаследовано от расставания, которое закончилось больше года назад, и при этом технически всё по-прежнему было идеальным. Просто это уже не звучало как он; скорее как фотография кого-то, кем он был.

Меня заставило задуматься, сколько из того, что называют персонализированным, на самом деле просто хорошо сохранено. Алгоритм не ошибается — он лишь работает с версией тебя, которая перестала быть актуальной давным-давно. Мы редко замечаем это в моменте, потому что рекомендации всё ещё кажутся достаточно точными, чтобы их принимали.

Я снова и снова возвращаюсь к мысли, что идентичность — это не то, что у тебя есть: это то, над чем ты постоянно ведёшь правку, обычно не осознавая этого, пока не станет поздно. Система, обученная на прошлом поведении, воспринимает его как стабильный сигнал, хотя на самом деле это была всего одна рамка из момента, когда ты стоял(а) на месте.

Странно, и я доверяю этой мысли лишь наполовину, что несоответствие иногда становится единственным способом, как я вообще замечаю, что во мне что-то изменилось. Неверная рекомендация превращается в доказательство не сломанной системы, а себя, которое уже ушло дальше, не уведомив об этом никого — включая меня.

Это тот же вопрос, который, как мне кажется, в конце концов приходится решать любой стратегии торговли с помощью ИИ — включая Newton Protocol. Либо он продолжает всё уточнять портрет того, кем ты был, либо находит способ замечать, кем ты становишься.

У меня нет чёткого ответа. Если бы что-то построило идеально точную модель того, кем ты был раньше, ты бы на самом деле хотел(а), чтобы оно оптимизировало под этого человека, или чтобы оно — пусть и несовершенно — догоняло того, кем ты являешься сейчас?

@NewtonProtocol
$NEWT $NFP $TAIKO
#Newt

Много лет назад мой GPS перенаправил меня на гравийную просёлочную дорогу — связи с телефоном не было, по обе стороны тянулись поля. Каждый инстинкт подсказывал мне развернуться. Я последовал ему — но всё равно.

Странно, как легко мы отдаем маленькие решения. Плейлист выбирает следующую песню, картографическое приложение перенаправляет нас в обход пробок, которых мы не видим, и мы едва замечаем это как доверие.

Но стоит системе коснуться вещей, которые на самом деле имеют значение — например, денег, — та же легкость исчезает. Нам вдруг нужны объяснения, гарантии, причина поверить.

Я всё прокручивал это в голове и не думаю, что дело действительно в алгоритме. Дело в том, что мы способны проверить.

Мой GPS заслужил доверие, потому что я мог наблюдать, как он работает, в реальном времени: шаг за шагом, и видеть, что логика подтверждается тем, что я видел за окном.

Если бы он просто настоял: «Доверься мне, это правильно», — без возможности что-либо подтвердить, я бы остановился.

Похоже, в этом и заключается реальная разница. «Доверься мне» — это утверждение, а видимый послужной список — доказательство.

Первое просит веры. Второе позволяет проверить сделанную работу.

В этом, вероятно, одна из причин, почему мне бросился в глаза Newton Protocol: его подход, основанный на роллапах, к стратегиям, управляемым ИИ, ориентирован на то, чтобы сделать эту активность проверяемой — а не просить кого-то принять «чёрный ящик» на слово.

Я всё ещё не уверен, что именно должно случиться, чтобы я передал алгоритму то, что действительно имеет значение. Возможно, самый честный вопрос — это именно с ним и остаться.

@NewtonProtocol
$NEWT
#Newt
$CAP
$SYN

Было 1 час ночи — то самое время, которое обычно вводят в строку поиска вместо того, чтобы позвонить кому-то. Я набрала: «нормально ли чувствовать…», и уже к третьему слову строка закончила за меня: «подавленность в твоём возрасте». Я этого не печатала, но всё равно нажала — раз уж было. Вопрос, который я, возможно, могла бы закончить сама, так и не был введён.

Меня тревожило не то, что подсказка была неверной. Меня тревожило, что я не заметила подмену. Вопрос на экране выглядел моим, пришёл через мою клавиатуру, в тот час, когда я меньше всего склонна всматриваться в происходящее, — но он был вылеплен по модели того, что люди, печатающие так же, как я, обычно спрашивают.

Вот что здесь легко упустить: неверный ответ оставляет след. Можно поймать галлюцинацию, сравнить её с другими источниками, указать, где система сказала что-то ложное. А вопрос, который так и не возник у тебя в голове, не оставляет ничего, на что можно было бы указать. Некуда сообщить об ошибке, нечего проверить в выводе, потому что ничего не произошло. Эта асимметрия делает этот слой сложнее для изучения, чем тот слой, о котором спорят все.

Автодополнение и предлагаемые варианты не ждут, пока мысль полностью оформится. Они встречают её на полпути, и та половина, которую они добавляют, — это ровно та половина, которую ты никогда не замечаешь.

Последствия не только личные: когда одни и те же системы подсказок перенаправляют вопросы миллиардов людей, возникает видимость разнообразного исследования и реальность гораздо более узкого. Если всех незаметно подталкивают к одним и тем же нескольким предложенным вопросам, то части реальности, куда ни одна подсказка никогда не указывает, так и остаются непрошенными.

Я снова и снова возвращаюсь к одной детали про OpenGradient: там рассматривают вывод (инференс) как то, что должно быть проверяемо, а не которому следует доверять. Вы не можете отметить манипуляцию, если не можете проверить, что она происходит. Это не решает проблему, но является необходимым условием хотя бы для того, чтобы её увидеть.

Если вопросы, которые задаёт цивилизация, определяют то, что она в итоге начинает знать, а сами эти вопросы незаметно предвыбираются системами, которые никто не может проверить, то что происходит со знанием, которое так никогда и не было «спрошено» и не появилось на свет?

@OpenGradient $OPG #OPG $SYN $AIGENSYN

В прошлом году я попытался прикинуть, во сколько на самом деле обходится запуск инференса Llama в условиях скромного производственного масштаба. Не обучение. Просто обслуживание ответов для небольшого приложения с примерно десятью тысячами ежедневных запросов.

Сумма, на которую я снова и снова выходил в расчетах, была близка к трем тысячам долларов в месяц — только за вычисления. Я пересчитывал это три раза.

Дискуссия об “обладании” в ИИ почти всегда крутится вокруг моделей и данных. Кто публикует веса, кто ограничивает лицензирование, какие лаборатории считают “открытыми”. Такое framing кажется интуитивным.

Но в нем есть кое-что, что он незаметно упускает: открытые модели сами по себе не снижают потребность в централизованных вычислениях. Они ее увеличивают. Каждая свободно доступная модель, которая действительно находит массовое применение, направляет свою нагрузку на инференс через физическое оборудование где-то в мире. И это оборудование находится у очень небольшого числа владельцев.

Так что open-source, возможно, делает что-то парадоксальное на уровне инфраструктуры: он создает ощущение демократизированного доступа, одновременно усиливая зависимость от тех, кто контролирует чипы. “Открытость” в open-source всегда описывала код. Она никогда не описывала землю, на которой этот код работает.

Этот разрыв между лицензией и “землей”, где все запускается, — именно там находится реальный рычаг. Модель можно форкнуть. Дата-центр — нельзя.

Я следил за этой мыслью, когда наткнулся на OpenGradient — компанию, которая строит инфраструктуру, чтобы распределять хостинг и инференс между децентрализованным набором участников, а не централизовать это. Я все еще разбираюсь, что это значит при реальных нагрузках на инференс.

Но вопрос, который я снова и снова прокручиваю: если open-source AI продолжает ускорять спрос на инференс, а владение аппаратной базой остается узким, то “для кого” на самом деле эта открытость?

@OpenGradient
$OPG
#OPG
$TAC
$RAVE

Я использую разные ИИ-инструменты для разных ситуаций. Один — для черновиков по работе. Другой — для случайных размышлений поздно ночью. Ещё один — для решений о покупках.

В прошлом месяце один из них предложил структуру для заметок, которую я когда-либо описывал лишь другому приложению — и то в совершенно отдельном разговоре. Не общее, шаблонное предложение. Конкретный способ, которым я организую незавершённые мысли.

Я всё это обдумываю с тех пор.

Инстинкт подсказывает: утечка данных, какой-то API-обмен, пункт в условиях сервиса, который я просмотрел(а) по невнимательности. Но более неприятное объяснение проще: данные напрямую передавать не требовалось.
Сигналы поведения — это читаемые закономерности. Ритм того, как вы формулируете неуверенность, момент, когда вы ищете что-то, по сравнению с тем, что произносите вслух, — эти паттерны понятны посредникам, которые сидят между приложениями и при этом никогда напрямую не хранят ваши данные.

Эта фрагментация почти что и есть цель.

Когда ни одна платформа не держит всю картину целиком, это ощущается как приватность. Но составная картина может возникнуть дальше — из фрагментов, которые каждое по отдельности выглядело безобидно. Иллюзия разделения делает работу, которую реальное разделение должно было бы делать.

И это подводит к вопросу, который почти все разговоры о приватности стараются не поднимать: кто находится на этом уровне инфраструктуры и какие у них стимулы?

Я слежу за OpenGradient по этой причине. Их архитектура создана для решения проблемы накопления на том уровне — до того, как это доходит до приложений, которые люди действительно видят.

Вам когда-нибудь казалось, что два совершенно разных ИИ-инструмента каким-то образом знали одно и то же о вас и при этом не могли объяснить, как?

@OpenGradient
$OPG
#OPG
$VELVET
$MYX

Несколько месяцев назад я редактировал материал с помощью инструмента, которым пользовался примерно два года. Где-то в середине процесса я открыл условия платформы. Не потому, что что-то казалось неправильным. Просто привычка, которую я выработал. Раздел про ИИ-помощь был существенно переписан, и я прочитал его трижды, но так и не понял, что он означает для работ, которые я уже опубликовал.

Однако снова и снова меня возвращало к одной мысли: большинство людей воспринимают вопрос владения ИИ как юридическую проблему. Как только право догонит ситуацию, проблема решится. Я не уверен, что это верная рамка.

Даже если бы уже завтра законодательство стало ясным, всё равно нужно было бы доказать, что именно произошло. Какая модель обработала ваш черновик. Какие входные данные использовались. Повлияли ли данные обучения модели на выходные результаты так, как это важно с юридической точки зрения. Заявления о праве собственности без проверяемого следа процесса создания — в содержательном смысле просто заявления.

Нормы, которые сейчас формируются, в первую очередь не исходят из судов или законодательных органов. Их пишут корпоративные юридические команды в условиях обслуживания, которые большинство пользователей никогда не читают достаточно внимательно, чтобы заметить. Это не «серое поле» права. Это частный процесс, который тихо превращается в общепринятый стандарт.

Вопрос происхождения — о чём я думаю больше всего. Понимание того, какая модель произвела что именно, при каких условиях, — это слой, который сделал бы любое заявление о праве собственности действительно проверяемым. Я столкнулся с OpenGradient, следуя этой нити, и это одно из немногих мест, где я видел, как этот вопрос рассматривают как инфраструктурную проблему, а не как юридическую.

Когда вы создаёте что-то с помощью ИИ: кому вы предполагаете, что это принадлежит, и почему?

@OpenGradient
$OPG
#OPG
$VELVET
$AGLD

На прошлой неделе я задал ИИ-ассистенту вопрос, который я бы никогда не стал вводить в поисковик. Личный. Ответ пришёл за считанные секунды: я закрыл вкладку и только позже понял, что совершенно не представляю, что произошло между.

Меня задела эта пауза — больше, чем я ожидал.

У такой «гладкости» есть своя цена, о которой почти никогда не говорят. Когда опыт работает мгновенно и без усилий, он не пробуждает любопытство к тому, что происходит под капотом. Сходит на нет трение — и вместе с ним исчезает вопрос.

Удобство, как мне кажется, иногда просто непрозрачность с более удачным дизайном.

Чем более гладким кажется что-то, тем меньше мы спрашиваем: чьи серверы это обработали, у кого была видимость запроса, какие правила управляют невидимым слоем. Но дело не только в том, что люди не заботятся. Происходит кое-что более тонкое. Нас приучили воспринимать беспроблемность как надёжность. Безупречный интерфейс сигнализирует компетентность. Почти никогда — скрытность, даже когда это тоже верно.

Эта путаница — простота как доказательство безопасности — возможно, самая значимая предпосылка дизайна, с которой мы никогда сознательно не соглашались.

Меня поражает, что это не только техническая проблема. Это проблема постановки рамок. Где-то по пути мы приняли версию ИИ, которая рассматривает прозрачность и удобство как противоположности — будто сомнение в системе разрушит чары.

Недавно я познакомился с OpenGradient. Запомнилось мне не столько техническая архитектура, сколько допущение, которое, похоже, она отвергает: что удобство и способность проверять, что происходит «внутри», взаимоисключают друг друга.

Будет ли это верно в масштабе — вопрос, за которым я ещё наблюдаю. Но то, на какой вопрос она пытается ответить, кажется действительно живым.

Как часто вы выбираете удобство, не спрашивая себя, что вы тихо обмениваете на него?

@OpenGradient
$OPG
#OPG
$SYN
$BAS

Я веду заметки на своем телефоне о каждом инструменте, который касается моей настоящей работы. Не о приложениях, которыми я пользуюсь на досуге. Те, через которые прошло решение.

Я начал это делать после того, как моя коллега описала что-то в прошлом году.

Она использовала инструмент ИИ для суммирования, чтобы обрабатывать отчеты по исследованию рынка для клиентского проекта. Полезно, эффективно, ни разу не задумалась. Затем клиент высказал возражение по рекомендации, ссылаясь на выводы, которых не было в ее резюме. Когда она вернулась к оригинальным документам, она обнаружила, что инструмент по-разному оценивал информацию, чем она помнила. Вывод не был неправильным, но был достаточно отличным, чтобы иметь значение.

У нее не было способа показать, что произвела ранняя версия.
Меня беспокоило не само это ошибка. Это было отсутствие какой-либо фиксированной точки, к которой можно было бы вернуться. Если поведение инструмента может изменяться без записей или уведомлений, то все, что построено на этом, становится тихо ненадежным, способами, которые могут никогда не всплыть.

И тогда я начал думать о том, кто держит это изменение. Не о том, кто изначально создал модель, а о том, кто решает, когда ее поведение меняется, кто ограничивает доступ, кто отключает ее. Эта власть сейчас находится у небольшого числа сущностей. Она не афишируется. Нет процесса, видимого снаружи.

Это другая форма власти, чем владение. Это продолжающееся авторство над системами, которые уже были вплетены в то, как работают люди.

Я наткнулся на OpenGradient, когда размышлял об этом. Сеть спроектирована так, что ни одна сторона не может изменить поведение модели, не сделав изменение видимым по всей системе. Это показалось мне первым технически последовательным ответом на то, к чему я постоянно возвращался.

Если инструмент сформировал решение, которое вы приняли шесть месяцев назад и с тех пор изменился, к кому вы вообще могли бы обратиться?

@OpenGradient
$OPG
#OPG
$BTC
$BAS

Несколько месяцев назад близкий друг сказал мне, что она задала ИИ-ассистенту что-то очень личное. Она получила осторожный, взвешенный ответ за секунды и почувствовала искреннюю помощь. Я слушал, кивал и ничего не говорил.

Что я не сказал, так это то, что сделал то же самое на неделе ранее, не задумываясь о том, куда на самом деле ушел мой вопрос.

Этот момент общего невежества остался со мной. Плавность опыта — это почти и есть суть. Чем лучше ИИ отвечает, тем меньше мы чувствуем необходимость задавать вопросы о системе, которая отвечает. Удобство работает как своего рода седация: оно не только разрешает неопределенность, но и медленно растворяет инстинкт искать дальше.

Что тихо меняется, так это видимость. Не конфиденциальность в традиционном смысле, которая хотя бы кажется срочной. Что-то более тонкое: способность спрашивать, кто обработал запрос, где запустилась модель, какая инфраструктура сделала все это возможным.

Эта схема не нова. Историки технологий отмечали это на протяжении каждого серьезного изменения инфраструктуры, от железных дорог до телекоммуникаций. Кто контролирует, куда движутся вещи и как они обрабатываются, в конечном итоге формирует, что разрешено и для кого. Мы медленно и болезненно усвоили это с сетями данных. Кажется, мы снова приходим к тому же уроку, на этот раз с инференцией.

Инфраструктура — это то место, где живут реальные концентрации контроля. Обычно она невидима, почти по замыслу, потому что видимость замедлила бы принятие, которое делает инфраструктуру ценной. Сделка структурная, а не случайная.

Вот почему OpenGradient привлек мое внимание. Не как продукт, а как вопрос дизайна: может ли инференция быть децентрализована без неудобства? Могут ли проверяемость и простота использования действительно сосуществовать, а не торговаться друг с другом?

Я пока не знаю. Но я замечаю, что сейчас задаю этот вопрос, чего не было пару месяцев назад.

Как часто вы выбираете удобство, не спрашивая, что вы тихо торгуете за это?

@OpenGradient
$OPG
#OPG
$HEI
$SLX

Три недели назад я задал ИИ вопрос, по которому у меня уже были четкие взгляды, перефразировав его четырьмя или пятью разными способами, чтобы посмотреть, что изменится. Почти ничего не изменилось. Формулировка постоянно приводила к одному и тому же месту. Меня не смутили выводы. Меня смутила последовательность.

Мы выработали осторожные привычки для оценки предвзятости в газетах или отчетах аналитических центров. Мы спрашиваем, кто их финансирует, кто редактирует. Почти никто не задает этот вопрос модели.

Каждый ИИ приходит уже с предустановленными параметрами. Что считалось правильным обучающим сигналом, что было отфильтровано, что получило повышенный вес. Это не ошибки. Это решения. Проблема в том, что решения встроены, а не задокументированы.

Здесь есть странная асимметрия. Часы можно разобрать, их логику можно проследить зубец за зубцом. Владение газетой указано в раскрытии информации. Но выборы, которые сформировали представление модели о том, что является правдой, что сбалансировано, какой вывод "разумный", находятся внутри весов, недоступные для любого, кто запускает модель.

Мы ранее доверяли институциональной памяти, не проверяя ее архитектуру. Модели кредитного рейтинга из 1980-х закодировали предположения о риске, которые всплывали и подвергались сомнению десятилетиями. Что сейчас отличается, так это масштаб и близость. Формат стал разговорным. Он рассуждает с вами. Эта близость делает искажения труднее заметить.

То, что структурно меняет ситуацию, - это не больше раскрытия от создателей. Это инфраструктура, позволяющая проверку извне отношений с создателями. Именно это привлекло мое внимание к OpenGradient, работающему именно на этом уровне.

Я не уверен, что большинство людей хочет смотреть так пристально.
Но если бы вы узнали, что предположения, формирующие ваш наиболее используемый ИИ, были построены вокруг приоритетов, которые вы бы отвергли, вы хотели бы это знать?

@OpenGradient
$OPG
#OPG
$SYN
$BEL

Несколько недель назад я читал политику использования модели, которая была известна как "открытая." Я дошёл до середины, прежде чем понял, что согласился, где-то в мелком шрифте, позволить им вести учёт моих запросов бесконечно и приостановить мой доступ без предупреждения.

Этот момент остался со мной дольше, чем я ожидал.

В утверждениях об открытости ИИ есть искренний трюк. Публикация весов модели приносит компании репутацию открытого исходного кода. Но веса — это всего лишь рецепт. Плита, кухня, право готовить — всё это принадлежит тем, кто контролирует инфраструктуру вывода. А этот слой, который определяет, кто получает доступ, по какой цене, на каких условиях ведения учёта, под чьими решениями о закрытии, почти никогда не бывает открытым.

Что делает это труднее увидеть, так это то, что это не совсем нечестно. "Открытые веса" — это реальная вещь. Но это стало репутационным ярлыком, который позволяет компаниям заявлять о моральной кредите открытости, сохраняя полный контроль над слоем, который на самом деле важен. Мы приняли это, потому что аудит инфраструктуры сложнее, чем чтение страницы на GitHub.

Есть более глубокая проблема под этим. Когда уровень инфраструктуры остаётся закрытым, преимущества ИИ предсказуемо концентрируются. Не вокруг тех, у кого лучшие идеи или самые полезные модели, а вокруг тех, кто контролирует трубы, через которые проходят эти модели. Мы видели это раньше с интернетом. Нейтральность инфраструктуры — это то место, где на самом деле живёт власть.

Вот что привлекло меня к OpenGradient. Фокус не на выпуске весов модели, а на децентрализации сети, которая их запускает, что является более сложной и редкой задачей для построения.

Когда вы видите, как проект ИИ описывает себя как "открытый," что вам действительно нужно проверить, прежде чем в это поверить?

@OpenGradient
$OPG
#OPG
$RESOLV
$TNSR

Мой сосед каждый день решает одну и ту же кроссвордную книгу уже три года. Я знаю, потому что вижу его через окно, когда выхожу за кофе.

На прошлой неделе я заметил, что это та же книга, что и в прошлом году. Тот же обложка, тот же изношенный уголок. Я не знаю, забывает ли он, или ему просто все равно.
Я все еще думаю об этом образе.

Большинство людей представляют ИИ как нечто, что накапливает знания. Что-то, что переносит свои выводы дальше, как это делает человек. Но на самом деле, это не так работает в большинстве систем.

Каждый запрос начинается с нуля. Модель обрабатывает вопрос, генерирует результат, и логика, стоящая за этим, просто исчезает. Нет прочного следа. Нет цепочки, связывающей этот результат с предыдущим.

Не потому, что инженеры забыли это добавить. А потому что инфраструктура не была спроектирована для его сохранения.

К чему я все время возвращаюсь, так это к тому, что это на самом деле означает. Когда мы доверяем выводам человека, мы доверяем чему-то с непрерывной историей логики, чему-то, что может быть привлечено к ответственности за то, что оно сказало раньше и почему. У большинства ИИ-систем такой ответственности нет на структурном уровне.

Это означает, что нет реального способа отличить модель, которая хорошо размышляла, от той, которая просто случайно выдала убедительный результат. Шаблон выглядит одинаково в любом случае.

Это не философская проблема. Это практическая проблема, и она тихо накапливается, пока эти системы формируют все больше того, как мы работаем и принимаем решения.

Мы можем спросить, к какому выводу они пришли. Мы не можем спросить их, чтобы они показали свою работу за прошлый вторник.

Я читал о OpenGradient несколько вечеров назад, особенно потому, что продолжал возвращаться к этому и думать, как это исправить на уровне инфраструктуры. Их ответ состоит в том, чтобы сделать выводы самими по себе проверяемыми, отслеживаемыми по замыслу.

Эта идея осталась со мной.

Если у системы ИИ нет прочной записи своего собственного размышления, можем ли мы называть то, что она делает, интеллектом или просто очень уверенной догадкой?

@OpenGradient
$OPG
#OPG
$TNSR
$BULLA

Несколько месяцев назад я читал документ по соблюдению GDPR для AI-компании. Раздел о удалении данных был подробным, почти впечатляющим. Сроки, журналы согласия, лимиты хранения. Я прочитал все это, ожидая часть, которая касалась того, что модель все еще помнила. Таковой не оказалось.

Этот пробел не случайен. Он отражает то, как регулирование конфиденциальности было разработано до того, как специфика обучения моделей была хорошо понята.
Фреймворки, такие как GDPR, рассматривают данные как нечто, что можно найти, проверить и удалить. Обученная модель не хранит ваши данные таким образом. Она хранит то, что она узнала от вас, что является совершенно другим объектом.

Когда вы подаете запрос на удаление данных, платформа удаляет строку из базы данных. Модель не переобучается. Градиентные обновления, которые впитали ваши поведенческие паттерны, уже встроены в миллиарды весовых параметров, формируя результаты для людей, которые никогда не делились с вами ничем. Исходный ввод исчезает. То, что оно произвело внутри модели, нет.

Это тот момент, который я не мог четко сформулировать в течение некоторого времени. Удаление данных и удаление того, что модель узнала из данных, — это две отдельные операции. Одна имеет юридический механизм. Другая — это не то, что текущее регулирование вообще требует.

Единственное объяснение, которое я нашел и которое пытается закрыть эту брешь, находится на уровне инфраструктуры. @OpenGradient создает проверяемый уровень вокруг поведения модели и ее источников, не обещая, что внутри, но создавая структуру, где можно действительно изучить, как была построена модель и что ее формировало, а не доверять этому по умолчанию.

Я не уверен, что это решает основную проблему. Но это задает более честный вопрос, чем "удалили ли мы файл."

Если ваши данные сформировали взгляд модели на мир, значит ли удаление их, что что-то отменяется, или это просто убирает доказательства того, что уже произошло?

$OPG
#OPG
$BICO
$BTW

На встрече разработчиков в прошлом месяце кто-то закончил свою отточенную

AI демонстрацию и остановился для аплодисментов.

Тихий голос из задних рядов спросил, почти неуверенно: кто на самом деле владеет этой моделью?

Комната засмеялась и перешла к следующему.

То, что никто даже не остановился, чтобы ответить, сказало больше, чем любой ответ
мог бы.

Никто никогда не отвечает.

Вопрос тихо исчезает каждый раз.

Не потому, что ответ юридически сложен или похоронен где-то
в условиях обслуживания.

А потому что он никогда не был важен.

Мы видим выходные данные, но никогда не видим их владельца.

Модель исчезает по замыслу.

Чем более способной кажется модель, тем меньше вам приходит в голову
вопрос о собственности.

Чем меньше вы задаетесь вопросом, кто управляет моделью, тем тише они
формируют ваш опыт.

Представьте, что каждый день вы перемещаетесь по карте, которую кто-то может тихо
перерисовать, пока вы движетесь — без предупреждения, без истории версий, без следов
изменений — и вы узнаете об этом только когда окажетесь в неверном месте.

Большинство видят в этом проблему прозрачности.

Покажите, кто это создал.

Обозначьте обучающие данные.

Потому что раскрытие информации само по себе ничего не меняет в том, кто на самом деле
решает, что обновляется, удаляется или изменяется.

Если модель, формирующая ваши заявки на работу, ваши медицинские запросы, ваши ежедневные рекомендации, может быть тихо обновлена или заменена без записи того, что изменилось, имеет ли слово "собственность" вообще какое-либо значение?

Я начинаю думать, что тот, кто контролирует хостинг, контролирует всё остальное.
Не раскрытие.

Не ярлык.

Вопрос архитектуры.

Вот что привлекло меня к децентрализованному подходу инфраструктуры OpenGradient.

@OpenGradient
$OPG
#OPG
$RE
$LAB

Друг прислал мне ответ чат-бота о ее лекарствах и спросил, как я могу знать, что это вообще правильно.

У меня не было ответа, и я осознал, что молчание говорит о чем-то гораздо большем.

Какой именно моделью.

Какая версия.

Какие веса.

Какой момент.

Не потому что основная модель была подтверждена, а потому что интерфейс выглядел надежно.

Мы доверяем бренду, а не модели.

Каждый ответ ИИ требует доверия, а не доказательства.

Доказательства почти никогда не приходят.

Чем более важен вопрос, тем больше значение разрыва.

Чем меньше это можно проверить, тем больше нужно верить.

Это как если бы фармацевт давал вам лекарства без этикетки и просил просто верить ему на слово.

Люди видят это как вопрос точности.

Лучшие модели, лучшие ответы.

Больше данных, лучшие результаты.

Потому что лучшая модель, которую вы не можете проверить, почти ничего не меняет.

Если бы вы не могли подтвердить, какая модель дала вам этот ответ, или изменилась ли она перед тем, как дойти до вас, имело бы это значение?

Я начинаю думать, что проверка имеет большее значение, чем мы признаем.
Не более умные модели.

Не более стильные интерфейсы.

Проверяемая, подтверждаемая истина.

Именно этот разрыв OpenGradient предназначен для того, чтобы закрыть.

@OpenGradient

$OPG

#OPG

$SYN

$AGT

Есть фраза, которую люди постоянно используют в разговорах об ИИ. "Я доверяю этому." Но я начал задумываться, что это на самом деле значит.
В прошлом году я задал ИИ конкретный вопрос о юридическом пункте. Ответ пришел отточенным, структурированным и уверенным. Я использовал его без малейших сомнений. Так сделали и трое других людей, с которыми я поделился. Никто из нас не спросил, как он пришел к такому выводу.
Это меня позже беспокоило. Не потому что ответ был неправильным. А потому что я понял, что мое доверие не имело ничего общего с точностью. Оно имело отношение к тону. Хорошо написанный абзац кажется правдой так, как это не делает сноски и неопределенные формулировки.
Мы провели годы, делая ИИ более беглым. Но беглость — это не то же самое, что честность. А уверенность — это не доказательство.
Интересный сдвиг, происходящий прямо сейчас, не связан с тем, чтобы сделать модели умнее. Дело в том, чтобы сделать их рассуждения проверяемыми. Это и привлекло мое внимание к @OpenGradient , идея о том, что вывод должен иметь свое собственное доказательство, проверенное до того, как результат будет принят во внимание.
Но вот с чем я все еще остаюсь. Если проверка станет легкой, начнем ли мы на самом деле проверять? Или мы просто найдем новую вещь, которой будем доверять, не глядя? $OPG #OPG
$LAB $BSB