Что снова и снова тянет меня обратно к @NewtonProtocol — дело не в ее технических амбициях, а в неприятной возможности того, что ответственность и понимание не одно и то же. Мы часто полагаем, что если интеллектуальная система может доказать, почему она поступила именно так, то доверие естественным образом следует за этим. Я думаю, это предположение заслуживает куда более пристального рассмотрения, чем обычно получает. Система может добросовестно следовать правилам, не пересматривая при этом, отражают ли эти правила по-прежнему те ценности, которые они должны были защищать.
Возможно, именно это меня больше всего и интересует. Ньютон кажется менее похожим на протокол и больше — на эксперимент в области человеческого поведения. Он тихо спрашивает, строим ли мы системы, которые поощряют ответственность, или же просто системы, уменьшающие потребность в трудных разговорах. Это не одинаковые результаты. Один укрепляет суждение, а другой может постепенно заменить его процедурой.
Я не уверен, меняет ли децентрализация всё сразу. Скорее похоже, что она меняет всё постепенно — привычкой. По мере того как все больше участников начинают полагаться на знакомые политики, доверенные шаблоны или широко принятые практики, координация может начаться собираться вокруг сравнительно небольшого круга влияния. Никто явно не выбирает централизацию. Она просто становится путем, требующим наименьших усилий.
Меня больше всего беспокоит то, что любая успешная система со временем неизбежно становится обыденной. Когда участие превращается в рутину вместо намеренности, стимулы часто начинают смещаться незаметно. Удобство начинает конкурировать с прозрачностью, а эффективность — перевешивать любопытство. Протокол может продолжать работать ровно так, как был задумал, одновременно постепенно побуждая все меньше людей задаваться вопросом о допущениях, лежащих в его основе.
Возможно, более важный вопрос не в том, сможет ли Ньютон и дальше держать автономные системы под отчетом. Важно другое: будут ли люди, находящиеся рядом с этими системами, продолжать ставить их под сомнение еще долго после того, как подотчетность станет автоматизированной.
@NewtonProtocol #Newt $NEWT .
Возможно, именно это меня больше всего и интересует. Ньютон кажется менее похожим на протокол и больше — на эксперимент в области человеческого поведения. Он тихо спрашивает, строим ли мы системы, которые поощряют ответственность, или же просто системы, уменьшающие потребность в трудных разговорах. Это не одинаковые результаты. Один укрепляет суждение, а другой может постепенно заменить его процедурой.
Я не уверен, меняет ли децентрализация всё сразу. Скорее похоже, что она меняет всё постепенно — привычкой. По мере того как все больше участников начинают полагаться на знакомые политики, доверенные шаблоны или широко принятые практики, координация может начаться собираться вокруг сравнительно небольшого круга влияния. Никто явно не выбирает централизацию. Она просто становится путем, требующим наименьших усилий.
Меня больше всего беспокоит то, что любая успешная система со временем неизбежно становится обыденной. Когда участие превращается в рутину вместо намеренности, стимулы часто начинают смещаться незаметно. Удобство начинает конкурировать с прозрачностью, а эффективность — перевешивать любопытство. Протокол может продолжать работать ровно так, как был задумал, одновременно постепенно побуждая все меньше людей задаваться вопросом о допущениях, лежащих в его основе.
Возможно, более важный вопрос не в том, сможет ли Ньютон и дальше держать автономные системы под отчетом. Важно другое: будут ли люди, находящиеся рядом с этими системами, продолжать ставить их под сомнение еще долго после того, как подотчетность станет автоматизированной.
@NewtonProtocol #Newt $NEWT .