Я провел последние пару дней, глядя на @OpenGradient , и все время предполагал, что это просто еще одна история о "приближении вычислений к пользователю". Но это казалось слишком аккуратным. Чем больше я смотрел на то, как они, похоже, формируют исполнение вокруг близости, тем больше это выглядело так, будто сама сеть является частью продукта, а не просто аппаратным обеспечением под ним.
Меня удивило, как сильно топология, кажется, меняется в зависимости от того, что именно запускается. Большая модель и легкая задача верификации, вероятно, не должны находиться в одной и той же ментальной модели, и этот сдвиг важнее, чем люди ему придают значения. Я могу ошибаться, но это больше похоже на систему, которая продолжает перераспределять себя в зависимости от нагрузки.
Экономический угол — это то, к чему я все время возвращаюсь. Если близость начинает приносить больше, чем размер сырого GPU в определенных условиях, тогда операторы узлов уже не только соревнуются по капитальным затратам. Они соревнуются по географии, маршрутизации и, может быть, даже по качеству интернет-провайдеров, что является совершенно другой игрой. Это может создать странные локальные карманы силы, где лучшая емкость для вывода оказывается сосредоточенной в местах, которые никто не ожидал.
Одно, о чем я не видел, чтобы люди говорили достаточно, это недостатки гиперлокального кластеризации. Тот же набор, который снижает задержку, также может упростить давление на цикл валидации, если регион будет ограничен, разделен или просто слишком коррелирован. Это компромисс, который меня больше всего беспокоит: как только скорость становится тесно связанной с местоположением, система может стать более хрупкой, чем кажется на первый взгляд.
#opg $OPG
Так что моя текущая точка зрения заключается в том, что интересный вопрос не в том, работает ли это в чистой демонстрации, а в том, может ли оно оставаться стабильным, когда сеть становится запутанной в реальном мире. Если топология должна постоянно изменяться под стрессом, восстанавливается ли она достаточно быстро для dApps, которым нужна реальная инференция в реальном времени, или всё начинает раскачиваться в момент, когда условия становятся неблагоприятными?
Меня удивило, как сильно топология, кажется, меняется в зависимости от того, что именно запускается. Большая модель и легкая задача верификации, вероятно, не должны находиться в одной и той же ментальной модели, и этот сдвиг важнее, чем люди ему придают значения. Я могу ошибаться, но это больше похоже на систему, которая продолжает перераспределять себя в зависимости от нагрузки.
Экономический угол — это то, к чему я все время возвращаюсь. Если близость начинает приносить больше, чем размер сырого GPU в определенных условиях, тогда операторы узлов уже не только соревнуются по капитальным затратам. Они соревнуются по географии, маршрутизации и, может быть, даже по качеству интернет-провайдеров, что является совершенно другой игрой. Это может создать странные локальные карманы силы, где лучшая емкость для вывода оказывается сосредоточенной в местах, которые никто не ожидал.
Одно, о чем я не видел, чтобы люди говорили достаточно, это недостатки гиперлокального кластеризации. Тот же набор, который снижает задержку, также может упростить давление на цикл валидации, если регион будет ограничен, разделен или просто слишком коррелирован. Это компромисс, который меня больше всего беспокоит: как только скорость становится тесно связанной с местоположением, система может стать более хрупкой, чем кажется на первый взгляд.
#opg $OPG
Так что моя текущая точка зрения заключается в том, что интересный вопрос не в том, работает ли это в чистой демонстрации, а в том, может ли оно оставаться стабильным, когда сеть становится запутанной в реальном мире. Если топология должна постоянно изменяться под стрессом, восстанавливается ли она достаточно быстро для dApps, которым нужна реальная инференция в реальном времени, или всё начинает раскачиваться в момент, когда условия становятся неблагоприятными?