Я протестировал сценарий маршрутизации OpenGradient, ожидая, что ближайший узел для вывода выиграет.
Но этого не произошло.
Сcheduler выбрал ближайший узел, но ему сначала нужно было загрузить модель. Тем временем, немного более удаленный узел уже имел модель загруженной, без дела и готовой к выполнению.
"Кратчайший путь" стал самым медленным.
Вот тогда до меня дошло:
Распределенный ИИ — это не только географическая проблема.
Это проблема координации.
Задержка зависит не только от расстояния: • Доступность модели • Вместимость GPU • Давление в очереди • Независимость от сбоев • Надежность сети
Два узла могут находиться в разных городах и все равно выходить из строя вместе, если они используют одного и того же облачного провайдера или инфраструктуру.
Узлы вывода оптимизируют выполнение. Полные узлы оптимизируют распространение доказательств. Узлы данных оптимизируют локальность данных.
Разные цели. Разные стратегии размещения.
Настоящий вопрос не в том, где находятся текущие узлы.
А в том, где появятся следующие узлы — и действительно ли они уменьшат задержки и общие сбои, которые могут ощущать пользователи.
Вот где проектирование сети становится ценностью сети.
$OPG #OPG @OpenGradient
Но этого не произошло.
Сcheduler выбрал ближайший узел, но ему сначала нужно было загрузить модель. Тем временем, немного более удаленный узел уже имел модель загруженной, без дела и готовой к выполнению.
"Кратчайший путь" стал самым медленным.
Вот тогда до меня дошло:
Распределенный ИИ — это не только географическая проблема.
Это проблема координации.
Задержка зависит не только от расстояния: • Доступность модели • Вместимость GPU • Давление в очереди • Независимость от сбоев • Надежность сети
Два узла могут находиться в разных городах и все равно выходить из строя вместе, если они используют одного и того же облачного провайдера или инфраструктуру.
Узлы вывода оптимизируют выполнение. Полные узлы оптимизируют распространение доказательств. Узлы данных оптимизируют локальность данных.
Разные цели. Разные стратегии размещения.
Настоящий вопрос не в том, где находятся текущие узлы.
А в том, где появятся следующие узлы — и действительно ли они уменьшат задержки и общие сбои, которые могут ощущать пользователи.
Вот где проектирование сети становится ценностью сети.
$OPG #OPG @OpenGradient