#opg $OPG @OpenGradient
Đợt trì hoãn đầu tiên đã không xảy ra trong quá trình suy luận. Nó xảy ra trước khi mô hình kịp trả lời một yêu cầu nào đó.
Một node đã nhận được một tác vụ mà về mặt kỹ thuật nó có thể chạy, nhưng mô hình vẫn chưa sẵn sàng. Mạng biết mô hình đang ở đâu. Chuỗi biết cách để xác minh nó. Tuy nhiên, điều đó không thay đổi thực tế rằng vẫn phải truyền đi vài gigabyte dữ liệu trước khi token đầu tiên có thể xuất hiện.
Điều đó khiến tôi nghĩ khác đi về Walrus trong OpenGradient.
Thông thường, lưu trữ được mô tả như một vấn đề đã được giải quyết. Đặt các đối tượng lớn ở nơi khác, chỉ giữ tham chiếu trên chuỗi, rồi để các node tự tải những gì chúng cần. Kiến trúc này rất thanh lịch. Nhưng hành vi khi có nhu cầu lại không rõ ràng như vậy.
Chỉ một node lạnh (cold) tải một mô hình thì vẫn có thể quản lý được. Nhưng năm node lạnh cùng lúc yêu cầu đúng một mô hình khiến tình hình trở nên khác.
Liệu mọi node có tự kéo (pull) độc lập dữ liệu giống hệt nhau không?
Các node ở gần nhau có bắt đầu chia sẻ các bản sao đã được cache không?
Độ phổ biến có dần dần quyết định nơi các mô hình “sống” không?
Phần thú vị có lẽ không nằm ở chỗ một mô hình được lưu ở đâu, mà nằm ở tốc độ nó trở thành cơ sở hạ tầng cục bộ sau khi nhu cầu xuất hiện.
Một mô hình thường xuyên được yêu cầu sẽ lan dần trong mạng cho đến khi độ trễ giảm một cách tự nhiên. Một mô hình ít khi được dùng sẽ vẫn ở xa, phải chờ phía sau thời gian tải xuống, quá trình xác minh và việc cấp phát bộ nhớ.
Điều này biến việc đặt mô hình thành một “mục tiêu di động”.
Hiệu quả lưu trữ, chi phí băng thông, các quyết định cache và các mẫu hình nhu cầu—tất cả bắt đầu ảnh hưởng đến tốc độ suy luận nhiều như chính sức mạnh tính toán thô.
Câu hỏi mà tôi cứ tiếp tục quay lại không phải là liệu Walrus có thể lưu các mô hình OpenGradient hay không.
Mà là thứ gì quyết định nơi những mô hình đó nên tồn tại khi nhiều node lạnh cần chúng đúng vào cùng một thời điểm.
#opg $OPG
Đợt trì hoãn đầu tiên đã không xảy ra trong quá trình suy luận. Nó xảy ra trước khi mô hình kịp trả lời một yêu cầu nào đó.
Một node đã nhận được một tác vụ mà về mặt kỹ thuật nó có thể chạy, nhưng mô hình vẫn chưa sẵn sàng. Mạng biết mô hình đang ở đâu. Chuỗi biết cách để xác minh nó. Tuy nhiên, điều đó không thay đổi thực tế rằng vẫn phải truyền đi vài gigabyte dữ liệu trước khi token đầu tiên có thể xuất hiện.
Điều đó khiến tôi nghĩ khác đi về Walrus trong OpenGradient.
Thông thường, lưu trữ được mô tả như một vấn đề đã được giải quyết. Đặt các đối tượng lớn ở nơi khác, chỉ giữ tham chiếu trên chuỗi, rồi để các node tự tải những gì chúng cần. Kiến trúc này rất thanh lịch. Nhưng hành vi khi có nhu cầu lại không rõ ràng như vậy.
Chỉ một node lạnh (cold) tải một mô hình thì vẫn có thể quản lý được. Nhưng năm node lạnh cùng lúc yêu cầu đúng một mô hình khiến tình hình trở nên khác.
Liệu mọi node có tự kéo (pull) độc lập dữ liệu giống hệt nhau không?
Các node ở gần nhau có bắt đầu chia sẻ các bản sao đã được cache không?
Độ phổ biến có dần dần quyết định nơi các mô hình “sống” không?
Phần thú vị có lẽ không nằm ở chỗ một mô hình được lưu ở đâu, mà nằm ở tốc độ nó trở thành cơ sở hạ tầng cục bộ sau khi nhu cầu xuất hiện.
Một mô hình thường xuyên được yêu cầu sẽ lan dần trong mạng cho đến khi độ trễ giảm một cách tự nhiên. Một mô hình ít khi được dùng sẽ vẫn ở xa, phải chờ phía sau thời gian tải xuống, quá trình xác minh và việc cấp phát bộ nhớ.
Điều này biến việc đặt mô hình thành một “mục tiêu di động”.
Hiệu quả lưu trữ, chi phí băng thông, các quyết định cache và các mẫu hình nhu cầu—tất cả bắt đầu ảnh hưởng đến tốc độ suy luận nhiều như chính sức mạnh tính toán thô.
Câu hỏi mà tôi cứ tiếp tục quay lại không phải là liệu Walrus có thể lưu các mô hình OpenGradient hay không.
Mà là thứ gì quyết định nơi những mô hình đó nên tồn tại khi nhiều node lạnh cần chúng đúng vào cùng một thời điểm.
#opg $OPG