Mấy ông ơi, hôm qua tôi đang xem AI đệ quy của mình (#AGENT ) chạy, và nhận thấy có một khoảng dừng rất nhỏ, khó chịu ngay trước khi nó tạo ra mỗi câu trả lời.

Ban đầu, tôi nghĩ bản thân mô hình chỉ chậm thôi.

Nhưng khi tác nhân của tôi bắt đầu thực thi các quy trình phức tạp, nhiều bước, thì những mili giây đó bắt đầu cộng dồn lại.

Tôi nhận ra điểm nghẽn hiệu năng thực sự không phải là GPU.....

mà là tốc độ tính toán của mô hình AI....

Mà là việc phải liên tục xác thực chữ ký mật mã để phê duyệt và thanh toán cho từng bước suy luận.

Với tôi, điều này tạo ra cái mà tôi gọi là "Tỷ lệ Sign-to-Think".

Nếu một AI dành nhiều thời gian để ký giao dịch nhằm chứng minh rằng nó có thể chạy hơn là thời gian thực sự suy nghĩ, thì hệ thống sẽ bị nghẽn....

Đây là lý do tích hợp @OpenGradient Permit2 trên Base là bước ngoặt.

Bằng cách gom lô duyệt token, nó ngăn việc spam giao dịch làm cạn ngân sách xác minh của tác nhân.

Tôi tự thử cấu hình độ trễ thấp này trên chat.opengradient.ai....

và cảm giác mượt như một ứng dụng #centralized , nhưng với quyền riêng tư được phần cứng đảm bảo ở phía sau.....

Cá nhân tôi thì đang mua credits để chạy các quy trình phát triển của mình....

Tôi nghĩ chúng ta đang tập trung sai khi chạy theo việc mua chip nhanh hơn, trong khi lẽ ra phải tối ưu phần toán học để xác thực chúng.

Các bạn có nghĩ nghẽn chữ ký mới là rào cản lớn nhất cho AI trên chuỗi không?

#OPG $OPG #DeAI $TAC $GWEI