Tadi malam saat merapikan komputer, saya menemukan hard disk lagi berbunyi alarm. Dulu saya selalu merasa penyimpanan adalah bottleneck, tapi setelah benar-benar mulai mengutak-atik AI, saya baru sadar bahwa yang paling mudah cepat kehabisan justru kemampuan komputasi (compute).
Saya terus memikirkan satu masalah: jika kelak aplikasi AI benar-benar masuk ke era pemanggilan berfrekuensi tinggi, bagian mana dari jaringan yang paling dulu tidak sanggup—apa?
Banyak orang reaksi pertamanya adalah modelnya kurang kuat. Namun setelah menelusuri arsitektur @OpenGradient , perhatian saya justru mengarah ke Inference Node. Semua request inferensi di dalam jaringan pada akhirnya harus dikerjakan oleh node, lalu menyerahkan hasilnya untuk diverifikasi oleh TEE Node, dan akhirnya menyelesaikan settlement nilai di rantai lewat OPG. Lapisan-lapisan ini, pada dasarnya, bukan ditentukan oleh kemampuan model, melainkan oleh apakah jaringan punya kemampuan untuk melayani kebutuhan bisnis yang benar-benar berjalan secara berkelanjutan.
Sebagian orang suka menghitung jumlah node, tapi menurut saya nilai acuan indikator ini makin lama makin rendah. Semakin banyak Inference Node, tidak berarti jaringan semakin kuat. Jika tidak ada pertumbuhan berkelanjutan pada pemanggilan Agent, tidak ada semakin banyak developer yang masuk, dan tidak ada arus request inferensi yang nyata mengalir, maka sebanyak apa pun GPU hanya akan menganggur.
Belakangan saya membaca beberapa dokumen pengembangan, dan saya menemukan bahwa OpenGradient pada dasarnya merancang node sebagai peran yang menyediakan layanan inferensi jangka panjang, bukan sebagai penyedia komputasi sekali pakai. Keuntungan node berasal dari pemanggilan yang benar-benar terjadi, bukan semata-mata karena mesin baru saja dipasang. Ini berarti, tantangan akhir bagi jaringan adalah apakah kebutuhan bisa terus ada, bukan apakah pasokan bisa ditumpuk.
Ada satu hal lain yang terus tidak bisa saya pahami. Jika kelak GPU makin murah, ambang batas untuk deploy Inference Node terus menurun, apakah antar node akan mulai saling menekan imbalan demi merebut pesanan inferensi? Begitu profit tertekan, berapa banyak node yang benar-benar bertahan?
Jadi saat ini, yang lebih saya pedulikan bukan siapa yang menambah node sebanyak apa, melainkan siapa yang bisa terus menciptakan kebutuhan akan inferensi. Mungkin AI network pada akhirnya tidak hanya bertarung soal jumlah GPU, melainkan apakah ada cukup banyak orang yang bersedia terus memanggilnya.
#opg $OPG
Saya terus memikirkan satu masalah: jika kelak aplikasi AI benar-benar masuk ke era pemanggilan berfrekuensi tinggi, bagian mana dari jaringan yang paling dulu tidak sanggup—apa?
Banyak orang reaksi pertamanya adalah modelnya kurang kuat. Namun setelah menelusuri arsitektur @OpenGradient , perhatian saya justru mengarah ke Inference Node. Semua request inferensi di dalam jaringan pada akhirnya harus dikerjakan oleh node, lalu menyerahkan hasilnya untuk diverifikasi oleh TEE Node, dan akhirnya menyelesaikan settlement nilai di rantai lewat OPG. Lapisan-lapisan ini, pada dasarnya, bukan ditentukan oleh kemampuan model, melainkan oleh apakah jaringan punya kemampuan untuk melayani kebutuhan bisnis yang benar-benar berjalan secara berkelanjutan.
Sebagian orang suka menghitung jumlah node, tapi menurut saya nilai acuan indikator ini makin lama makin rendah. Semakin banyak Inference Node, tidak berarti jaringan semakin kuat. Jika tidak ada pertumbuhan berkelanjutan pada pemanggilan Agent, tidak ada semakin banyak developer yang masuk, dan tidak ada arus request inferensi yang nyata mengalir, maka sebanyak apa pun GPU hanya akan menganggur.
Belakangan saya membaca beberapa dokumen pengembangan, dan saya menemukan bahwa OpenGradient pada dasarnya merancang node sebagai peran yang menyediakan layanan inferensi jangka panjang, bukan sebagai penyedia komputasi sekali pakai. Keuntungan node berasal dari pemanggilan yang benar-benar terjadi, bukan semata-mata karena mesin baru saja dipasang. Ini berarti, tantangan akhir bagi jaringan adalah apakah kebutuhan bisa terus ada, bukan apakah pasokan bisa ditumpuk.
Ada satu hal lain yang terus tidak bisa saya pahami. Jika kelak GPU makin murah, ambang batas untuk deploy Inference Node terus menurun, apakah antar node akan mulai saling menekan imbalan demi merebut pesanan inferensi? Begitu profit tertekan, berapa banyak node yang benar-benar bertahan?
Jadi saat ini, yang lebih saya pedulikan bukan siapa yang menambah node sebanyak apa, melainkan siapa yang bisa terus menciptakan kebutuhan akan inferensi. Mungkin AI network pada akhirnya tidak hanya bertarung soal jumlah GPU, melainkan apakah ada cukup banyak orang yang bersedia terus memanggilnya.
#opg $OPG