Jujur saja, kebanyakan orang melihat penyimpanan dan menganggap masalahnya adalah kapasitas. Tapi menurut saya, yang sebenarnya sulit bukan seberapa banyak yang disimpan, melainkan apa yang seharusnya diingat oleh jaringan.
Coba pikirkan, strategi cache sebenarnya adalah sistem ekonomi tersembunyi. Setiap model tidak mungkin selalu berjalan di perhitungan, setiap bukti juga tidak mungkin selalu berada di lapisan penyimpanan tercepat. Selalu ada hal yang harus dipindahkan, selalu ada yang harus ditinggalkan. Pilihan ini sangat penting.
LRU bertanya "siapa yang paling berguna akhir-akhir ini", LFU bertanya "siapa yang selalu berguna". Kedengarannya sederhana, tapi ketika beban kerja AI muncul, semuanya menjadi kacau. Sebuah model yang tidak diperhatikan kemarin, bisa tiba-tiba jadi hits hari ini; yang lain yang sudah diam-diam melayani selama beberapa bulan, tapi tidak pernah terkenal. Jadi saya rasa, OpenGradient bukan hanya menyelesaikan masalah penyimpanan, tetapi juga masalah ingatan.
Token OPG bisa ada karena penyimpanan yang efisien = inferensi yang efisien, dan inferensi yang efisien pada akhirnya mempengaruhi aliran nilai. Semakin baik jaringan mengingat hal-hal yang perlu diingat, semakin berharga OPG. Tapi yang paling menarik adalah, skalabilitas mungkin tidak bergantung pada seberapa banyak yang bisa disimpan, melainkan seberapa baik ia "melupakan". Terkadang, keputusan infrastruktur yang paling cerdas adalah memutuskan apa yang tidak perlu diingat.
#OPG #AI #blockchain
Coba pikirkan, strategi cache sebenarnya adalah sistem ekonomi tersembunyi. Setiap model tidak mungkin selalu berjalan di perhitungan, setiap bukti juga tidak mungkin selalu berada di lapisan penyimpanan tercepat. Selalu ada hal yang harus dipindahkan, selalu ada yang harus ditinggalkan. Pilihan ini sangat penting.
LRU bertanya "siapa yang paling berguna akhir-akhir ini", LFU bertanya "siapa yang selalu berguna". Kedengarannya sederhana, tapi ketika beban kerja AI muncul, semuanya menjadi kacau. Sebuah model yang tidak diperhatikan kemarin, bisa tiba-tiba jadi hits hari ini; yang lain yang sudah diam-diam melayani selama beberapa bulan, tapi tidak pernah terkenal. Jadi saya rasa, OpenGradient bukan hanya menyelesaikan masalah penyimpanan, tetapi juga masalah ingatan.
Token OPG bisa ada karena penyimpanan yang efisien = inferensi yang efisien, dan inferensi yang efisien pada akhirnya mempengaruhi aliran nilai. Semakin baik jaringan mengingat hal-hal yang perlu diingat, semakin berharga OPG. Tapi yang paling menarik adalah, skalabilitas mungkin tidak bergantung pada seberapa banyak yang bisa disimpan, melainkan seberapa baik ia "melupakan". Terkadang, keputusan infrastruktur yang paling cerdas adalah memutuskan apa yang tidak perlu diingat.
#OPG #AI #blockchain