pagi ini saya kembali mempertanyakan bagaimana OpenGradient menangani ML on-chain tanpa bottleneck inferensi yang menghambat blockchain itu sendiri....
ini mekanismenya. ketika pengguna mengirimkan transaksi yang berisi permintaan inferensi, itu masuk ke mempool inferensi. mempool mensimulasikan semua transaksi yang tertunda dan mengekstrak permintaan inferensi. itu akan dikirim ke jaringan inferensi untuk eksekusi paralel. setelah hasil tersedia, transaksi asli dilanjutkan dengan hasil inferensi yang sudah dihitung sebelumnya terlampir. transaksi yang selesai kemudian dimasukkan ke dalam blok berikutnya....
hasil yang sudah dihitung sebelumnya. tidak tertunda.
bagian yang penting untuk dipahami adalah apa yang sebenarnya dihilangkan oleh PIPE. tanpanya, perhitungan ML yang mahal harus diselesaikan di dalam jendela pembangunan blok-+yang akan memperlambat blok secara dramatis atau memaksa pengembang untuk menggunakan oracle dengan penundaan penyelesaian. PIPE menghilangkan kedua masalah dengan menjalankan inferensi secara paralel dengan mempool, sebelum konstruksi blok bahkan dimulai....
saya sebenarnya menemukan ini bersih dengan cara yang sempit. jaminan eksekusi atomik adalah sifat kunci hasil inferensi adalah bagian dari transaksi yang sama, tidak ada perjalanan bolak-balik oracle, tidak ada penyelesaian yang tertunda, tidak ada jendela di mana hasil dan tindakan on-chain tidak tersinkronisasi (tidak mendapatkan sinkronisasi)😅....
tapi saya tidak akan berpura-pura bahwa eksekusi pra-paralel tanpa kompromi. jika permintaan inferensi di mempool memakan waktu lebih lama dari yang diharapkan, transaksi yang bergantung padanya harus menunggu. paralelisme membantu throughput tetapi tidak menghilangkan latensi individu untuk model yang kompleks....
tentang setahun yang lalu saya membangun sesuatu yang membutuhkan output ML di dalam pemanggilan smart contract. akhirnya menggunakan pola oracle yang menciptakan aliran dua transaksi dengan celah penyelesaian yang tidak pernah saya percayai sepenuhnya. sifat eksekusi atomik yang ditawarkan PIPE akan mengubah desain itu sepenuhnya....
apa yang masih belum bisa saya selesaikan adalah bagaimana PIPE menangani permintaan inferensi yang datang di tengah blok-apakah mereka ditunda ke siklus mempool berikutnya, dan apakah itu menciptakan pola latensi yang dapat diprediksi yang dapat dimanfaatkan??
@OpenGradient $OPG #OPG
$EVAA
$SYN