Saya menemui sesuatu minggu lalu saat menguji Newton yang terus mengganggu saya.
Agen itu tidak gagal karena kurang kecerdasan. Itu gagal karena kebebasannya terlalu banyak.
Saya memberinya akses untuk menjalankan rangkaian tindakan yang terhubung ke sebuah wallet. Tidak ekstrem. Hanya beberapa tugas yang sudah ditentukan.
Dari 18 percobaan eksekusi, 16 berhasil.
Bagian yang menarik justru 2 sisanya.
Tak satu pun dari keduanya berupa kegagalan teknis.
Agen hanya mencapai titik di mana tindakan berikutnya membutuhkan keputusan yang tidak secara eksplisit diizinkan.
Instruksinya bersebelahan dengan apa yang saya inginkan, tapi bukan persis apa yang saya setujui.
Kedengarannya sepele sampai nilai nyata melekat padanya.
Satu jalur transaksi melibatkan aset sekitar $4.200. Yang lain menyentuh tiga kontrak terpisah. Dalam kedua kasus, hasil paling aman ternyata adalah tidak melakukan apa pun.
Momen itulah Newton mulai lebih masuk akal bagi saya.
Kebanyakan diskusi tentang agen AI berfokus pada kapabilitas. Eksekusi lebih cepat. Penalaran lebih baik. Lebih banyak otonomi.
Dalam praktiknya, bottleneck terasa berbeda.
Bukan pertanyaannya "Bisakah agen melakukan ini?"
Pertanyaannya adalah "Siapa yang mengizinkannya untuk melakukan hal spesifik ini dalam kondisi yang persis seperti ini?"
Saat saya meninjau log, batasan izin-lah yang bertanggung jawab menghentikan sekitar 11% dari tindakan yang dicoba.
Awalnya itu terlihat tidak efisien.
Lalu saya sadar bahwa kemungkinan besar itulah satu-satunya tindakan yang memang layak dihentikan.
Bagian anehnya adalah ketika agen menjadi lebih mampu, manajemen izin mulai terlihat kurang seperti fitur administratif dan lebih seperti produk utamanya.
Saya masih mencoba memahami di mana batas itu seharusnya ditempatkan, karena bahkan setelah seminggu pengujian, rasanya masih agak belum terselesaikan...
@NewtonProtocol $NEWT #Newt .
Agen itu tidak gagal karena kurang kecerdasan. Itu gagal karena kebebasannya terlalu banyak.
Saya memberinya akses untuk menjalankan rangkaian tindakan yang terhubung ke sebuah wallet. Tidak ekstrem. Hanya beberapa tugas yang sudah ditentukan.
Dari 18 percobaan eksekusi, 16 berhasil.
Bagian yang menarik justru 2 sisanya.
Tak satu pun dari keduanya berupa kegagalan teknis.
Agen hanya mencapai titik di mana tindakan berikutnya membutuhkan keputusan yang tidak secara eksplisit diizinkan.
Instruksinya bersebelahan dengan apa yang saya inginkan, tapi bukan persis apa yang saya setujui.
Kedengarannya sepele sampai nilai nyata melekat padanya.
Satu jalur transaksi melibatkan aset sekitar $4.200. Yang lain menyentuh tiga kontrak terpisah. Dalam kedua kasus, hasil paling aman ternyata adalah tidak melakukan apa pun.
Momen itulah Newton mulai lebih masuk akal bagi saya.
Kebanyakan diskusi tentang agen AI berfokus pada kapabilitas. Eksekusi lebih cepat. Penalaran lebih baik. Lebih banyak otonomi.
Dalam praktiknya, bottleneck terasa berbeda.
Bukan pertanyaannya "Bisakah agen melakukan ini?"
Pertanyaannya adalah "Siapa yang mengizinkannya untuk melakukan hal spesifik ini dalam kondisi yang persis seperti ini?"
Saat saya meninjau log, batasan izin-lah yang bertanggung jawab menghentikan sekitar 11% dari tindakan yang dicoba.
Awalnya itu terlihat tidak efisien.
Lalu saya sadar bahwa kemungkinan besar itulah satu-satunya tindakan yang memang layak dihentikan.
Bagian anehnya adalah ketika agen menjadi lebih mampu, manajemen izin mulai terlihat kurang seperti fitur administratif dan lebih seperti produk utamanya.
Saya masih mencoba memahami di mana batas itu seharusnya ditempatkan, karena bahkan setelah seminggu pengujian, rasanya masih agak belum terselesaikan...
@NewtonProtocol $NEWT #Newt .