Untuk waktu yang lama, saya menganggap bahwa sistem perizinan adalah inti dari otomasi yang aman. Jika sebuah agen AI diberi persetujuan untuk mengeksekusi perdagangan, menyeimbangkan ulang sebuah brankas, atau memindahkan aset dalam batas yang telah ditentukan, maka bagian tersulit tampak sudah selesai. Selebihnya terlihat seperti detail implementasi. Namun, semakin lama saya menyaksikan protokol berkembang, asumsi itu justru mulai terasa belum lengkap. Perizinan menjelaskan siapa yang boleh bertindak. Perizinan justru mengatakan sangat sedikit tentang apakah tindakan tersebut masih masuk akal ketika dunia telah berubah di antara waktu persetujuan dan waktu eksekusi.
Perbedaan itu menjadi jelas begitu otomatisasi mulai beroperasi tanpa pengawasan manusia yang konstan. Seorang pengguna dapat memberi otorisasi kepada agen untuk mengelola portofolio hari ini karena kondisi pasar terlihat stabil, likuiditas dalam, dan risikonya masih dapat diterima. Beberapa jam kemudian, likuiditas bisa menghilang, volatilitas dapat melonjak, atau sebuah oracle menjadi tidak dapat diandalkan. Otorisasi itu sendiri tetap berlaku. Tanda tangan belum kedaluwarsa. Namun lingkungan yang semula menjadi dasar keputusan tersebut tidak lagi ada. Jadi, keamanan tidak bisa hanya melindungi transaksi. Keamanan harus memahami keadaan di sekelilingnya. Kepercayaan mulai terlihat kurang seperti persetujuan yang tersimpan dan lebih seperti hubungan yang terus-menerus dievaluasi antara maksud dan realitas.
Karena itulah saya menganggap arsitektur kebijakan milik Newton Protocol lebih menarik daripada sekadar daftar periksa fitur keamanan. Kebijakan bukan hanya hambatan yang diletakkan di depan transaksi. Kebijakan menjadi interpretasi yang hidup tentang apa yang dimaksud dengan perilaku yang dapat diterima dari waktu ke waktu. Alih-alih bertanya, "Apakah agen ini pernah diotorisasi?" protokol terus bertanya, "Apakah tindakan ini masih memenuhi kondisi yang membuat otorisasi masuk akal?" Perubahan halus ini mengubah peran otomatisasi. Kecerdasan tidak lagi dipisahkan dari tata kelola; setiap keputusan otonom tetap terhubung dengan aturan yang mendefinisikan risiko yang dapat diterima.
Yang paling memikat saya adalah bahwa kebijakan berperilaku hampir seperti memori institusional. Organisasi manusia mengandalkan pengalaman untuk mengenali pola yang berulang kali menimbulkan masalah. Mereka membuat prosedur bukan karena setiap karyawan berniat jahat, melainkan karena sejarah menunjukkan di mana kesalahan cenderung muncul. Mesin kebijakan melakukan fungsi serupa untuk sistem otonom. Setiap evaluasi mencerminkan pelajaran yang tertanam dalam aturan, sehingga perangkat lunak dapat mengingat batasan bahkan ketika orang yang merancangnya tidak lagi mengawasi. Dalam pengertian itu, tata kelola menjadi sesuatu yang jauh lebih tahan lama daripada pengawasan individu.
Ada juga konsekuensi psikologis yang menarik. Mengetahui bahwa setiap tindakan istimewa akan dievaluasi terhadap kebijakan yang transparan mengubah perilaku bahkan sebelum penegakan terjadi. Para pengembang mulai merancang agen berdasarkan kepatuhan yang dapat diprediksi, bukan asumsi yang terlalu optimistis. Para integrator berpikir lebih cermat tentang kasus-kasus pengecualian karena pengecualian pada akhirnya harus melewati logika yang eksplisit, bukan penilaian informal. Pengguna menjadi lebih nyaman mendelegasikan otoritas karena mereka memahami batasannya tetap aktif setelah mereka pergi. Sama seperti tanda terima yang dapat diverifikasi memengaruhi perilaku sebelum siapa pun melakukan audit, evaluasi kebijakan yang berkelanjutan memengaruhi keputusan sebelum terjadi pelanggaran.
Saya juga terus memikirkan apa yang sistem-sistem ini lestarikan dan apa yang tak terelakkan mereka ringkas. Setiap evaluasi kebijakan pada akhirnya menghasilkan satu hasil sederhana: setujui atau tolak. Namun di balik hasil biner itu ada kisah yang jauh lebih kaya yang melibatkan kondisi pasar, data oracle, aturan tata kelola, jendela kedaluwarsa, model risiko, dan informasi kontekstual. Protokol mencatat keputusan dengan rapi, tetapi penalaran di balik keputusan itu merepresentasikan lanskap yang terus berkembang dan tidak bisa sepenuhnya ditangkap dalam satu hasil. Jadi, kepercayaan tidak muncul dari persetujuan itu sendiri. Kepercayaan muncul dari keyakinan bahwa penalaran yang sama akan menghasilkan hasil yang sama pada kondisi yang identik.
Mungkin itulah pelajaran yang lebih dalam. Otomatisasi tidak akan pernah menghapus kepercayaan; ia hanya mengubah tempat kepercayaan itu berada. Daripada mempercayai bahwa agen selalu membuat keputusan yang sempurna, kita mulai mempercayai kerangka kerja yang terus-menerus mengukur keputusan-keputusan tersebut terhadap prinsip yang transparan. Kecerdasan mungkin tumbuh lebih mampu setiap tahun, tetapi kemampuan tanpa batasan akan tetap memperbesar kesalahan dengan cara yang sama efektifnya seperti saat ia memperbesar keberhasilan. Masa depan keuangan otonom mungkin lebih bergantung pada pembangunan sistem yang selalu mengingat kapan harus memilih untuk tidak melakukan apa pun, daripada membangun agen yang bisa melakukan segalanya.
