Các chính sách cho tác nhân AI của Newton áp đặt giới hạn chi tiêu, danh sách người thụ hưởng đã được phê duyệt và cơ chế phòng chống prompt-injection trước khi một giao dịch được hoàn tất—và điều đó được quảng bá như bảo mật cho tác nhân. Tôi nghĩ nó là bảo mật thực sự, nhưng tôi cũng nghĩ có một ranh giới mờ giữa “ngăn chặn một tác nhân đã bị xâm phạm” và “kết thúc cuộc chiến chống lại một tác nhân đã bị xâm phạm”, và đó không phải là cùng một khẳng định, dù đôi khi bản giới thiệu lại trộn hai ý này với nhau.
Dưới đây là phiên bản lập luận mạnh. Một tác nhân bị điều khiển để hành động vượt ra ngoài công việc dự định của nó vẫn sẽ vấp một rào cản ở lớp giao dịch nếu hành động đó rơi ngoài danh sách người thụ hưởng đã được phê duyệt hoặc vượt quá phạm vi nhiệm vụ được cho phép, ngay cả khi số tiền trông có vẻ hoàn toàn hợp lý. Điều này thực sự tinh vi hơn một giới hạn chi tiêu đơn giản; nó kiểm tra liệu tác nhân có nên làm việc đó ngay từ đầu hay không, chứ không chỉ là liệu nó có đủ khả năng chi trả hay không.
Dưới đây là phiên bản lập luận yếu, và tôi nghĩ nó quan trọng hơn nhiều so với những gì người ta đánh giá. Mọi thứ Newton thực thi đều diễn ra ở lớp giao dịch—đó là mốc kiểm tra cuối cùng trước khi tiền được chuyển đi. Một cuộc tấn công prompt injection làm sai lệch quá trình suy luận của tác nhân diễn ra ở phía trước đó, ngay trong bản thân quá trình ra quyết định của mô hình, trước cả khi bất kỳ giao dịch nào được soạn thảo. Newton có thể chặn giao dịch xấu. Nhưng Newton không thể đảo ngược thực tế rằng tác nhân đã bị thao túng ngay từ đầu, và một tác nhân cứ tiếp tục bị lừa thì sẽ tiếp tục tạo ra các nỗ lực giao dịch độc hại, mỗi lần lại cần phải bị phát hiện và chặn riêng.
Vậy Newton có giải quyết bảo mật tác nhân hay chỉ là kiềm chế thiệt hại từ một vấn đề mà nó thực sự không thể khắc phục? Tôi nghĩ câu trả lời trung thực là kiềm chế, và kiềm chế là thực sự có giá trị—đa số các cuộc tấn công hiện nay thậm chí chưa bao giờ đạt đến mức độ cần một biện pháp phòng vệ cụ thể như vậy. Nhưng cuộc chiến khó hơn, đó là ngăn chặn tác nhân bị thao túng ngay từ đầu, vẫn diễn ra hoàn toàn ở phía trước mọi thứ mà Newton chạm tới.
@NewtonProtocol $NEWT #Newt $HMSTR
Dưới đây là phiên bản lập luận mạnh. Một tác nhân bị điều khiển để hành động vượt ra ngoài công việc dự định của nó vẫn sẽ vấp một rào cản ở lớp giao dịch nếu hành động đó rơi ngoài danh sách người thụ hưởng đã được phê duyệt hoặc vượt quá phạm vi nhiệm vụ được cho phép, ngay cả khi số tiền trông có vẻ hoàn toàn hợp lý. Điều này thực sự tinh vi hơn một giới hạn chi tiêu đơn giản; nó kiểm tra liệu tác nhân có nên làm việc đó ngay từ đầu hay không, chứ không chỉ là liệu nó có đủ khả năng chi trả hay không.
Dưới đây là phiên bản lập luận yếu, và tôi nghĩ nó quan trọng hơn nhiều so với những gì người ta đánh giá. Mọi thứ Newton thực thi đều diễn ra ở lớp giao dịch—đó là mốc kiểm tra cuối cùng trước khi tiền được chuyển đi. Một cuộc tấn công prompt injection làm sai lệch quá trình suy luận của tác nhân diễn ra ở phía trước đó, ngay trong bản thân quá trình ra quyết định của mô hình, trước cả khi bất kỳ giao dịch nào được soạn thảo. Newton có thể chặn giao dịch xấu. Nhưng Newton không thể đảo ngược thực tế rằng tác nhân đã bị thao túng ngay từ đầu, và một tác nhân cứ tiếp tục bị lừa thì sẽ tiếp tục tạo ra các nỗ lực giao dịch độc hại, mỗi lần lại cần phải bị phát hiện và chặn riêng.
Vậy Newton có giải quyết bảo mật tác nhân hay chỉ là kiềm chế thiệt hại từ một vấn đề mà nó thực sự không thể khắc phục? Tôi nghĩ câu trả lời trung thực là kiềm chế, và kiềm chế là thực sự có giá trị—đa số các cuộc tấn công hiện nay thậm chí chưa bao giờ đạt đến mức độ cần một biện pháp phòng vệ cụ thể như vậy. Nhưng cuộc chiến khó hơn, đó là ngăn chặn tác nhân bị thao túng ngay từ đầu, vẫn diễn ra hoàn toàn ở phía trước mọi thứ mà Newton chạm tới.
@NewtonProtocol $NEWT #Newt $HMSTR