Die meisten Menschen gehen davon aus, dass KI-Agenten sicher sein werden, weil sie programmiert sind.
Programmierung und Autorisierung sind nicht dasselbe.
Ein KI-Agent kann perfekt programmiert sein, um eine Strategie auszuführen, und dennoch Handlungen ausführen, die nie beabsichtigt waren. Er wird seine Anweisungen exakt befolgen. Das Problem ist: Anweisungen können nicht jede Bedingung antizipieren, die ein echter Markt erzeugen wird.
Darum denke ich immer wieder darüber nach, was @NewtonProtocol aufbaut.
Anstatt anzunehmen, dass KI-Agenten sich korrekt verhalten, weil sie richtig gebaut wurden, fügt Newton eine Policy-Schicht hinzu, die Bedingungen bewertet, bevor eine Transaktion eines Agents ausgeführt werden darf. Ausgabenlimits, Risiko-Schwellen, Regeln nach Rechtsraum – diese können im Voraus definiert und automatisch durchgesetzt werden, ohne dass im Moment der Ausführung menschliches Eingreifen erforderlich ist.
Das verändert etwas Wichtiges. Es verlagert Sicherheit vom Agenten selbst auf die Infrastruktur, in der der Agent arbeitet.
Ich habe automatisierte Systeme in Krypto beobachtet, die genau wie vorgesehen funktionierten und dennoch erhebliche Verluste verursachten, weil das Design die Bedingungen nicht berücksichtigt hatte, die unwahrscheinlich schienen, bis sie es nicht mehr waren.
Was ich nach wie vor nicht weiß, ist, wie schnell KI-Agent-Entwickler eine Autorisierungs-Infrastruktur übernehmen werden, statt ihre eigenen Schutzmaßnahmen von Grund auf zu bauen.
Ein gut programmierter Agent, der innerhalb einer klar definierten Policy-Schicht arbeitet, ist grundsätzlich ein anderes System als eines, das sich allein auf sein eigenes Urteilsvermögen verlässt.
@NewtonProtocol #Newt $NEWT
$DYDX
$XNY
"Sollen KI-Agenten so etwas wie Ausgabenlimits haben, die durch Smart Contracts durchgesetzt werden?"