Einige Banken haben interessante Ansätze übernommen, um das Problem schwer interpretierbarer Machine-Learning-Modelle anzugehen. Sie lassen zwei Modelle parallel laufen: ein komplexes, hochgenaues Modell für die tatsächliche Betrugserkennung und ein einfacheres, weniger genaues, aber vollständig erklärbares Modell, das begleitend nur dazu dient, Begründungen zu generieren. Wenn das komplexe Modell eine Transaktion ablehnt, prüft das System, ob das einfachere Modell zustimmt. Wenn ja, wird diese Erklärung dem Kunden gegeben.
Das Geniale daran ist, dass sie keine Genauigkeit für Erklärbarkeit opfern. Sie trennen die Rollen: eine für die Entscheidung, eine für die Erklärung.
Wenn Newton Protocol diesen Ansatz auf seine Policy-Engine anwenden würde, könnte es die Betrugserkennung maximieren und gleichzeitig klare, verständliche Gründe für die Nutzer liefern.
Natürlich verdient diese Idee Kritik. Die Methode funktioniert nur dann gut, wenn die beiden Modelle in den meisten Fällen übereinstimmen. Das schwierigere Problem entsteht, wenn sie sich widersprechen: Das komplexe Modell lehnt die Transaktion ab, aber das einfachere Modell sieht keinen Anlass. In solchen Fällen gibt das System entweder eine Erklärung, die nicht mit der realen Entscheidung übereinstimmt, oder es räumt ein, dass es sie nicht erklären kann. Ironischerweise sind die Fälle, in denen sie sich nicht einig sind, oft die komplexesten.
Die echte Herausforderung für Newton besteht nicht nur darin, ein paralleles erklärbares Modell zu bauen. Es geht darum, diese Widerspruchsfälle transparent zu behandeln – vielleicht indem offen der Prozentsatz der Entscheidungen offengelegt wird, die nicht vollständig erklärt werden können.
Langfristig sollte $NEWT danach beurteilt werden, ob das Projekt diese Quote ehrlich veröffentlicht, nicht nur danach, ob es eine theoretisch elegante parallele Erklärungsmechanik entwickelt.
Ein System, das transparent über seine Grenzen ist, schafft viel mehr Vertrauen als eines, das perfekte Erklärungen verspricht, die es nicht immer liefern kann.
@NewtonProtocol #Newt
Das Geniale daran ist, dass sie keine Genauigkeit für Erklärbarkeit opfern. Sie trennen die Rollen: eine für die Entscheidung, eine für die Erklärung.
Wenn Newton Protocol diesen Ansatz auf seine Policy-Engine anwenden würde, könnte es die Betrugserkennung maximieren und gleichzeitig klare, verständliche Gründe für die Nutzer liefern.
Natürlich verdient diese Idee Kritik. Die Methode funktioniert nur dann gut, wenn die beiden Modelle in den meisten Fällen übereinstimmen. Das schwierigere Problem entsteht, wenn sie sich widersprechen: Das komplexe Modell lehnt die Transaktion ab, aber das einfachere Modell sieht keinen Anlass. In solchen Fällen gibt das System entweder eine Erklärung, die nicht mit der realen Entscheidung übereinstimmt, oder es räumt ein, dass es sie nicht erklären kann. Ironischerweise sind die Fälle, in denen sie sich nicht einig sind, oft die komplexesten.
Die echte Herausforderung für Newton besteht nicht nur darin, ein paralleles erklärbares Modell zu bauen. Es geht darum, diese Widerspruchsfälle transparent zu behandeln – vielleicht indem offen der Prozentsatz der Entscheidungen offengelegt wird, die nicht vollständig erklärt werden können.
Langfristig sollte $NEWT danach beurteilt werden, ob das Projekt diese Quote ehrlich veröffentlicht, nicht nur danach, ob es eine theoretisch elegante parallele Erklärungsmechanik entwickelt.
Ein System, das transparent über seine Grenzen ist, schafft viel mehr Vertrauen als eines, das perfekte Erklärungen verspricht, die es nicht immer liefern kann.
@NewtonProtocol #Newt