Arlington – Die US-Forschungsagentur DARPA hat 2016 das Programm Explainable Artificial Intelligence (XAI) initiiert, um maschinelle Lernmodelle transparenter und verständlicher zu machen. Ziel ist die Entwicklung neuer oder modifizierter Lerntechniken, die explainable Models erzeugen und mit effektiven Erklärungsinterfaces kombinieren. Dadurch sollen Endnutzer die Entscheidungen und Handlungen von KI-Systemen besser verstehen, angemessen vertrauen und effizient managen können. Die Präsentation von Programmdirektor David Gunning am 11. August 2016 auf einem Proposers Day skizziert den Umfang, die Herausforderungen und die technischen Bereiche des Vorhabens.
Das Programm adressiert die Opazität aktueller KI-Anwendungen, die auf Machine Learning basieren. Während diese Systeme enorme Vorteile bieten, limitiert ihre Unfähigkeit, Entscheidungen zu erklären, ihre Akzeptanz und Wirksamkeit. XAI zielt darauf ab, KI zu Partnern zu machen, die Nutzer in Bereichen wie Sensemaking und Operations unterstützen.
Der Scope umfasst drei Kernkomponenten: Explainable Models durch neue oder angepasste Lernverfahren, eine Explanation Interface basierend auf HCI-Prinzipien wie UX-Design, Visualisierung und Sprachverarbeitung sowie die Psychology of Explanation durch Zusammenfassung psychologischer Theorien und Entwicklung eines computergestützten Modells. Der Fokus liegt auf interaktiven, nutzerzentrierten Erklärungen, einschließlich visueller Analysen, Dialoge und mentaler Modelle.
Challenge Problems teilen sich in Data Analysis und Autonomy. In Data Analysis geht es um die Klassifikation von Items, Events oder Patterns in heterogenen Multimedia-Daten, ergänzt durch strukturierte Informationen. Für Autonomy steht Reinforcement Learning für sequentielle Entscheidungspolitiken in simulierten autonomen Agenten wie UAVs im Vordergrund, mit Erklärungen für hochlevelige Entscheidungen. Entwickler schlagen in Phase 1 eigene Probleme vor, die in Phase 2 zu gemeinsamen Testfällen standardisiert werden.
Die Evaluation folgt einer Sequenz: Entwickler lernen explainable Models, kombinieren sie mit Interfaces und testen sie in Domänenaufgaben. Der Evaluator misst Lernperformance und Erklärungseffektivität, inklusive Baselines für bestehende ML-Techniken. Metriken umfassen Nutzerzufriedenheit, mentale Modelle, Task Performance, Trust Assessment und Korrekturfähigkeit.
Technische Areas umfassen TA1 Explainable Learners mit 8–12 Teams aus ML- und HCI-Experten (Budget 800.000–2 Millionen Dollar pro Jahr) und TA2 Psychological Model of Explanation mit einem Team für theoretische Arbeit.
Das Programm läuft über zwei Phasen: Phase 1 (Technologie-Demonstrationen) von 2017 bis 2018 mit Fortschrittsberichten und Tech Demos, Phase 2 (Vergleichende Evaluationen) von 2019 bis 2021 mit Refinements und finalen Toolkits. Deliverables umfassen Präsentationen, Webseiten, monatliche Reports, Software, Dokumentation und einen finalen Technical Report.
XAI sucht innovative Ideen, um KI vertrauenswürdig und nutzbar zu machen, und adressiert eine Kernherausforderung der modernen AI-Entwicklung.
