Forscher der Universität Oregon entwickeln eine Methode, die Entscheidungen von Deep-Learning-KIs transparenter machen könnte. Eine Aufmerksamkeitsanalyse gibt Hinweise auf deren Strategie.

Digility 2018

Mit Deep Learning trainierte KIs erzielen im Vergleich zu herkömmlichen Statistikverfahren teils erstaunliche Ergebnisse, zum Beispiel bei der Bildanalyse oder maschinellen Übersetzungen.

Leider verrät so eine KI nicht, wie ihre Entscheidung zustande kommt. Bei einer Übersetzung ist das womöglich nicht so relevant, sofern das Ergebnis passt.

Doch wenn es zum Beispiel um automatisierte Kreditvergabe oder autonomes Fahren geht, sollten die Algorithmen ihren Entscheidungsprozess transparent machen. Sonst könnten Menschen den Eindruck gewinnen, dass sie einer maschinellen Willkür ausgeliefert sind.

Die Nachvollziehbarkeit ist wichtig für die ethische oder juristische Bewertung einer KI-Entscheidung. Außerdem könnte die KI-Weiterentwicklung schneller voranschreiten, wenn Forscher ihre Aussetzer besser verstehen.

Aufmerksamkeitsanalyse gibt Hinweis auf KI-Strategie

Forscher der Universität Oregon untersuchten nun, wie eine Künstliche Intelligenz während eines Entscheidungsprozesses ihre Aufmerksamkeit verteilt. Sie trainierten eine KI für verschiedene Spiele auf der Klassikkonsole Atari 2600.

Während die KI die Spiele spielte, prüften die Forscher, auf welchen Pixelbereich sie ihre Aufmerksamkeit richtet. So konnten sie erkennen, wo die KI während des Spiels „hinschaut“ – und daraus ihre mögliche Strategie ableiten. Die Strategie wiederum ist die Grundlage für Entscheidungen.

Die KI (rechte Seite) lenkt ihre Aufmerksamkeit je nach Situation auf den eigenen Strich oder den Ball. Der weiße Pfeil zeigt die Richtung des Balls an. Bild: Greydanus et al.

Die KI (rechter Spieler) lenkt ihre Aufmerksamkeit je nach Situation auf den eigenen Strich oder den Ball. Der weiße Pfeil zeigt die Richtung des Balles an. Bild: Greydanus et al.

Im Klassikspiel „Space Invaders“ war beispielsweise unklar, ob die KI auf einzelne Gegner oder ganze Gegnergruppen feuert. Die Aufmerksamkeitsvisualisierung zeigt: Die KI zielt tatsächlich auf einzelne Gegner und hält dabei immer die Zone über dem eigenen Schiff im Auge – vermutlich, um sich gegen gegnerische Attacken schützen.

Die KI lernt Space Invaders. Anfangs spielt sie defensiv und schützt ihren Spieler. Später beginnt sie auf einzelne Schiffe zu zielen - im vierten Bild an der roten Wolke zu erkennen. Im letzten Bild hat sie ihre Aufmerksamkeit verteilt und zielt auch auf das Schiff mit dem höchsten Wert ganz oben am Rand. Bild: Greydanus et al.

Die KI lernt Space Invaders: Anfangs spielt sie defensiv und schützt ihren Spieler. Später beginnt sie, auf einzelne Schiffe zu zielen. Im vierten Bild ist das an der roten Wolke zu erkennen. Im letzten Bild hat sie ihre Aufmerksamkeit verteilt und zielt auch auf das Schiff mit dem höchsten Wert ganz oben am Rand. Bild: Greydanus et al.

Die Visualisierungsmethode eignet sich für alte Atari-Spiele. Doch was ist mit anderen, komplexeren Szenarien?

Die Forscher schlagen vor, dass ihr Aufmerksamkeitsansatz mit anderen verfügbaren und zukünftigen Methoden kombiniert wird, um KI-Transparenz im größeren Maßstab zu realisieren.


Tagesaktuelle und redaktionell ausgewählte Tech- und VR-Deals: Zur Übersicht
VRODO-Podcast #109: Magic Leap im Test und VR-Hype-Zyklus | Alle Folgen anhören


Unsere Artikel enthalten vereinzelt sogenannte Affiliate-Links. Bei einem Kauf über einen dieser Links erhalten wir eine kleine Provision. Der Kaufpreis bleibt gleich.