- KI-Anwendungen werden von Teams massiv getestet, bevor sie ans Werk gehen dürfen
- Der EU-AI-Act hat auch für Schweizer Firmen grosse Bedeutung
- Global agierende Unternehmen führen nun diese Regulierung durch die Europäische Union der Einfachheit halber weltweit ein
Anna Zeiter, die Anwendung von künstlicher Intelligenz (KI) kann Probleme bereiten. Kennen Sie Beispiele?
Es gab tatsächlich schon diverse Fälle, in denen KI diskriminierend war. So zum Beispiel ein Tool, das Fotos veränderte und daraus professionelle Portraitbilder machte. Eine asiatische Studentin hatte ein Foto von sich hochgeladen, um daraus ein professionelles Bewerbungsfoto zu machen. Die KI fabrizierte dann ein Bild, das sie mit weisser Hautfarbe, blauen Augen und europäischen Gesichtszügen zeigte. Ein klarer Fall von Diskriminierung.
Was sind andere Herausforderungen, die KI-Tools mit sich bringen können?
Produktsicherheit ist ein Riesenthema: Denken wir nur, was passiert, wenn selbstfahrende Autos bedenkliche ethische Regeln einprogrammiert bekommen oder sich selbst etwas beibringen. Was, wenn selbstfahrende Autos entscheiden, es sei besser, eine ganze Schulklasse zu überfahren als zwei Erwachsene? Wir haben es hier mit einem erheblichen Problem im Bereich Product Safety zu tun. Dazu noch ein Beispiel aus Australien: Ein KI-Tool einer Supermarktkette schlug Kunden kürzlich ein Kochrezept für eine Suppe vor. Als Zutaten wurden Insektenspray, Wäschebleichmittel und Kleber empfohlen. Alles zusammengemischt sollte gemäss der KI ein leckeres Essen ergeben.
Ein witziges Rezept …
Das klingt jetzt erstmal lustig, weil wir verstehen, dass das kein leckeres Essen, sondern ein Giftcocktail ist. Doch wenn die Folgen nicht so offensichtlich sind, wird es gefährlich. Etwa im Bereich Datenschutz oder bei der Informationssicherheit. Das führt rasch zu enormen Reputationsschäden. Deswegen haben viele Unternehmen bereits freiwillig damit begonnen, KI-Regelwerke einzuführen, obwohl es gesetzlich noch gar nicht erwartet wurde. Keine Firma will mit einem KI-Skandal in den Medien landen.
Wie sieht es für die Konsumentinnen und Konsumenten aus? Wird es für die Customer Journey einfacher oder wird es komplizierter?
Ich hoffe einfacher. Ebay versucht etwa, KI-Applikationen gezielt für Käufer und Verkäufer einzusetzen. Für Verkäufer gibt es ein Tool namens «Magical Listing», mit dem man einfacher Angebote einstellen kann. Die Idee: Man macht ein Foto von einem Schuh und die KI erkennt Marke, Modell, Grösse sowie Alter und Zustand und hilft bei der Produktbeschreibung. Das soll es Verkäuferinnen und Verkäufern einfacher machen, Angebote bei Ebay zu erstellen. Auf der Käuferseite investieren wir ebenfalls in KI. «Shop the Look» ist ein Beispiel. Ich könnte jetzt ein Foto von Ihrem Hemd an die KI senden. Die KI meldet mir dann: Bei Ebay gibt es sieben ähnliche Hemden. Ausserdem investieren wir auch in KI beim Kundenservice, um effizienter zu erkennen, was Kundinnen und Kunden wünschen. Es geht darum, besser und schneller zu helfen. Und natürlich investiert Ebay auch in sogenannte Productivity Tools, um interne Prozesse effizienter zu gestalten.
Anna Zeiter ist Chief Privacy Officer (CPO) bei Ebay und verantwortet global die Bereiche Privacy, Data & AI Responsibility. Ausserdem ist Anna Zeiter Lehrbeauftragte für European Data Protection Law an der Universität Bern. Sie hat in Osnabrück, Florenz, Stanford und Harvard studiert und an der Universität Hamburg zu einem medienrechtlichen Thema promoviert. Anna Zeiter hat zudem verschiedene Board-Positionen im Technologiebereich inne.
Was sind mögliche Gefahren von KI-Anwendungen für Verbraucherinnen und Verbraucher?
Neben den genannten Produktsicherheitsgefahren denke ich in erster Linie an datenschutzrechtliche Risiken. Viele sogenannte Large Language Models (LLM) werden mit personenbezogenen Daten trainiert, viele KI-Applikationen erheben und generieren solche Daten. Unternehmen müssen genau auf diese Schnittstelle zwischen KI und Datenschutz achten.
Wie lassen sich Risiken minimieren?
Durch das gezielte Trainieren von KI-Modellen und insbesondere das regelmässige Überwachen und Testen. Viele Unternehmen haben hierfür sogenannte Red Teams eingeführt, die genau solche Risiken testen. Bei Ebay haben wir ein solches Red Team, bestehend aus rund zehn Leuten. Dieses Red Team testet jede neue Applikation auf verschiedene Missbrauchsarten – um sicher zu sein, dass nach dem Launch nichts falschläuft.
Regulierungen können Risiken vermeiden: Welche Bedeutung hat der AI Act der EU für Schweizer Finanzinstitute?
Der EU-AI-Act hat eine grosse Bedeutung weit über Europa hinaus. Es ist das erste umfassende Gesetz über künstliche Intelligenz, das wir global sehen. Es dürfte wie die Datenschutzgrundverordnung (DSGVO) einen globalen Standard setzen. Man spricht hier bereits vom Brüssel-Effekt. Dieser EU-AI-Act ist mit rund 450 Seiten ein monströses Gesetz. Viele Unternehmen haben sich bereits an die Umsetzungsarbeit gemacht, obwohl der finale Gesetzestext erst später im Mai oder Juni erwartet wird. Man hat eben aus dem Implementierungsdrama der DSGVO vor ein paar Jahren gelernt.
Werden Länder ausserhalb der EU nachziehen?
Wie viele Länder weltweit nachziehen, ist noch ungewiss. Fraglich ist auch, ob das Gesetz mit seiner immensen Detailtiefe so wirklich in jedem Land umgesetzt werden muss. Aber grundsätzlich ist das schon einmal der erste Aufschlag und wir gehen davon aus, dass viele international tätige Unternehmen den AI Act weltweit umsetzen werden. Die Risikobewertung, die der AI Act bei hohen und geringen Risiken und nicht erlaubten KI-Applikationen, vornimmt, sehen wir so das erste Mal. Es ergibt meiner Meinung nach Sinn.
Was bedeutet das für die Schweiz?
Unternehmen, die EU-Bezug haben, also gerade Banken und Versicherungen, werden sich an den AI Act halten müssen. Der AI Act hat extraterritoriale Wirkung. Das heisst, wenn KI-Applikationen im europäischen Markt eingesetzt werden, kommt der AI Act zur Anwendung. Die ersten Regelungen des AI Act dürften in etwa einem halben Jahr in Kraft treten. Gerade bei Banken und Versicherungen gibt es ja schon viele KI-Anwendungen, etwa im Bereich der Betrugserkennung und -Bekämpfung sowie im Bereich Anti-Money Laundering (AML). Das ist also keinesfalls neu.
Können Sie das konkretisieren?
KI-Applikationen haben wir schon seit 10 oder 15 Jahren. Nur, dass es damals noch niemand so genannt hat und dass man damals noch keine Massenanwendung gefunden hatte. Die Frage ist nun: Welche dieser Applikationen fallen heute in diese drei Risikobereiche des AI Act und welche nicht.
Sie arbeiten bei Ebay als Chief Privacy Officer. Was wendet Ebay an?
Bei Ebay gibt es keine KI-Anwendung, die in den Bereich verbotener Applikationen fallen. Ein Beispiel einer solchen verbotenen Applikation wäre das sogenannte Social Scoring, wie es in China praktiziert wird, wo jede Person einen Sozialkredit hat. Wer etwa dreimal über die rote Ampel läuft, dem werden Sozialpunkte abgezogen. Und irgendwann bekommt diese Person keine Kreditkarten und auch kein Visum mehr. Social Scoring ist in der EU verboten. Das finde ich richtig.
Wo entfaltet der EU-AI-Act seine Wirkung bei bereits realen KI-Anwendungen in Europa?
Es gibt einzelne Fälle bei Banken und Versicherungen mit hohen Risiken. Darunter fällt etwa die biometrische Datenerkennung zu Identifikationszwecken. Wir bieten bei Ebay im Payments-Bereich zum Beispiel die sogenannte Selfie-Verification an. Wenn man sich für eine bestimmte Payment-Methode anmeldet, hat man zur Identifizierung die Möglichkeit, ein Selfie von sich zu machen. Dieser Anwendungsfall fällt wahrscheinlich in die Gruppe «hohes Risiko».
Werden Schweizer Unternehmen oder die Schweiz als ganzes den EU-AI-Act übernehmen müssen?
Dass die Schweiz dieses Gesetz von der EU übernehmen wird, sehe ich nicht. Aber dass Firmen grundsätzlich ihre Kundschaft über KI informieren und sich überlegen, wie viel Risiko ihre KI-Applikationen bergen, bietet sich an – und ist bereits jetzt empfehlenswert.
Machen verschiedene Regelungen überhaupt Sinn?
Kaum. KI-Applikationen werden meistens global ausgerollt. Ebay führt den AI Act deshalb auch global ein. Wir machen in diesem Zusammenhang keinen Unterschied zwischen der EU und den USA – und auch keinen zwischen der Schweiz und der EU. Und das ist auch, was ich von vielen grossen Tech-Firmen und Payment-Anbietern sowie Kreditkartenfirmen weltweit höre. Sie führen den AI Act global ein.
Die Herausforderungen für Unternehmen bei der Einführung von KI sind riesig. Steigen diese mit dem AI Act noch?
Die Anforderungen an Unternehmen aus dem AI Act sind grösser als die aus der DSGVO, die wir vor sechs Jahren gesehen haben. Das Gesetz ist länger, deutlich komplexer und viel technischer.
Was ist die grösste Herausforderung für Firmen?
Noch ist unklar, welche Behörden in der EU dieses Gesetz überhaupt durchsetzen sollen. Anderseits müssen sich Unternehmen erst einen Überblick über die eigenen KI-Systeme und -Anwendungen verschaffen. Wir haben bei Ebay global diverse Teams, die ausschliesslich an KI-Applikationen arbeiten. Das heisst, wir reden von zahlreichen KI-Applikationen, die wir sichten und bewerten müssen. Zum Glück haben wir mit dieser Aufgabe schon früh begonnen. Als Erstes müssen Unternehmen dafür sogenannte KI-Inventare erstellen, um danach zu bewerten, in welche Risikokategorie ein KI-System fällt. Jede Versicherung und jede Bank sollte jetzt ihre KI-Applikationen inventarisieren und prüfen.
Ist bei dieser Triage denn immer klar, was KI ist und was nicht?
Gute Frage. Die KI-Definition unter dem AI Act ist relativ breit gefasst. Das automatisierte Excel-Sheet fällt nicht darunter. Wenn jedoch ein autonomes Element in dem Algorithmus enthalten ist, fällt man vielleicht schon unter die Definition.
Kann uns KI entgleiten?
Um genau das zu vermeiden, benötigen wir das Prinzip «Human in the Loop» und «Human Centricity».
Bitte erklären Sie uns das.
Human Centricity bedeutet, dass die KI da ist, um dem Menschen zu dienen. Und wir sind nicht da, um der KI zu dienen. Human in the Loop stellt sicher, dass noch Menschen beteiligt sind. Das finde ich elementar. Ausserdem sollte es bei jedem riskanten KI-System früher oder später einen sogenannten Kill Switch geben. So kann man, wenn uns alles zu entgleiten droht, noch den roten Knopf drücken und dann ist fertig.