Das fehlende Puzzleteil in der KI-Governance: Bias In, Bias Out bekämpfen

Wer meinen kürzlich erschienenen Podcast „ Navigating Innovation and Trust in the Age of AI “ mit Kim Basile, dem CIO von Kyndryl, gehört hat, weiß, dass ich gerne mit Akronymen arbeite. Angesichts der rasanten Entwicklung im Bereich der KI erleben Unternehmen und Führungskräfte FOMO – die Angst, etwas zu verpassen. Da Kyndryl der weltweit größte Anbieter von IT-Infrastrukturdienstleistungen ist, erkannte Kim, dass FOMO real ist – sowohl für Kyndryl als auch für seine Kunden. Die allgemeine Wahrnehmung (oder Realität?) ist: Wer im KI-Bereich nicht mitspielt, verliert den Anschluss.

Ich habe mit Kim auch über ein zweites Akronym im Zusammenhang mit KI gesprochen: FOMU – die Angst vor dem Scheitern. Ich glaube, dass dies ein noch wichtigeres Element für den erfolgreichen Start von KI-Initiativen ist. Kim sprach ausführlich über die Governance, die für die ordnungsgemäße Verwaltung von KI-Projekten und den Aufbau funktionsübergreifenden Vertrauens in sie erforderlich ist. Nicht nur eine Person ist für die Governance verantwortlich, sondern ein führendes Aufsichtsteam stellt sicher, dass die richtigen Leitplanken vorhanden sind. KI-Projekte sind wie jedes andere verwaltete Projekt in Unternehmen.

Wenn Sie auf LinkedIn aktiv sind und Kontakte in der Tech-Branche haben, sind Ihnen sicherlich Beiträge über die MIT-Studie aufgefallen, in der es heißt, dass „95 % der Unternehmen trotz Investitionen von 30 bis 40 Milliarden US-Dollar in GenAI keinen Nutzen daraus zogen“. Ein Beispiel dafür ist dieser Artikel ( KI-Investitionen führten laut MIT-Studie bei 95 % der Unternehmen zu keinem Nutzen ). Angesichts des ganzen Hypes und der damit verbundenen Investitionen ist das eine beunruhigende Statistik. Aber woran liegt das?

Ich bin überzeugt, dass FOMO und das Eintauchen in KI-Initiativen ohne umfassende Planung und Governance Teil des Problems sind. Ich denke auch, dass die mangelnde Berücksichtigung von FOMU in diesen Projekten zum Ausbleiben des Erfolgs geführt hat. Ich glaube jedoch, dass ein weiteres Akronym dazu beiträgt, dass KI nicht so erfolgreich ist wie erwartet: BIBO – Bias In Bias Out. Dies lässt sich auf die für das Modelltraining ausgewählten Datenquellen und die zugehörigen Eingabeaufforderungen zur Gewinnung von Modellergebnissen anwenden. Verzerrungen in den Systemen verursachen Probleme, die zu Ausfällen führen.

Was kann getan werden, um BIBO zu minimieren und vorurteilsfreie KI-Systeme anzustreben?

Zunächst gilt es, die vielfältigen Verzerrungen zu verstehen, die in KI-Systeme einfließen können. Dieser Artikel ( KI-Verzerrung: Untersuchung diskriminierender algorithmischer Entscheidungsmodelle und die Anwendung möglicher maschinenzentrierter Lösungen aus der pharmazeutischen Industrie – PMC ) leistet hervorragende Arbeit bei der Identifizierung der wichtigsten Verzerrungsarten:

• Historische Voreingenommenheit
• Repräsentationsverzerrung
• Messabweichung
• Bewertungsverzerrung
• Simpsons Paradoxon (Subgruppen-Bias)
• Sampling-Bias
• Inhaltsproduktionsverzerrung
• Algorithmischer Bias

Es ist notwendig, Datensätze zu erstellen, die nicht zu einem vorgegebenen Ergebnissatz verzerrt sind. Der Aufbau der richtigen Datengrundlage beginnt mit einer gründlichen Prüfung der Trainingsdatensätze, um Repräsentationslücken, historische Ungleichgewichte und verzerrte Stichproben zu identifizieren, bevor mit der Modellentwicklung begonnen wird. Das Ziel ist einfach: Verzerrungen von Anfang an zu vermeiden. Implementieren Sie vielfältige Datenbeschaffungsstrategien, die aktiv unterrepräsentierte Perspektiven und Anwendungsfälle berücksichtigen, anstatt sich auf leicht zugängliche oder praktische Datensätze zu verlassen.

Aus dem oben genannten Artikel: „Algorithmen basieren auf Daten, und ihre Ergebnisse sind in der Regel so gut wie die bereitgestellten und gekennzeichneten Daten und die Art und Weise, wie die mathematischen Formulierungen entwickelt werden. Selbst in einem unbeaufsichtigten ML-Modell, das mit Rohdaten arbeitet, könnte die Maschine diskriminierende gesellschaftliche Muster finden und diese replizieren.“

Ein im Artikel erwähntes Beispiel für „Repräsentationsverzerrung“ stammt aus der Anfangsphase der breiteren KI-Nutzung. Amazon entwickelte ein KI-Modell, um den Hintergrund von Bewerbern automatisch zu überprüfen, zu analysieren und zu bewerten. Nach etwa einem Jahr Nutzung stellte das Unternehmen jedoch fest, dass Männer deutlich besser bewertet wurden als Frauen ( Insight – Amazon verwirft geheimes KI-Recruiting-Tool, das Voreingenommenheit gegenüber Frauen aufwies | Reuters ). Das Modell war mit den Einstellungsdaten der letzten zehn Jahre trainiert worden – die stark männerdominiert waren. Im Grunde lernte das Modell selbst, dass männliche Kandidaten „besser“ seien. Dieses Modell konnte mit den Anforderungen an Technologieberufe und der zunehmend weiblichen Belegschaft nicht mithalten.

Für Unternehmen besteht ein reales rechtliches und finanzielles Risiko, wenn sich auch in KI-gestützten Aktionen und Ergebnissen Verzerrungen zeigen. Die HR-Plattform Workday wird verklagt, weil ihr Bewerbermanagementsystem (ATS) ältere Bewerber benachteiligt ( https://styledispatch.com/the-hidden-ageism-in-ai-hiring-tools/ ). KI-Modelle analysieren Lebensläufe mit Lücken, verwenden veraltete Terminologie und Abschlussdaten (aus denen sich das Alter ableiten lässt), was erfahrenere (und damit ältere) Kandidaten benachteiligen kann.

Wie Kim in unserem Podcast erwähnte, kann die Steuerung von KI-Initiativen durch funktionsübergreifende Experten dazu beitragen, unterschiedliche Perspektiven zu fördern und die Gefahr von Verzerrungen zu verringern. Fördern Sie Übungen, bei denen Teammitglieder Annahmen gezielt hinterfragen und nach blinden Flecken bei Modelldesign, Datenerfassung und Implementierung suchen. Während einige Stakeholder möglicherweise zögern, teilzunehmen, weil KI zu technisch erscheint, ist der Input von nicht-technischen Teammitgliedern oft unerlässlich, um verzerrte Datensätze und problematische Eingaben zu erkennen.

Strenge Tests, Validierung und kontinuierliche Governance sind entscheidend für die Etablierung und Aufrechterhaltung vorurteilsfreier KI-Systeme. Entwickeln Sie Protokolle zur Vorurteilserkennung, die die Modellleistung vor der Bereitstellung in verschiedenen demografischen Gruppen, Anwendungsfällen und unter Randbedingungen testen. Implementieren Sie kontinuierliche Überwachungssysteme, die Leistungsunterschiede in der Produktion erfassen und regelmäßige Überprüfungen durch Governance-Teams ermöglichen.

Es geht nur um die schnelle, schnelle, schnelle … Optimierung

Wenn Endbenutzer speziell trainierte LLMs über natürliche Sprachschnittstellen wie ChatGPT verwenden möchten, kann die Formulierung Ihrer Eingabeaufforderungen zu erheblich unterschiedlichen Ergebnissen führen. Kürzlich hatte ich eine interne Debatte mit einem Kollegen über die Benennung eines bestimmten Produkts. Ich hatte externes Feedback erhalten, dass der von uns gewählte Name verbesserungswürdig sei. Mein Kollege ging zu ChatGPT und erhielt Ergebnisse, die hervorhoben, warum der verwendete Name gut war. Ich ging zu Claude und versuchte, eine möglichst neutrale Eingabeaufforderung zu formulieren. Ich bereitete den Boden für die Frage, nannte einige Produktdetails, unsere beiden Namensvorschläge und bat das Unternehmen, den besten für den Markt auszuwählen. Claude empfahl uns, den anderen Namen zu verwenden, den wir in Erwägung zogen.

Keines der Ergebnisse war „richtig“ oder „falsch“. Es waren einfach völlig unterschiedliche Ergebnisse, die auf den Eingabeaufforderungen basierten. Habe ich wirklich eine möglichst neutrale Eingabeaufforderung erstellt? Nicht ganz. Ich habe vergessen, einige Produktattribute zu berücksichtigen, die die aktuelle Produktbenennung unterstützen. Ich ging zurück zu Claude, fügte die ursprüngliche Eingabeaufforderung hinzu, ergänzte diese sehr relevanten Produktdetails und kam zu dem Ergebnis, dass wir beide Namen wählen konnten – und einige Vor- und Nachteile für jeden.

Lassen Sie sich nicht vom „Zeugen“ beeinflussen. Wir müssen Nutzer darin schulen, wie unbewusste Voreingenommenheit bei der Gestaltung von Eingabeaufforderungen die Ergebnisse verfälschen kann, und ihnen Richtlinien für eine neutrale, inklusive Sprache geben. Wie mein Beispiel zur Produktbenennung zeigt, wird die KI-Engine genau das tun, wenn Sie sie in eine bestimmte Richtung lenken, z. B. „Warum ist der aktuelle Name gut?“. KI-Teams müssen Eingabeaufforderungsvorlagen und Leitplanken erstellen, die Nutzern helfen, Suggestivfragen oder Annahmen zu vermeiden, die Stereotypen verewigen oder Ergebnisse unbeabsichtigt verfälschen könnten.

Vorwärts gehen.

Der Weg zum KI-Erfolg besteht nicht nur darin, FOMO zu vermeiden oder FOMU zu managen – es geht darum, sich dem versteckten dritten Faktor zu stellen, der mit Sicherheit für 95 % der gescheiterten KI-Investitionen verantwortlich ist: BIBO (Bias In Bias Out). Von Amazons männerdominiertem Rekrutierungsalgorithmus bis hin zu den subtilen Methoden, mit denen unsere Eingabeaufforderungen Ergebnisse verfälschen können – Voreingenommenheit kann KI-Systeme auf jeder Ebene infiltrieren und vielversprechende Initiativen in kostspielige Misserfolge verwandeln. Die Lösung erfordert die gleiche rigorose Governance, die Kim Basile befürwortet, jedoch mit einem klaren Fokus auf vielfältige Datenbeschaffung, funktionsübergreifende Voreingenommenheitserkennung und der Schulung der Benutzer zur Erstellung neutraler Eingabeaufforderungen, die nicht „den Zeugen täuschen“. Unternehmen, die BIBO beherrschen, vermeiden es nicht nur, Teil der ernüchternden 95 %-Misserfolgsstatistik zu werden – sie erschließen auch das wahre Potenzial von KI, während ihre Konkurrenten mit Systemen kämpfen, die genau die Probleme aufrechterhalten, für deren Lösung sie entwickelt wurden.