Selbstbewusst falsch: Warum KI in Unternehmen scheitert, sobald sie auf Ihre realen Daten trifft.

Ich möchte mit dem gefährlichsten Satz im Bereich der Unternehmens-KI von heute beginnen.

Es heißt nicht einfach „Das Modell ist gescheitert“. Ein gescheitertes Modell ist schnell erledigt. Es wirft einen Fehler, jemand wird benachrichtigt, die Abfrage wird korrigiert. Gefährlich ist der Satz, der fehlerfrei zurückkommt. Gut formatiert. Selbstsicher. In klarem Englisch an einen Vizepräsidenten gerichtet, der kurz davor steht, eine Entscheidung zu treffen. Und trotzdem falsch.

Ich verkaufe seit fast dreißig Jahren IT-Lösungen für Unternehmen und habe noch nie einen Fehler erlebt, der Finanzchefs so sehr beunruhigt. Nicht die KI, die „Ich weiß es nicht“ sagt. Sondern die KI, die mit absoluter Überzeugung das Falsche behauptet und dabei genauso aussieht wie die KI, die fünf Minuten zuvor noch das Richtige gesagt hat. Es gibt keine Warnsignale. Kein Stacktrace. Nur eine selbstsichere Antwort, die still und leise eine Zahl, eine Prognose oder eine Compliance-Position in die falsche Richtung verschiebt.

Dies ist das Problem, dessen sich Unternehmen im Jahr 2026 endlich bewusst werden. Und wenn man erst einmal die Ursachen versteht, versteht man auch, warum fast jedes KI-Tool auf dem Markt an seine Grenzen stößt und warum nur eine sehr kleine Anzahl dies nicht tut.

Die Klippe, die niemand als Maßstab nimmt

Hier liegt die unbequeme Wahrheit, die in den Daten der Branche selbst verborgen ist: Die von den Anbietern genannten Genauigkeitszahlen basieren auf Datenbanken, die Ihren in keiner Weise ähneln.

Die allgemein anerkannten akademischen Benchmarks (Spider, BIRD) testen Modelle anhand von Schemata mit etwa 10 bis 20 Tabellen und rund hundert Spalten. Klare Namen und Beziehungen sind dabei unerlässlich. Auf diesem Terrain schneiden die führenden Modelle hervorragend ab. GPT-4o erreichte im ursprünglichen Spider-Benchmark rund 86 %. OpenAIs o1-Vorschau erzielte 91.2 %.

Daraufhin entwickelten die Forscher Spider 2.0, um reale Unternehmensbedingungen zu simulieren: echte Produktionsdatenbankplattformen, komplexe Schemata und unternehmensspezifische Namenskonventionen. Derselbe GPT-4o-Algorithmus, der zuvor 86 % erreichte, fiel auf 6 %. Derselbe o1-Preview-Algorithmus, der zuvor 91.2 % erzielte, fiel auf 21.3 %. Das ist kein Tippfehler und auch kein Rundungsfehler. Es handelt sich um einen Genauigkeitsverlust von 93 %, sobald das Modell mit einer Umgebung in Berührung kommt, die der Datenlandschaft eines Fortune-2000-Unternehmens ähnelt.

Sobald die Tests realistisch sind, wiederholt sich dieses Muster überall. Auf BIRD-Ent, einer unternehmensnahen Version des BIRD-Benchmarks mit über 4,000 Spalten und abgekürzten, domänenspezifischen Tabellennamen, erreichten selbst modernste Modelle lediglich eine Ausführungsgenauigkeit von 39.1 %. Selbst auf dem ursprünglichen BIRD-Benchmark lagen die besten Modelle bei knapp 40 %, verglichen mit einer menschlichen Trefferquote von fast 93 %.

Wenn ein Anbieter also behauptet, sein Tool zur Umwandlung natürlicher Sprache in Daten sei „zu 95 % genau“, ist die einzige entscheidende Frage: Genau worauf bezieht sich das? Denn die veröffentlichten Daten sind wenig aussagekräftig. Akademische Benchmarks testen 10 bis 20 Tabellen. In der Praxis sieht es jedoch so aus: Datenbanken umfassen über 100 Tabellen und über 1,000 Spalten, mit Namenskonventionen wie „consumer_1“ und „consumer_2“ anstelle von „customer_name“ und Geschäftssemantik, die in den Trainingsdaten des Modells nicht vorkommt. Diese Diskrepanz zwischen Demo und Implementierung ist der entscheidende Punkt. Die meisten Tools stürzen daran ab.

Die Halluzinationssteuer, die Sie bereits zahlen

Nun kommt das zweite Problem noch zum ersten hinzu, denn sie verstärken sich gegenseitig.

Wenn diese Systeme unsicher sind, halten sie nicht inne. Sie generieren Ergebnisse. Und die Ausgabe erfolgt mit der gleichen Leichtigkeit, egal ob sie richtig oder falsch ist. Eine MIT-Studie aus dem Jahr 2025 ergab, dass Modelle tatsächlich 34 % häufiger selbstsichere Formulierungen verwenden, wenn sie Halluzinationen haben, als wenn sie eine faktische Antwort geben. Lesen Sie das noch einmal. Das System klingt gerade dann am selbstsichersten, wenn es sich etwas ausdenkt.

Die Kosten dafür sind nicht länger theoretischer Natur:

• Bei der Implementierung von Chatbots in Unternehmen wurden bis 2025 Halluzinationsraten von rund 18 % in Live-Interaktionen festgestellt.
• Das RegLab der Stanford University stellte fest, dass allgemeine Modelle bei spezifischen juristischen Anfragen in weit über der Hälfte der Fälle falsche Ergebnisse lieferten, in einigen Tests sogar in fast 80% der Fälle.
• Eine Branchenanalyse bezifferte die weltweiten Geschäftsverluste, die auf KI-Halluzinationen zurückzuführen sind, im Jahr 2024 auf 67.4 Milliarden US-Dollar.
• Die stille Steuer: Mitarbeiter verbringen mittlerweile durchschnittlich 4.3 Stunden pro Woche damit, lediglich zu überprüfen, ob die KI-Ausgabe tatsächlich korrekt ist.

Diese letzte Zahl bringe ich in Kundengespräche ein, denn sie entlarvt die Lüge, die den meisten KI-ROI-Präsentationen zugrunde liegt. Wenn Ihr Team jede Antwort der KI überprüfen muss, haben Sie die Arbeit nicht automatisiert, sondern einen zusätzlichen Schritt hinzugefügt. Sie haben einen sehr teuren Praktikanten eingestellt, der mal brillant ist, mal lügt und Ihnen nie sagt, was was ist.

Um den Modellanbietern gerecht zu werden: Die besten Allzweckmodelle haben hinsichtlich fundierter Fakten deutliche Fortschritte erzielt. Spitzensysteme weisen bei sauberen Zusammenfassungsaufgaben mittlerweile eine Fehlerrate von unter 1 % auf, bei den führenden Systemen sogar nur etwa 0.7 %. Man muss jedoch die Bedingungen beachten: saubere, fundierte und quellenbasierte Zusammenfassung. Das ist der einfachste Fall. Setzt man dieselben Modelle auf ein Produktionsschema mit tausend Tabellen und mehrdeutiger Geschäftslogik, stößt man wieder an seine Grenzen. Die von Datadog gemessene Fehlerrate von 5 % bei KI-Anfragen im Produktivbetrieb – wo das System läuft, eine vermeintlich sichere Antwort liefert und niemand den Fehler bemerkt – ist nicht der absolute Tiefpunkt. In einem realen Unternehmensumfeld liegt sie eher am oberen Ende.

Warum das immer wieder passiert und warum es sich um ein Datenproblem handelt

Das ist der Punkt, an dem sich alles wiederfindet, worüber ich im letzten Jahr geschrieben habe. Die NANDA-Initiative des MIT hat herausgefunden, dass etwa 95 % der Pilotprojekte mit generativer KI keine messbaren Auswirkungen auf die Gewinn- und Verlustrechnung haben. Die meisten interpretieren diese Überschrift als „KI funktioniert nicht“. Das Gegenteil ist der Fall. Die Modelle funktionieren. Was versagt, ist die darunterliegende Ebene.

Hier ist der Mechanismus, vereinfacht dargestellt. Ein Unternehmensschema ist kein Lehrbuch. Es ist das Ergebnis jahrzehntelanger Erfahrung mit Geschäftslogik, kryptischen Spaltennamen, undokumentierten Beziehungen und Erfahrungswissen, das im Kopf von drei Personen schlummert, von denen zwei bereits im Ruhestand sind. Wenn man eine universelle KI darauf ansetzt, versteht sie weder die Zusammenhänge zwischen den Tabellen noch die Bedeutung der Spalten. Daher verhält sie sich so, wie sie für Situationen unter Unsicherheit trainiert wurde: Sie rät. Und da sie während des Trainings für selbstsichere, hilfreiche Antworten belohnt wurde, anstatt Zweifel einzugestehen, rät sie mit Überzeugung.

Das ist das gesamte Versagen in einem Satz. Das Modell soll sich in einer Welt zurechtfinden, die es nicht versteht, und anstatt dies zuzugeben, erfindet es einen plausiblen Pfad. Das Ergebnis sieht korrekt aus. Es verknüpft die falschen Tabellen. Der Vizepräsident gibt es frei.

Die Anbieter, die das Problem beschönigen wollen, lassen Sie die Arbeit für sich erledigen. Sie verlangen monatelange Schema-Neugestaltung und manuell erstellte semantische Schichten, bevor ein Anwender überhaupt eine Frage stellen kann. Bis dieses Projekt abgeschlossen ist, hat sich das Schema bereits geändert, und Sie pflegen auf Dauer eine fehleranfällige Übersetzungsschicht. Das ist der eigentliche Grund, warum so viele Pilotprojekte scheitern. Das „KI-Projekt“ war in Wirklichkeit ein mehrmonatiges Datenmodellierungsprojekt im KI-Gewand.

Wo DataSense das Muster durchbricht

Jetzt ist der richtige Zeitpunkt, um darüber zu sprechen, was wir geschaffen haben und warum ich wirklich überzeugt bin, dass es das Alleinstellungsmerkmal ist, das niemand sonst erreicht hat.

DataSense wurde um eine einzige Überzeugung herum entwickelt: ein Unternehmens-KI Ein Tool ist nur dann vertrauenswürdig, wenn es Ihre Umgebung so versteht wie Ihr bester Analyst, bevor es überhaupt eine Abfrage schreibt. Nicht eine vereinfachte, manuell erstellte semantische Schicht, die Sie selbst pflegen müssen. Es braucht ein echtes, praktisches Verständnis dafür, wie Ihre Tabellen zusammenhängen, was Ihre Spalten bedeuten und wo die Joins über Hunderte oder Tausende von Tabellen hinweg in Ihrem realen Produktionsschema, so wie es ist, definiert sind.

Dieses Verständnis ermöglicht es DataSense, drei Dinge zu tun, die laut den Cliff-Daten eigentlich unmöglich sein sollten:

• Es gewährleistet Genauigkeit im Unternehmensmaßstab. Während Benchmarks zeigen, dass allgemeine Modelle bei realen Schemata von 86 % auf 6 % einbrechen, wurde DataSense von der ersten Codezeile an für die Realität von Tausenden von Tabellen entwickelt und nicht nachträglich angepasst. Die Größenordnung, die ein Kontextfenster von 128 Tabellen übersteigt, ist genau die Umgebung, für die es geschaffen wurde.
• Es rät nicht. Es ist dasjenige, das in jeder Demo das Gespräch verändert. Wenn eine Frage wirklich mehrdeutig ist, verhält sich DataSense wie ein erfahrener Analyst: Es stellt eine klärende Frage. Lieber geht es noch einen Schritt weiter, als Ihnen eine vermeintlich falsche Antwort zu präsentieren. Diese Designentscheidung minimiert Fehlinterpretationen, denn das gefährlichste Ergebnis im Unternehmen – die falsche Antwort, die richtig erscheint – ist genau das, was DataSense verhindern soll.
• Es ist in Stunden fertig, nicht in Monaten. Keine Schema-Neugestaltung. Kein Heer von Beratern, das eine semantische Schicht manuell erstellt. Es liest Ihre bestehende Umgebung. Geschäftsanwender stellen Fragen in einfacher Sprache oder per Spracheingabe noch am selben Tag.

Die Branche hat zwei Jahre lang darüber gestritten, welches Modell das richtige ist. Das Modell selbst war nie der Engpass. Der Engpass lag vielmehr darin, dass kein Tool die Kundendaten wirklich gut genug verstand, um sowohl in großem Umfang präzise als auch unter Unsicherheit zuverlässig zu sein. Genau diese Lücke schließt DataSense. Nahezu perfekte Genauigkeit über die gesamte Unternehmenslandschaft hinweg, mit einer minimalen Fehlerquote, die gegen Null tendiert, anstatt sich bei den branchenüblichen 5 % zu bewegen, die sich bei jeder Abfrage unbemerkt summieren.

Was ich einem CIO im Mai 2026 sagen würde

Wenn ich jetzt zehn Minuten Zeit mit einem CIO hätte – und ich führe ein ähnliches Gespräch fast wöchentlich –, würde ich Folgendes sagen.

Hören Sie auf, Genauigkeitsbehauptungen einfach hinzunehmen, ohne zu fragen: „Worauf beziehen sich diese?“ Verlangen Sie von jedem Anbieter einen Nachweis seiner Leistungsfähigkeit anhand Ihres Schemas, in Ihrem Umfang und mit Ihren Namenskonventionen. Die Kluft zwischen Benchmark und Produktionsumgebung ist der Punkt, an dem die meisten KI-Budgets scheitern.

Betrachten Sie es als ein Merkmal und nicht als einen Fehler, wenn die KI eine klärende Frage stellt. Ein System, das gelegentlich inne hält, um die Absicht zu bestätigen, ist nicht weniger leistungsfähig. Es ist sogar das einzige System, das man einem Finanzchef wirklich vorlegen kann. Das Tool, das immer antwortet, ist dasjenige, das manchmal falsche Angaben macht.

Ermitteln Sie, wie viel Halluzinationssteuer Sie bereits zahlen. Zählen Sie die Stunden, die Ihr Team mit der Überprüfung von KI-Ergebnissen verbringt. Liegt das Ergebnis auch nur annähernd bei 4 Stunden pro Woche und Person, haben Sie keine KI erfolgreich eingesetzt. Sie haben Zweifel gesät und zahlen dafür den vollen Preis.

Die Unternehmen, die dies in den nächsten zwei Quartalen richtig umsetzen, werden 2027 die Fallstudien verfassen. Die Vorgehensweise ist klar. Die Chance ist da. Und der Unterschied zwischen KI, die mit Sicherheit falsch liegt, und KI, der man tatsächlich vertrauen kann, liegt in einem Punkt, den die gesamte Branche unterschätzt hat: ob das System Ihre Daten wirklich versteht oder nur sehr gut darin ist, dies vorzutäuschen.

Referenzen

• 1. Enterprise Text-to-SQL: Was Genauigkeits-Benchmarks wirklich bedeuten (Spider 2.0-Ergebnisse)
• 2. Text-to-SQL-Benchmarks für Unternehmensrealitäten: BIRD-Ent und Spider-Ent (OpenReview)
• 3. BIRD: Ein umfangreicher Bench für datenbankgestützte Text-zu-SQL-Konvertierung im großen Maßstab (arXiv)
• 4. LLM Halluzination in der Produktion (MIT 2025 confidence-language finding)
• 5. LLM Halluzinationsstatistik 2026 (Unternehmensraten, Geschäftsverluste, Überprüfungszeit)
• 6. Stanford RegLab / HAI: Halluzinierendes Gesetz
• 7. Warum LLMs Halluzinationen haben (Ausbildungsanreize, Topmodel-Gehälter)
• 8. Datadog Stand der KI-Entwicklung (stille Ausfallrate in der Produktion)
• 9. MIT NANDA via Forbes: 95 % der GenAI-Pilotprojekte erzielen keine positiven Auswirkungen auf die Gewinn- und Verlustrechnung.