Warum KI selbstsicher falsche Antworten über deine Daten gibt

KI gibt selbstsichere, falsche Antworten über deine Daten, weil ein Modell weiß, wie Wirtschaft im Allgemeinen funktioniert, aber nicht, wie deine funktioniert: deine Definitionen, deine Begriffe und welche deiner Tabellen tatsächlich zählen. Deshalb ist ein schlaueres Modell keine Lösung. Die Lösung ist eine semantische Schicht: eine Landkarte zwischen dem Modell und deinen Daten. Sie kuratiert, welche Daten zählen, legt die Bedeutung neben jedes Feld, regelt, wer was sehen darf, und bleibt aktuell, während sich das Geschäft verändert.

Wie groß die Lücke ist, lässt sich messen. In einem Benchmark aus echten, unaufgeräumten Datenbanken (BIRD) beantwortete ein führendes Modell nur etwa 40 bis 55 Prozent der Fragen korrekt, gegenüber 92,96 Prozent bei Menschen (Li et al., BIRD, 2023). Diese Lücke ist fehlender Kontext. Und Kontext ist etwas, das du lieferst.

Was jetzt folgt, stützt sich auf einen Vortrag des CTO von Omni, einer KI-Analytics-Plattform, darüber, wie sein Team seinen Datenanalyse-Agenten (Blobby genannt) auf Claude gebaut hat. Die Zahlen, die diesem Vortrag zugeschrieben werden, stammen vom Sprecher; das Argument über die Architektur trägt unabhängig von jeder einzelnen Zahl. Ich schreibe darüber, weil es genau dem entspricht, was ich sehe, wenn ich diese Systeme für Kunden baue, und was ich gelernt habe, als ich unsere eigene Agentur mit KI-Mitarbeitern betrieben habe.

Warum liegt KI bei meinen Geschäftsdaten daneben, wenn sie so schlau ist?

Weil Intelligenz und Kontext zwei verschiedene Dinge sind. Ein Spitzenmodell kann eine GuV durchdenken, die Kundenbindung über Kohorten erklären und eine Preisanalyse schreiben, und zwar besser als die meisten Leute, die du einstellen könntest. Was ihm auch die stärkste Rechenleistung nicht gibt, ist das Wissen, wie dein Unternehmen seine Begriffe definiert und seine Daten ablegt.

Das klarste Beispiel kommt direkt aus dem Vortrag. In einem Unternehmen meinte der Ausdruck „letztes Quartal" zwei verschiedene Dinge: In Produkt und Entwicklung war das Kalenderquartal gemeint, im Vertrieb dagegen das Geschäftsquartal. Dieselben Wörter, dasselbe Unternehmen, zwei richtige Antworten, je nachdem, wer fragt. Kein Modell löst das allein aus Intelligenz, weil die Information weder in der Frage noch im Modell steckt. Sie lebt in deiner Organisation, in den Köpfen der Leute, die sagen würden: „Ach, du meinst das Geschäftsquartal."

Wenn ein Modell kein Briefing zu deinem Unternehmen hat, verhält es sich wie ein brillanter Analyst, der heute Morgen angefangen hat, nie dein Team getroffen hat, keine Rückfrage stellen kann und trotzdem antworten soll. Ein schlauerer Analyst mit demselben nicht vorhandenen Briefing macht dieselben selbstsicheren Fehler nur schneller. Es ist kein Kauderwelsch, das du in einer Sekunde erkennst. Es ist eine falsche Antwort im Gewand einer richtigen, mit demselben Diagramm und derselben selbstsicheren Zusammenfassung wie eine korrekte. Ich komme aus dem Maschinenbau, wo Eingaben zu vorhersehbaren Ausgaben führen müssen. Eine selbstsichere falsche Antwort ist die schlimmste Art von Fehler, weil nichts daran signalisiert, dass die Eingabe unvollständig war.

Was ist eine semantische Schicht, und wie behebt sie das?

Eine semantische Schicht ist eine Übersetzungsschicht, die über deinem Data Warehouse liegt und dem Modell eine Landkarte gibt, um aus einer Frage in einfachem Deutsch die richtige Abfrage gegen die richtigen Daten zu machen. Das Modell arbeitet nie direkt auf den Rohtabellen. Es arbeitet auf der Landkarte, und die Landkarte macht aus seiner Absicht etwas, das sich sicher ausführen lässt.

Das ist die Hälfte der KI-Readiness, die die meisten Teams überspringen. Dem Agenten Zugang zu verschaffen (Verbindungen, Zugangsdaten, die Tools, um an die Daten zu kommen) ist notwendig, und was ein Agent tatsächlich braucht, um echte Arbeit zu leisten, behandle ich in was ein KI-Mitarbeiter ist. Aber Zugang ist noch kein Verständnis. Ein Agent, der jede Tabelle erreicht und nicht weiß, welche zählt, ist deshalb noch lange nicht startklar. Er ist gefährlicher, weil er jetzt über all deine Daten hinweg selbstsicher danebenliegen kann, wo es vorher nur ein Teil war. Die Forschung bestätigt das: Der BIRD-Benchmark wurde eigens deshalb gebaut, weil frühere Tests die echten Datenbankinhalte ignorierten, und Modelle stolpern über „schmutzige" Werte und das Fachwissen, das nötig ist, um eine Frage mit den Daten zu verbinden (Li et al., 2023).

Löst ein größeres oder schlaueres Modell das Problem?

Von allein nicht. Die Genauigkeitslücke bei echten Datenbanken hat sich vor allem durch mehrstufige Pipelines geschlossen, die dem Modell Struktur und Prüfung an die Seite stellen. Die reine Modellgröße hat kaum etwas bewegt. Und was es kostet, diese Arbeit zu überspringen, zeigt sich in der Ausfallrate von KI-Projekten: Gartner rechnet damit, dass bis Ende 2027 mehr als 40 Prozent der agentischen KI-Projekte eingestellt werden, vor allem wegen der Kosten und eines unklaren Nutzens (Gartner, 2025). Ein selbstsicher danebenliegender Analyst ist genau die Art Projekt, die still und leise eingestellt wird. Das Gegenmittel ist eine Architektur, die das Modell erdet, und genau die beschreiben die nächsten vier Aufgaben.

Was sind die vier Aufgaben einer semantischen Schicht?

Eine semantische Schicht verdient ihren Namen, indem sie vier Aufgaben erfüllt. Erledige alle vier, und ein fähiges Modell wird zum verlässlichen Analysten deines Geschäfts. Lass eine davon aus, und die selbstsicher falschen Antworten sickern durch die Lücke zurück.

Kuratieren. Echte Warehouses enthalten Zehntausende Datensätze. Im Vortrag heißt es: „Da sind 100 Umsatztabellen, da sind 100 Opportunity-Tabellen", über Jahre angewachsen aus Exporten, Staging-Kopien und aufgegebenen Pipelines. Ein Mensch übersteht das mit gewachsenem Erfahrungswissen; das Modell hat keins. Beim Kuratieren benennst du für jedes Konzept die kanonische Tabelle, legst fest, wie Tabellen zusammenhängen, und markierst den Rest als nicht-für-Analyse, damit das Modell nicht mehr blind unter lauter Doppelgängern wählt.
Kontext lokalisieren. Leg die Bedeutung direkt neben das Feld, das sie beschreibt. Ein weit entferntes Glossar, das niemand öffnet, hilft dem Modell nicht. Der Sprecher formulierte es so: „Kontext, der direkt an der Definition sitzt, auf die er sich bezieht, macht das Ganze noch besser", aus demselben Grund, aus dem eine Kontextdatei neben dem Code besser funktioniert als ein riesiges Dokument im Wurzelverzeichnis. In der Praxis hängst du an jedes Feld ein paar Arten von Metadaten: eine Notiz, die fürs Modell geschrieben ist, ein, zwei Beispielabfragen und Beispielwerte.
Rechte vergeben. Die Schicht ist eine Grenze und ein Wörterbuch zugleich. Ein Dashboard zeigt die Ansichten, die du gebaut hast; ein Fragefeld legt alles offen, was der Agent erreichen kann, und zwar für jeden, der eine Frage formulieren kann, solange die Schicht es nicht verhindert. Ob „Was ist das höchste Gehalt im Unternehmen?" eine Antwort liefert, muss davon abhängen, wer fragt. Durchgesetzt bei jeder Abfrage, bevor sie läuft. Die guten Absichten des Modells reichen dafür nicht.
Den Kreis schließen. Definitionen ändern sich ständig, deshalb weicht eine einmal gezeichnete Landkarte mit der Zeit von der Wirklichkeit ab. Jede Frage ist ein Hinweis: Ein Fehlgriff zeigt auf eine fehlende Definition, eine wiederkehrende Formulierung auf ein Synonym, das dazugehört, eine Korrektur von Hand auf eine Regel, die man aufschreiben sollte. Der Agent oder dein Datenteam schlägt die Verbesserung vor; ein Mensch, dem die Definition gehört, gibt sie frei. Wie du das betreibst, ohne dass ein Team den Agenten dauernd beaufsichtigen muss, vertiefe ich in wie du aufhörst, deine KI-Agenten zu babysitten.

Die Beispielwerte verdienen einen genaueren Blick, weil an ihnen die eigentliche Feinheit hängt. Zeig dem Modell, dass ein Regionen-Feld die Werte EMEA, NAM und APAC enthält, und zwei Dinge passieren: Es schließt daraus, dass es sich um Abkürzungen für Weltregionen handelt, und wenn ein Nutzer nach „den Vereinigten Staaten" fragt, sucht es nach dem gespeicherten Wert statt nach dem wörtlich getippten Ausdruck, selbst über einen Tippfehler hinweg. Menschen tippen so, wie Menschen reden; die Daten liegen so, wie die Daten liegen. Beispielwerte bauen die Brücke dazwischen.

Wie sieht die semantische Schicht an einer echten Frage aus?

Hier erledigt die Schicht alle vier Aufgaben auf einmal, an einer einzigen ganz gewöhnlichen Frage: „Wie viele Pull Requests wurden letzten Monat im Omni-Repository gemergt?"

Der Agent liest die Absicht und erkennt, dass „PRs" GitHub-Pull-Requests meint, was die allgemeine Fähigkeit gratis mitbringt. Alles danach gibt es nicht mehr geschenkt. Er findet die richtigen Daten, weil du kuratiert hast, und landet auf dem einen kanonischen Pull-Request-Datensatz statt auf einem veralteten Abbild. Er löst „das Omni-Repository" zu dem Wert auf, der tatsächlich gespeichert ist, und gleicht dabei einen Tippfehler unscharf ab, weil du mit Beispielwerten Kontext lokalisiert hast. Er bleibt auf das beschränkt, was dieser Nutzer sehen darf, weil du Rechte vergeben hast. Erst dann erzeugt er die Abfrage, führt sie aus, zeichnet ein Diagramm und fasst das Ergebnis in einem Satz zusammen.

Zieh eine dieser Aufgaben heraus, und der jeweilige Schritt scheitert im Stillen: Ohne Kuratierung greift er zur falschen Tabelle; ohne Beispielwerte liefert der Filter nichts, weil der getippte Ausdruck wörtlich nie vorkommt; ohne Rechtevergabe sickern Daten durch. Der Agent wirkt schlau. Die Schicht ist das, was ihn richtig macht. Und wenn eine Antwort trotzdem überraschend aussieht, hat sich ein Muster bewährt: Lass einen Menschen sie öffnen und prüfen. Die KI baut, der Mensch schleift nach.

Das ist dieselbe Disziplin, die ich um jeden KI-Mitarbeiter lege, den ich baue: feste Leitplanken für das, was exakt sein muss, das Modell für das Urteilsvermögen, und ein benannter Verantwortlicher, der die Landkarte aktuell hält. Es ist auch der Grund, warum ich den Leuten sage: Du brauchst kein weiteres KI-Abo. Du brauchst KI, die für dein Geschäft arbeitet. Für deins, mit deinen Definitionen, mit deinen Tabellen.

Häufig gestellte Fragen

Warum gibt KI falsche Antworten über meine eigenen Geschäftsdaten?

Weil ein Modell Wirtschaft im Allgemeinen kennt, aber nicht deine Definitionen, deine Begriffe oder welche deiner Tabellen zählen. Was fehlt, ist Kontext, der in deiner Organisation lebt. Intelligenz war nie das Nadelöhr. Ohne eine semantische Schicht, die den Kontext liefert, rät das Modell, und eine selbstsichere falsche Antwort sieht genauso aus wie eine korrekte.

Was ist eine semantische Schicht in der KI-Analytics?

Eine semantische Schicht ist eine Landkarte zwischen dem Modell und deinem Data Warehouse. Sie legt fest, welche Tabellen zählen, was jedes Feld bedeutet, wie Tabellen zusammenhängen und wer was sehen darf. Das Modell fragt durch diese Schicht ab, statt über die Rohtabellen, sodass Fragen in einfachem Deutsch in korrekte, kontrollierte Abfragen übersetzt werden.

Löst ein schlaueres oder größeres KI-Modell falsche Antworten über meine Daten?

Nein. Bei echten Datenbanken hat sich die Genauigkeitslücke vor allem durch Pipelines geschlossen, die dem Modell Struktur und Prüfung an die Seite stellen. Die Modellgröße hat kaum etwas bewegt. Ein größeres Modell ohne Landkarte deines Geschäfts liefert eine flüssigere falsche Antwort. Korrekter wird sie damit noch lange nicht. Was hilft, ist ein fester Bezug zu deinen Daten.

Wie genau ist „mit deinen Daten sprechen" bei echten Datenbanken?

Ohne festen Bezug zu deinen Daten weit unter der menschlichen Genauigkeit. Im BIRD-Benchmark aus echten, unaufgeräumten Datenbanken erreichten führende Modelle grob 40 bis 55 Prozent Ausführungsgenauigkeit, gegenüber 92,96 Prozent bei Menschen. Produktivsysteme schließen die Lücke mit einer semantischen Schicht, kuratierten Metadaten und Prüfung. Modellstärke allein reicht dafür nicht.

Wie verhinderst du, dass eine KI Daten zeigt, die ein Nutzer nicht sehen darf?

Setz die Rechte in der semantischen Schicht durch, angewandt auf jede Abfrage, bevor sie läuft, sodass der Agent die Zugriffsrechte des Fragenden erbt. Ein Fragefeld legt alles offen, was der Agent erreichen kann, solange die Schicht es nicht eingrenzt. Die Kontrolle gehört ins System. Anweisungen im Modell lassen sich aushebeln.

Quellen und weiterführende Lektüre

Li et al., „Can LLM Already Serve as a Database Interface? A Big Bench for Large-Scale Database Grounded Text-to-SQLs" (BIRD) (2023): auf echten, schmutzigen Datenbanken (95 DBs, 33,4 GB, 37 Domänen) erreichte ChatGPT 40,08 % Ausführungsgenauigkeit und GPT-4 mit externem Wissen etwa 54,89 %, gegenüber 92,96 % bei Menschen. Die aktuellen Leaderboard-Werte verschieben sich; vor einer Weiterverwendung prüfen.
Gartner (2025): Prognose, dass bis Ende 2027 mehr als 40 % der agentischen KI-Projekte eingestellt werden, vor allem wegen der Kosten und eines unklaren Nutzens.
Anthropic: Building Effective AI Agents: warum das Gerüst und der Kontext um ein Modell herum bewusst gestaltet sein sollten und wie ein fester Bezug zu den Daten die Ergebnisse formt.
„Building the best agentic analytics harness", ein Vortrag des CTO von Omni bei Code with Claude, 2026: die Quelle für „letztes Quartal" mit zwei Bedeutungen, für die Aufgaben Kuratieren / Lokalisieren / Rechte vergeben / Rückkopplungsschleife einer semantischen Schicht und für die Blobby-Durchgehung. Die genannten Zahlen stammen vom Sprecher und sollten vor einer Weiterverwendung geprüft werden.

Das Muster hinter all dem (feste Leitplanken, KI fürs Urteilsvermögen und ein klar Verantwortlicher, der die Landkarte aktuell hält) ist die Art, wie ich bei Brixon AI baue, und wir betreiben es im Stack unserer eigenen Agentur seit Anfang 2026. Wenn du ein Fundament willst, das deine KI für dein eigenes Geschäft verlässlich macht, mit deinen Definitionen und deinen Tabellen, sprich mit mir darüber, wo du anfangen solltest, oder lies mehr darüber, wie wir arbeiten.