Blog

Vor einiger Zeit rief ein Kunde bei uns an. Er suchte ein bestimmtes Logo unseres Unternehmens. Das Problem war nur: Dieses Logo gab es nicht. Wir hatten es nie verwendet.

Der Kunde war sich trotzdem ziemlich sicher. Eine KI hatte ihm gesagt, dass dieses Logo zu unserem Unternehmen gehört habe. Wir erklärten ihm, dass die Information falsch sei. Es war schliesslich unser Unternehmen und wir wussten, welche Logos wir verwendet hatten. Ganz überzeugt war er davon nicht. Die KI hatte schliesslich etwas anderes gesagt.

Das war kurios und zunächst nicht weiter wichtig. Eine KI hatte etwas erfunden und jemand hatte ihr geglaubt.

Interessanter wird die Geschichte, wenn man diesen kleinen Vorfall nimmt und ihn vollkommen übertreibt.

Dieses Gedankenexperiment verfolgt eine einfache Möglichkeit: KI-generierte Fehlinformationen könnten von Menschen und Maschinen übernommen, vervielfältigt und später als scheinbar unabhängige Quellen verwendet werden. Wenn darauf Entscheidungen beruhen, können aus falschen Informationen reale Folgen und schliesslich neue reale Daten entstehen.

Eine Information, die nie existiert hat

Ein KI-System erzeugt eine falsche Information. Nehmen wir nichts Spektakuläres, sondern eine falsche technische Eigenschaft eines Materials, eine nicht vorhandene Wechselwirkung zweier Wirkstoffe, eine fehlerhafte historische Angabe oder eine falsche Information über ein Unternehmen.

Jemand übernimmt diese Information in einen Text. Der Text wird veröffentlicht und von Suchmaschinen indexiert. Andere Menschen finden ihn. Vielleicht wird er in einer Präsentation verwendet, in einem weiteren Artikel erwähnt oder in eine Datenbank übernommen. KI-Systeme greifen ebenfalls darauf zurück, fassen den Inhalt zusammen und erzeugen daraus neue Texte.

Nach einiger Zeit findet sich dieselbe Aussage an vielen Stellen. Die Formulierungen unterscheiden sich, teilweise werden andere Aspekte ergänzt und irgendwann ist kaum noch erkennbar, dass diese Texte auf dieselbe ursprüngliche Information zurückgehen.

Aus einer Behauptung sind scheinbar viele Quellen geworden.

Das wäre noch kein besonders grosses Problem, solange sich nachvollziehen lässt, woher die Information stammt. Genau das wird jedoch schwieriger, je häufiger Inhalte übernommen, zusammengefasst, übersetzt und neu kombiniert werden.

Mehrere Quellen gelten üblicherweise als stärkerer Beleg als eine einzelne Quelle. Dahinter steckt allerdings die Voraussetzung, dass diese Quellen zumindest teilweise unabhängig voneinander entstanden sind. Hundert Texte, die letztlich auf dieselbe ursprüngliche Behauptung zurückgehen, sind keine hundert Belege. Sie sehen nur irgendwann so aus.

Die KI hat gesagt

Bei unserem Logo war die Situation ausgesprochen einfach. Wir waren selbst die Primärquelle und konnten sagen, dass die Behauptung nicht stimmt.

Bemerkenswert fand ich deshalb weniger den Fehler der KI als die Reaktion darauf. Eine generierte Information besass gegenüber der Auskunft des betroffenen Unternehmens plötzlich ein erstaunliches Gewicht. „Die KI hat gesagt“ war nicht mehr nur die Beschreibung einer Ausgabe, sondern wurde selbst zu einem Argument.

Bei einem Logo ist das belanglos. Es lässt sich klären und selbst wenn es nicht geklärt wird, passiert wenig.

Das gilt nicht für jede Information. Menschen sterben, Unternehmen verschwinden, Webseiten werden gelöscht, Originaldokumente gehen verloren und Wissen wird über Jahrzehnte immer wieder übernommen und neu aufbereitet. Nicht für jede Behauptung gibt es dauerhaft jemanden, den man fragen kann.

Je länger eine fehlerhafte Information zirkuliert, desto schwieriger kann deshalb nicht nur ihre Korrektur werden. Irgendwann kann bereits die Rekonstruktion ihres Ursprungs zum Problem werden.

Damit verlassen wir den harmlosen Teil des Gedankenexperiments.

Wenn der Fehler sicherheitsrelevant wird

Nehmen wir an, die ursprüngliche falsche Information betrifft einen technischen Parameter. Eine bestimmte Konstruktion gilt unter einer bestimmten Belastung als sicher. Diese Annahme wird in Dokumentationen, Berechnungen und späteren Veröffentlichungen übernommen.

Jahre später analysiert ein KI-System eine Konstruktion und greift dabei auf diese Informationen zurück. Ein zweites System überprüft das Ergebnis anhand anderer Dokumente und kommt zum gleichen Schluss.

Formal sieht das nach einer zusätzlichen Kontrolle aus. Tatsächlich können beide Prüfungen von derselben ursprünglichen Annahme abhängen, ohne dass diese gemeinsame Herkunft noch offensichtlich ist. Das zweite System kontrolliert dann zwar die Berechnung, aber nicht zwangsläufig die Grundlage, auf der gerechnet wurde.

Genau hier wird aus einem Informationsproblem ein reales Problem. Auf Grundlage der Prüfung wird gebaut, produziert oder freigegeben. Die falsche Information bleibt nicht länger Text. Sie beeinflusst die physische Welt.

Natürlich gibt es technische Prüfverfahren, Messungen und Sicherheitsstandards, die genau solche Fehler auffangen sollen. Für unser Szenario müssen wir deshalb unterstellen, dass auch diese Kontrollen den ursprünglichen Fehler nicht entdecken. Das ist eine erhebliche Voraussetzung.

Aber wir wollten das Szenario schliesslich übertreiben.

Medizin

In der Medizin wird es noch schwieriger. Eine erfundene Aussage über ein Medikament wird nicht allein deshalb medizinische Realität, weil sie oft genug im Internet steht. Klinische Studien, Zulassungsverfahren, Pharmakovigilanz, Laborwerte und reale Patientendaten schaffen eine Verbindung zur beobachtbaren Wirklichkeit.

Trotzdem kann man auch hier das Gedankenexperiment fortsetzen.

Eine fehlerhafte Annahme gelangt in Sekundärliteratur und wird in späteren Zusammenfassungen übernommen. Systeme nutzen diese Texte, um Forschung auszuwerten. Andere Systeme greifen wiederum auf deren Ergebnisse zurück. Mit zunehmender Zahl der Verarbeitungsschritte wird die Herkunft einzelner Aussagen schwieriger nachvollziehbar.

Noch passiert nichts grundsätzlich Neues. Wir haben lediglich einen hartnäckigen Informationsfehler.

Das ändert sich in dem Moment, in dem die Information Entscheidungen beeinflusst. Forschung konzentriert sich auf bestimmte Zusammenhänge. Andere Fragestellungen erhalten weniger Aufmerksamkeit. Klinische Systeme gewichten Befunde anhand vorhandener Modelle. Menschen treffen Entscheidungen innerhalb eines Informationsrahmens, den sie selbst nicht mehr vollständig überblicken können.

Die vorhandene Wissensbasis beeinflusst damit nicht nur die Interpretation der Wirklichkeit, sondern zunehmend auch, welche Daten überhaupt entstehen.

Und damit bekommt das Problem eine Rückkopplung.

Wenn eine falsche Annahme anfängt, richtige Daten zu produzieren

Im Finanzsystem lässt sich dieser Effekt besonders einfach konstruieren.

Ein Risikomodell stuft eine bestimmte Gruppe von Unternehmen als besonders ausfallgefährdet ein. Die Annahme ist ursprünglich falsch oder zumindest stark übertrieben.

Banken verwenden dieses Modell und vergeben diesen Unternehmen Kredite nur noch zu schlechteren Konditionen. Versicherungen bewerten sie ebenfalls vorsichtiger. Investoren greifen auf ähnliche Risikodaten zurück und verlangen höhere Renditen oder meiden die Unternehmen ganz.

Für die betroffenen Unternehmen steigen dadurch die Finanzierungskosten. Investitionen werden schwieriger, Liquiditätsreserven kleiner und Wachstumsmöglichkeiten eingeschränkt. Einige Unternehmen geraten tatsächlich in Schwierigkeiten.

Ein Jahr später wird das Risikomodell mit neuen Daten aktualisiert. Nun zeigen die Daten tatsächlich eine höhere Ausfallrate dieser Gruppe.

Die ursprüngliche Einschätzung war möglicherweise falsch. Die auf ihr beruhenden Entscheidungen haben aber Bedingungen geschaffen, unter denen sie zunehmend richtig wurde.

Ab diesem Punkt hilft es nicht mehr, lediglich nach der ursprünglichen falschen Information zu suchen. Die neu entstandenen Daten sind echt. Unternehmen sind tatsächlich ausgefallen. Kredite wurden tatsächlich notleidend. Die Statistik ist korrekt.

Nur erzählt sie nicht mehr die ganze Geschichte darüber, warum diese Wirklichkeit entstanden ist.

Wenn Information und Wirklichkeit sich gegenseitig verändern

Bis hierhin beruhte das Szenario auf einem relativ einfachen Problem: Eine falsche Information wird immer wieder übernommen und ihre Herkunft geht verloren.

Durch Entscheidungen kommt eine zweite Ebene hinzu. Informationen beeinflussen Handlungen, Handlungen verändern die Welt und diese veränderte Welt erzeugt neue Informationen.

Ein System, das später auf diese Daten zugreift, sieht keine Halluzination mehr. Es sieht reale Beobachtungen.

Wird dieser Prozess oft genug wiederholt, entsteht eine unangenehme Vermischung. Ein Teil der Daten beschreibt eine Wirklichkeit, die unabhängig von den Informationssystemen existiert. Ein anderer Teil beschreibt eine Wirklichkeit, die durch frühere Entscheidungen dieser Systeme mitgeformt wurde. Im Datensatz sieht beides zunächst gleich real aus.

Das bedeutet nicht, dass die ursprüngliche Wirklichkeit verschwunden ist. Eine Brücke folgt weiterhin der Physik, ein Wirkstoff weiterhin der Biochemie und ein Unternehmen kann nicht dauerhaft durch eine Datenbank am Leben gehalten werden.

Aber immer mehr Entscheidungen könnten auf einer Informationswelt beruhen, die teilweise ihre eigenen Voraussetzungen produziert.

1984 ohne Big Brother

George Orwells 1984 funktioniert anders. Dort wird die Vergangenheit bewusst verändert. Dokumente werden korrigiert, Informationen vernichtet und Widersprüche beseitigt. Das Wahrheitsministerium weiss, dass es manipuliert. Hinter der falschen Wirklichkeit steht eine Absicht.

Unser Gedankenexperiment braucht diese Absicht nicht.

Niemand müsste beschliessen, eine falsche Wirklichkeit zu erzeugen. Es müsste auch niemand systematisch lügen. Es würde genügen, dass falsche Informationen entstehen, übernommen werden und ihre Herkunft verlieren. Wenn Menschen und Maschinen anschliessend auf Grundlage dieser Informationen handeln, können reale Folgen entstehen, die wiederum als neue Daten in dieselben Informationssysteme zurückkehren.

Jeder einzelne Beteiligte könnte dabei vollkommen vernünftig handeln. Ein System wertet die verfügbaren Quellen aus. Ein Mensch überprüft die Aussage und findet mehrere Bestätigungen. Ein anderes System kontrolliert die Entscheidung anhand weiterer Dokumente. Später bestätigen reale Daten zumindest einen Teil der ursprünglichen Annahmen.

Es gäbe kein Wahrheitsministerium, das den Prozess steuert, und keinen Big Brother, der weiss, welche Version ursprünglich richtig war.

Irgendwann könnte genau das zum eigentlichen Problem werden.

Eine falsche Wirklichkeit muss nicht falsch aussehen

Wir erkennen Fehler gerne an Widersprüchen. Zwei Quellen sagen etwas Unterschiedliches, ein Messwert passt nicht zur Theorie oder ein Ergebnis lässt sich nicht reproduzieren. Der Widerspruch zwingt uns, genauer hinzusehen.

Eine über lange Zeit gewachsene falsche Informationswelt müsste diesen Widerspruch nicht unbedingt liefern. Sie könnte erstaunlich konsistent sein. Datenbanken enthalten dieselben Angaben, Veröffentlichungen verweisen aufeinander und verschiedene KI-Systeme kommen zu ähnlichen Ergebnissen, weil ihre Informationsgrundlagen trotz unterschiedlicher Architektur nicht wirklich unabhängig voneinander sind.

Das wäre keine klassische Halluzination mehr. Das einzelne System könnte seine Aufgabe korrekt erledigen und die vorhandene Evidenz vernünftig bewerten. Das Problem läge in der Geschichte dieser Evidenz.

Damit verändert sich auch die Frage, was eine gute Kontrolle eigentlich leisten müsste. Es würde nicht mehr reichen, eine Aussage mit weiteren Quellen abzugleichen. Man müsste wissen, ob diese Quellen tatsächlich voneinander unabhängig sind und wie weit sich eine Behauptung zurückverfolgen lässt.

Hundert Quellen können sehr überzeugend sein. Es sei denn, neunundneunzig davon stammen von der hundertsten ab.

Tot-optimiert

Bis zu diesem Punkt haben wir vor allem darüber gesprochen, wie eine falsche Informationsbasis entstehen könnte. Gefährlich wird sie erst durch das, was auf ihrer Grundlage geschieht.

Je mehr Entscheidungen an KI-Systeme übertragen werden, desto häufiger werden diese Systeme nicht nur Informationen liefern, sondern daraus Handlungen ableiten. In der Medizin können sie Behandlungsoptionen bewerten, in technischen Systemen Risiken berechnen, im Finanzbereich Kapital verteilen und in Unternehmen operative Entscheidungen vorbereiten oder selbst ausführen.

Ihre Stärke liegt gerade darin, grosse Informationsmengen schnell zu verarbeiten, Zusammenhänge zu erkennen und Entscheidungen konsequent umzusetzen. Wenn die Informationsbasis stimmt, kann das ein erheblicher Vorteil sein.

Wenn sie nicht stimmt, verschwindet dieser Vorteil nicht. Das System kann weiterhin hervorragend analysieren, rechnen und optimieren. Nur optimiert es dann innerhalb eines falschen Modells der Wirklichkeit.

Das berührt dasselbe Grundproblem wie bei KI-Systemen, die ein falsch definiertes Ziel konsequent verfolgen: Ein System muss nicht fehlerhaft funktionieren, damit sein Ergebnis problematisch wird. Hier liegt der Fehler allerdings noch eine Ebene tiefer. Nicht das Ziel muss falsch sein, sondern bereits die Informationsbasis, anhand derer das System entscheidet.

Mit wachsender Leistungsfähigkeit könnte dadurch ein merkwürdiger Effekt entstehen: Die Entscheidungen werden besser, während ihre gemeinsame Voraussetzung falsch bleibt. Mehr Daten, bessere Modelle und höhere Geschwindigkeit würden den Fehler nicht zwangsläufig korrigieren. Sie könnten lediglich dafür sorgen, dass seine Konsequenzen schneller und konsequenter umgesetzt werden.

Dafür müsste die KI weder böse sein noch ausser Kontrolle geraten. Sie müsste nicht einmal selbst halluzinieren. Die ursprüngliche falsche Information könnte Jahre zurückliegen und längst Bestandteil einer Wissensbasis geworden sein, deren Herkunft niemand mehr vollständig überblickt.

Im Extremfall würden wir dann nicht von einer fehlerhaften KI schlecht beraten. Wir würden von sehr leistungsfähigen Systemen auf Grundlage einer Wirklichkeit optimiert, die es so nie gegeben hat.

Tot-optimiert.

Was davon bereits real ist

Das Szenario bis hierhin ist konstruiert. Einige seiner Bestandteile werden allerdings bereits untersucht.

Eine 2024 in Nature veröffentlichte Studie zu rekursiv erzeugten Trainingsdaten untersuchte, was geschieht, wenn generative Modelle mit Daten trainiert werden, die von vorherigen Modellen erzeugt wurden. Die Autoren beschreiben einen als „Model Collapse“ bezeichneten Prozess. Werden modellgenerierte Daten unkritisch wieder für das Training späterer Modellgenerationen verwendet, können Teile der ursprünglichen Datenverteilung verloren gehen. Für unser Gedankenexperiment ist dabei vor allem die Frage nach der Herkunft der Daten interessant. Die Autoren weisen darauf hin, dass echte, ursprünglich von Menschen erzeugte Daten in einem Informationsraum mit zunehmendem Anteil synthetischer Inhalte an Bedeutung gewinnen.

Die menschliche Seite des Problems ist ebenfalls nicht neu. Unter dem Begriff „Automation Bias“ wird untersucht, wie Menschen auf automatisierte Entscheidungshilfen reagieren. Eine systematische Übersichtsarbeit von Lyell und Coiera beschreibt Automation Bias als Übervertrauen in automatisierte Entscheidungshilfen, wodurch die Aufmerksamkeit bei der Suche und Verarbeitung weiterer Informationen abnehmen kann. Die Autoren untersuchten dabei insbesondere den Einfluss der Komplexität einer notwendigen Überprüfung.

Bereits eine frühere systematische Übersichtsarbeit von Goddard, Roudsari und Wyatt untersuchte Automation Bias und „automation-induced complacency“. Automatisierte Entscheidungshilfen können die Entscheidungsqualität insgesamt verbessern und gleichzeitig neue Fehler ermöglichen, wenn ihre Ergebnisse unzureichend überwacht oder zu unkritisch übernommen werden.

Keine dieser Arbeiten beschreibt die Welt, die wir in diesem Artikel konstruiert haben. Model Collapse ist keine künstlich erzeugte gesellschaftliche Wirklichkeit. Automation Bias bedeutet nicht, dass Menschen grundsätzlich einer Maschine mehr glauben als einer Primärquelle. Und keine dieser Arbeiten zeigt, dass KI-generierte Fehler zwangsläufig irgendwann die Wirklichkeit verdrängen.

Sie zeigen nur, dass einige Bestandteile des Gedankenexperiments keine Science-Fiction sind.

Ein Horrorszenario

Zugegeben: Das ist ein Horrorszenario und in dieser Konsequenz nicht sehr wahrscheinlich. Fehler müssten über lange Zeit unentdeckt bleiben, vermeintlich unabhängige Quellen müssten tatsächlich voneinander abhängen und an entscheidenden Stellen müsste der Abgleich mit der realen Welt versagen.

Die einzelnen Bestandteile sind deutlich gewöhnlicher. KI-Systeme erzeugen falsche Informationen. Menschen übernehmen sie. Inhalte werden kopiert, zusammengefasst und erneut verarbeitet. Dabei kann ihre Herkunft verloren gehen. Auf Grundlage von Informationen werden Entscheidungen getroffen, und diese Entscheidungen können wiederum die Wirklichkeit verändern, aus der spätere Daten entstehen.

Unser Kunde mit dem Logo stand ganz am Anfang einer solchen Kette. Die Sache war harmlos und einfach zu klären, weil wir die Primärquelle waren. Wir wussten, dass dieses Logo nie zu unserem Unternehmen gehört hatte.

Nicht jede Information lässt sich dauerhaft auf diese Weise überprüfen. Je mehr synthetische Inhalte produziert werden und je häufiger Menschen und Maschinen auf bereits verarbeitete Informationen zurückgreifen, desto wichtiger wird deshalb nicht nur die Frage, ob mehrere Quellen dasselbe behaupten. Ebenso wichtig wird ihre Herkunft.

Eine vollständig synthetische Wirklichkeit, die sich selbst bestätigt, ist ein Horrorszenario.

Der Verlust der Herkunft unserer Informationen ist es nicht.

Bei unserem Logo wussten wir noch, was wirklich war.

Interessant wird es, wenn das niemand mehr weiss.

Quellen und weiterführende Literatur

• Shumailov, Ilia et al. (2024): AI models collapse when trained on recursively generated data. Nature, 631, 755–759.
• Lyell, David / Coiera, Enrico (2017): Automation bias and verification complexity: a systematic review. Journal of the American Medical Informatics Association, 24(2), 423–431.
• Goddard, Kate / Roudsari, Abdul / Wyatt, Jeremy C. (2012): Automation bias: a systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121–127.

Wie belastbar ist die Informationsbasis Ihrer Entscheidungen?

KI kann Entscheidungen beschleunigen, Informationen verdichten und Zusammenhänge sichtbar machen. Damit wächst jedoch auch die Bedeutung der Frage, worauf diese Entscheidungen eigentlich beruhen.

Welche Quellen fliessen in Ihre Systeme ein? Sind sie tatsächlich unabhängig voneinander? Lässt sich ihre Herkunft noch nachvollziehen? Und was geschieht, wenn eine falsche Annahme nicht nur eine Antwort beeinflusst, sondern weitere Entscheidungen, Daten und Prozesse?

Im nexoPreneur Strategie-Audit untersuchen wir nicht nur, wie KI in Entscheidungsprozessen eingesetzt wird. Wir prüfen auch die Annahmen, Informationsquellen und Kontrollmechanismen, auf denen diese Prozesse beruhen.

* Bildhinweis: Das Titelbild wurde KI-gestützt mit ChatGPT/Bildgenerierung erstellt. Redaktionelle Vorgabe, Auswahl und Veröffentlichung: Kerstin Milde.

Hinweis zur Erstellung: Dieser Beitrag wurde von Roger Kern konzipiert, geprüft und final bearbeitet. KI-Systeme wurden unterstützend für Struktur, Gegenperspektiven, SEO und sprachliche Varianten eingesetzt.