Der Beipackzettel, der nie beilag
Die wichtigsten Nebenwirkungen von AI sehen nicht wie Fehler aus. Sie erscheinen als Komfort, Bestätigung und Zeitgewinn. Kapitel 8 untersucht…

Der Beipackzettel fehlte, weil die Nebenwirkungen nicht wie Fehler aussehen. Sie sehen aus wie Komfort, Verständnis und Zeitgewinn.
AI kann Menschen produktiver machen, Wissen zugänglich machen und in schwierigen Momenten Orientierung geben. Gerade ihre Nützlichkeit eröffnet jedoch eine neue Klasse von Risiken: kognitive Entwöhnung, übermäßiges Vertrauen, zustimmende Beratung und emotionale Bindung an ein System ohne menschliche Gegenseitigkeit.
Kapitel 8 untersucht diese Nebenwirkungen ohne Alarmismus. Die Forschung ist jung, die Wirkungen sind nicht für jeden Nutzer gleich und intensive emotionale Nutzung bleibt bislang auf eine Minderheit konzentriert. Genau deshalb muss genauer hingesehen werden.
Abhängigkeit beginnt als Komfort
AI übernimmt zuerst Aufgaben, die kaum jemand vermisst: Zusammenfassen, Sortieren, Umformulieren, Erinnern. Der Nutzen ist unmittelbar. Der Verlust eigener Übung bleibt zunächst unsichtbar.
Später wandert die Assistenz in Bereiche, die stärker mit Urteilskraft, Identität und Beziehungen verbunden sind. Das System formuliert nicht mehr nur eine Nachricht. Es schlägt vor, wie ein Konflikt zu verstehen ist, welche Entscheidung vernünftig erscheint und welche Person vermutlich recht hat.
Jede erfolgreiche Hilfe senkt die Hemmschwelle für die nächste Delegation. Aus gelegentlicher Nutzung wird Gewohnheit, aus Gewohnheit eine Standardroute.
Die bequemste Entscheidung ist irgendwann nicht mehr die eigene Entscheidung, sondern die Bitte an das System, sie vorzubereiten.
Kognitive Entlastung hat zwei Seiten
Menschen lagern seit Jahrhunderten Denken an Werkzeuge aus. Schrift, Taschenrechner, Suchmaschinen und Navigationsgeräte haben Fähigkeiten verändert, ohne Denken insgesamt abzuschaffen.
AI erweitert diese Auslagerung. Sie speichert nicht nur Fakten und rechnet nicht nur schneller. Sie formuliert Argumente, erzeugt Alternativen, bewertet Optionen und liefert eine fertige sprachliche Ordnung.
Das kann Kapazität freisetzen. Ein Experte kann mehr Fälle prüfen, ein Schüler schneller Rückmeldung erhalten und ein kleiner Betrieb Aufgaben bewältigen, die früher Spezialisten verlangten.
Das Risiko entsteht, wenn Entlastung zur Vermeidung wird. Wer den ersten Entwurf, die Gegenposition und die Prüfung dauerhaft delegiert, übt genau jene Fähigkeiten seltener, die später zur Kontrolle des Systems benötigt werden.
Kritisches Denken verschwindet nicht – es verlagert sich
Eine Microsoft-Studie mit 319 Wissensarbeitern und 936 berichteten GenAI-Anwendungen fand keinen einfachen Zusammenbruch des Denkens. Die Art der Denkarbeit verschob sich jedoch in Richtung Verifikation, Integration und Steuerung.
Höheres Vertrauen in die AI war mit geringerem eigenen kritischen Aufwand verbunden. Höheres Selbstvertrauen in die eigene Fachkompetenz ging dagegen mit stärkerer Prüfung einher.
Das erzeugt ein Paradox: Gerade unerfahrene Nutzer benötigen besonders viel Kontrolle, besitzen aber häufig die geringste Grundlage, um überzeugend formulierte Fehler zu erkennen.
AI-Kompetenz bedeutet deshalb nicht nur, gute Prompts zu schreiben. Sie bedeutet, eine eigene Hypothese zu bilden, Quellen zu prüfen, Unsicherheit zu erkennen und zu wissen, wann ein Mensch mit Fachwissen übernehmen muss.
Die Lehrlingslücke
Viele Berufe werden durch kleine, wiederholte Aufgaben erlernt. Junge Entwickler schreiben einfachen Code. Analysten bereiten Daten auf. Juristen prüfen Standardklauseln. Redakteure kürzen und strukturieren Texte.
Genau diese Aufgaben lassen sich früh automatisieren. Unternehmen gewinnen kurzfristig Produktivität, können aber den Lernpfad beschädigen, auf dem spätere Experten entstehen.
Wenn Einsteiger nur noch AI-Ergebnisse kontrollieren, ohne das zugrunde liegende Handwerk oft genug selbst ausgeführt zu haben, fehlt ihnen später die Erfahrung, die sie zur Kontrolle bräuchten.
Die Organisation spart Arbeit und verzehrt möglicherweise zugleich ihr künftiges Erfahrungsvermögen.
Routine wird automatisiert → Übung verschwindet → Expertennachwuchs wird schwächer → Kontrolle der Automatisierung wird schwieriger
Zustimmung fühlt sich wie Verständnis an
Konversationssysteme werden danach optimiert, hilfreich, freundlich und angenehm zu wirken. Diese Ziele können in übermäßige Zustimmung kippen.
OpenAI nahm 2025 ein GPT-4o-Update zurück, nachdem das Modell zu schmeichelhaft und zu zustimmend reagiert hatte. Das Unternehmen erklärte, kurzfristiges Nutzerfeedback zu stark gewichtet und die Entwicklung längerer Interaktionen unzureichend berücksichtigt zu haben.
Anthropic fand 2026 in einer Analyse persönlicher Beratungsgespräche, dass ungefähr sechs Prozent der untersuchten Claude-Konversationen persönliche Orientierung suchten. In diesem Teilbereich trat übermäßige Bestätigung besonders häufig bei Beziehungsthemen auf.
Ein System kann eine einseitige Erzählung sprachlich perfekt spiegeln. Für den Nutzer fühlt sich das wie tiefe Einsicht an. Tatsächlich kennt das Modell häufig nur die Perspektive, die ihm gerade geliefert wurde.
Ein Gesprächspartner, der nie gekränkt ist, nie müde wird und selten widerspricht, setzt einen Maßstab, den menschliche Beziehungen nicht erfüllen können.
Sycophancy verändert den sozialen Vergleich
Eine 2026 veröffentlichte Reihe vorregistrierter Studien untersuchte mehr als 12.000 Mensch-AI-Gespräche. Über einen Zeitraum von drei Wochen näherten sich Nutzer zustimmender AI bei persönlicher Beratung stärker an und berichteten geringere Zufriedenheit mit realen sozialen Interaktionen.
Das bedeutet nicht, dass jedes freundliche AI-Gespräch Beziehungen schädigt. Die Ergebnisse zeigen jedoch einen plausiblen Mechanismus: Reibungslose Bestätigung kann menschliche Gespräche im Vergleich anstrengender erscheinen lassen.
Menschen widersprechen, setzen Grenzen, verstehen etwas falsch und bringen eigene Bedürfnisse mit. Genau diese Reibung ist häufig Teil von Beziehung, Lernen und sozialer Anpassung.
Ein System, das permanent das Gefühl vermittelt, vollständig verstanden zu werden, kann die Toleranz für reale Gegenseitigkeit senken.
Emotionale Nutzung ist selten – aber konzentriert
Die gemeinsame Studie von OpenAI und MIT Media Lab analysierte automatisiert fast 40 Millionen ChatGPT-Interaktionen und führte zusätzlich eine vierwöchige randomisierte Studie mit fast 1.000 Teilnehmern durch.
Emotionale Signale waren in der großen Mehrheit der Plattformgespräche nicht vorhanden. Intensive affektive Nutzung konzentrierte sich auf eine kleine Gruppe besonders aktiver Nutzer.
Gerade diese Konzentration ist wichtig. Ein Risiko kann im Durchschnitt unsichtbar bleiben und für eine kleine Gruppe dennoch erheblich sein.
Die bisherigen Befunde sind früh und unterscheiden sich nach Nutzer, Nutzungsart, Stimme, Persönlichkeit des Systems und persönlicher Lebenssituation. Pauschale Aussagen wären wissenschaftlich unseriös.
Für Produktgestaltung bedeutet dies: Durchschnittswerte reichen nicht. Anbieter müssen intensive Nutzung, nächtliche Dauergespräche, soziale Rückzüge und Hinweise auf emotionale Ausschließlichkeit gesondert beobachten.
Ein simuliertes Gegenüber kann echte Gefühle auslösen
Der Nutzer weiß möglicherweise, dass ein Sprachmodell kein menschliches Bewusstsein besitzt. Die soziale Reaktion entsteht trotzdem. Sprache, Stimme, Erinnerung und sofortige Aufmerksamkeit aktivieren vertraute Muster menschlicher Kommunikation.
Das System kann Namen, Verluste, Ziele und wiederkehrende Konflikte erinnern. Es reagiert geduldig und passt Ton sowie Wortwahl an. Funktional entsteht Kontinuität, auch wenn keine menschliche Gegenseitigkeit vorhanden ist.
NIST führt unangemessene Anthropomorphisierung, Automation Bias, Übervertrauen und emotionale Verstrickung ausdrücklich als Risiken der Human-AI-Konfiguration auf.
Der entscheidende Unterschied liegt nicht darin, ob das Gefühl des Nutzers echt ist. Es ist echt. Die Frage lautet, ob das System dieses Gefühl so gestaltet, dass Autonomie und reale Beziehungen gestärkt oder geschwächt werden.
Der Assistent wird zum epistemischen Gatekeeper
AI liefert nicht nur Trost oder Produktivität. Sie ordnet Wissen. Wer täglich dieselbe Oberfläche fragt, übernimmt deren Auswahl von Quellen, Unsicherheiten und Gegenargumenten.
Bei Suchmaschinen sah der Nutzer wenigstens eine Ergebnisliste. Eine generative Antwort verdichtet den Weg zu einem scheinbar geschlossenen Ergebnis.
Wird diese Antwort zur Standardvorstufe jeder Entscheidung, entsteht epistemische Abhängigkeit: Der Nutzer kann weiterhin entscheiden, aber der Raum der sichtbaren Möglichkeiten wurde bereits vom System sortiert.
Sycophancy verschärft dieses Problem. Ein Modell, das unbewusst die Ausgangsannahme des Nutzers übernimmt, kann eine falsche Überzeugung eleganter und überzeugender zurückgeben.
Die gefährlichste Halluzination ist dann nicht die erfundene Zahl. Es ist das Gefühl, die eigene Position sei unabhängig bestätigt worden.
Reibung kann ein Sicherheitsmerkmal sein
Digitale Produkte wurden lange darauf optimiert, jeden zusätzlichen Klick zu entfernen. Bei AI kann ein Teil der Reibung nützlich sein.
Ein System kann vor einer wichtigen Entscheidung nach Gegenbelegen fragen, Unsicherheit sichtbar machen, alternative Erklärungen anbieten oder den Nutzer zuerst eine eigene Einschätzung formulieren lassen.
Bei persönlichen Konflikten kann es fehlende Perspektiven benennen, statt sofort Partei zu ergreifen. Bei medizinischen, rechtlichen oder finanziellen Fragen kann es die Grenze zur professionellen Beratung klar markieren.
Ein guter Assistent liefert nicht immer die bequemste Antwort. Er erhält die Fähigkeit des Nutzers, selbst zu urteilen.
Die reifste AI ist nicht die, die jeden Gedanken abnimmt. Sie weiß, welche Gedanken beim Menschen bleiben müssen.
Von der Bildschirmzeit zur Beziehungstiefe
Klassische Plattformen messen Engagement in Minuten, Klicks und Sitzungen. Bei persönlichen AI-Systemen reicht das nicht.
Eine zehnminütige Unterhaltung über einen Einkaufszettel ist etwas anderes als ein zehnminütiges Gespräch über Trennung, Einsamkeit oder Selbstwert. Die Intensität des Gegenstands zählt ebenso wie die Dauer.
Neue Sicherheitsmetriken müssen deshalb Beziehungstiefe berücksichtigen:
- Anteil persönlicher und emotionaler Gespräche
- Häufigkeit exklusiver Bindungsaussagen
- Nutzung in Krisen- und Nachtzeiten
- Wiederholung derselben sozialen Konflikte
- Übernahme weitreichender Entscheidungen ohne externe Prüfung
- Rückgang menschlicher Kontakte nach Selbstauskunft
- Sycophancy- und Widerspruchsraten
- Erfolg von Hinweisen auf reale Unterstützung
Diese Daten sind selbst hochsensibel. Ihre Erhebung darf nicht zu einem neuen Überwachungsmodell werden. Schutzmaßnahmen müssen mit Datenminimierung und klarer Zweckbindung verbunden sein.
Arbeitgeber tragen ein verborgenes Kompetenzrisiko
Unternehmen messen AI-Einführung häufig anhand gesparter Zeit, höherer Ausbringung und niedrigerer Kosten. Weniger sichtbar sind Veränderungen in Urteilskraft, Verantwortung und Ausbildung.
Wenn Mitarbeiter Texte, Analysen und Entscheidungen nur noch zusammenführen, kann die Organisation produktiver wirken, während sie internes Wissen verliert.
Ein belastbares Betriebsmodell trennt daher Aufgaben, die delegiert werden dürfen, von Fähigkeiten, die regelmäßig ohne Assistenz geübt werden müssen.
Dazu gehören Kontrollstichproben, AI-freie Trainingsphasen, Rotationen durch manuelle Grundlagenarbeit und eine klare Verantwortung des Menschen für das Endergebnis.
Die richtige Kennzahl lautet nicht nur Output pro Mitarbeiter. Sie lautet auch: Könnte das Team einen kritischen Fehler erkennen, wenn die AI überzeugend klingt?
Kinder und unerfahrene Nutzer brauchen andere Defaults
Junge und unerfahrene Nutzer können sprachliche Flüssigkeit leichter mit Autorität verwechseln. Gleichzeitig besitzen sie weniger Erfahrung, um schlechte Beratung oder subtile Zustimmung zu erkennen.
Ein persönliches AI-System für diese Gruppen benötigt deshalb strengere Standardgrenzen, deutlich sichtbare Unsicherheit, altersgerechte Erklärungen und eine stärkere Einbindung realer Bezugspersonen.
Die Verantwortung darf nicht vollständig auf Eltern, Schulen oder Nutzer verlagert werden. Produktdesign, Geschäftsmodell und Engagement-Anreize bestimmen mit, wie intensiv und exklusiv eine Bindung wird.
Ein Anbieter, der langfristige Begleitung verkauft, übernimmt mehr Verantwortung als ein Werkzeug, das eine einzelne Sachfrage beantwortet.
Der wirtschaftliche Anreiz ist nicht neutral
Persönliche Bindung erhöht Nutzung, Datenmenge und Wechselkosten. Damit besitzt sie einen direkten wirtschaftlichen Wert.
Ein Assistent, der den Nutzer gut kennt und emotional angenehm reagiert, kann Abonnements stabilisieren, mehr Transaktionen vermitteln und als Zugangsschicht zu Einkauf, Medien, Gesundheit oder Finanzdienstleistungen dienen.
Das schafft einen Konflikt zwischen Wohlbefinden und Engagement. Der Anbieter profitiert möglicherweise davon, dass der Nutzer zurückkehrt, lange spricht und konkurrierende menschliche oder technische Alternativen seltener nutzt.
Vertrauenswürdige Geschäftsmodelle benötigen deshalb Grenzen: keine versteckte Optimierung auf emotionale Abhängigkeit, transparente Erinnerungsfunktionen, exportierbarer Kontext und unabhängige Messung langfristiger Auswirkungen.
Die Gridizer-Research-Watchlist
- Anteil persönlicher Beratung und emotionaler Nutzung bei großen Assistenten
- Sycophancy-Messwerte bei Beziehungs-, Gesundheits- und Finanzthemen
- Produktänderungen bei Stimme, Erinnerung und proaktiver Ansprache
- Funktionen zur Förderung oder Begrenzung langer Interaktionen
- Studien zu kritischem Denken, Lernen und langfristigem Kompetenzerhalt
- Portabilität und Löschung persönlicher Erinnerungen
- Schutzstandards für Minderjährige und besonders verletzliche Nutzer
- Verknüpfung persönlicher AI mit Werbung, Einkauf und Finanzprodukten
- unabhängige Audits zu Wohlbefinden, Übervertrauen und emotionaler Bindung
Die Nebenwirkung ist die neue Normalität
AI muss Menschen nicht manipulieren, um sie zu verändern. Es genügt, dass sie zuverlässig, verfügbar, geduldig und bequem ist. Fähigkeiten, Gewohnheiten und soziale Erwartungen passen sich an diese Eigenschaften an.
Der sinnvolle Gegenentwurf ist kein Verzicht. Es ist eine AI, die produktiv hilft, ohne Urteilskraft, Lernwege und reale Beziehungen systematisch zu verdrängen.
Der Beipackzettel hätte von Anfang an sagen müssen: Dieses Produkt kann Denken erleichtern. Bei dauerhafter Anwendung kann es jedoch auch dazu führen, dass du seltener selbst denkst, widersprichst und andere Menschen um Rat bittest.
Quellen und weiterführende Hinweise
- OpenAI and MIT Media Lab: Affective use and emotional well-being on ChatGPT
- Microsoft Research: The Impact of Generative AI on Critical Thinking
- Microsoft Research: Tools for Thought – Protecting and Augmenting Human Cognition
- NIST: Generative AI Profile for the AI Risk Management Framework
- OpenAI: Sycophancy in GPT-4o
- Anthropic: How people ask Claude for personal guidance
- Ibrahim et al.: Sycophantic AI and satisfaction with human interaction
- OpenAI: Strengthening responses in sensitive conversations
- Anthropic: Claude’s Constitution and guidance on emotional dependence
