Kanäle auf Tiktok denken sich massenhaft falsche staatliche Vorschriften aus. Vielfach sind die Inhalte KI-generiert und verstoßen gegen die Tiktok-Richtlinien. Die Plattform kennt das Problem – reagiert aber nur vereinzelt und bekommt die Masche nicht in den Griff. Eine GADMO-Recherche des Faktencheck-Teams der Deutschen Presse-Agentur (dpa).

Es ist Anfang August, mitten in den Sommerferien, als Nutzer auf Tiktok eine Sensationsnachricht lesen. „Acht Wochen Sommerferien ab 2026? Ein neuer Vorschlag sorgt gerade für Aufregung unter Eltern, Lehrern und Schülern“, sagt ein Mann in die Kamera. Im Hintergrund ist eine Darstellung von Kanzler Friedrich Merz mit strengem Blick am Rande eines Schulhofs zu sehen.

Viele User nehmen die Botschaft ernst: „Wir haben glaube ganz andere Probleme, als über 8 Wochen Sommerferien zu diskutieren 🤦‍♀️Man kann die ganzen Ferien sowieso nicht mit dem Urlaub abdecken. Gibt es dafür mehr Geld und Urlaub? Unfassbar !!!“, schreibt eine Kommentatorin. Mehr als 4000 Accounts beteiligen sich an der Diskussion, das Video wird mehr als 720.000 Mal angesehen. Jede Menge Freude und Frust – ausgelöst von einer Meldung, die komplett erfunden ist. Vorgetragen von einem KI-Avatar, nicht von einem echten Menschen.

Dennoch verbreitet sich die Geschichte weiter. In den Tagen danach taucht die Falschbehauptung auf weiteren Accounts der Plattform auf. Das Verifikationsteam der Deutschen Presse-Agentur (dpa) veröffentlicht am 12. August einen Faktencheck. Die dpa-Tochter dpa-infocom kooperiert unter anderem mit Meta und Tiktok im Rahmen der Faktencheck-Programme der Plattformen.

Die Verbreitung bremst der Faktencheck nicht. Tage später ist die fingierte Ferien-Verlängerung auch auf anderen Plattformen wie Youtube angekommen.

Falschmeldungen nach diesem Muster sind kein Einzelfall. Der Sommerferien-Fake ist Teil einer Masche, die sich nicht nur, aber vor allem auf Tiktok findet. In den Videos wird immer eine angebliche Neuregelung präsentiert, die in den Alltag der Nutzerinnen und Nutzer eingreift. Mit den erfundenen staatlichen Regeln wollen die Macher Reichweite generieren, lösen aber gleichzeitig erhebliche Verunsicherung aus. Seit dem Frühsommer 2024 beobachtet das Faktencheck-Team der dpa das Phänomen, auch anderen Faktencheckern fällt es auf. Auch der “Faktenfuchs” des Bayerischen Rundfunks veröffentlichte kürzlich eine Recherche dazu.

In dieser Analyse hat das dpa-Team für GADMO 32 Tiktok-Accounts untersucht, die fast ausschließlich solche Videos über erfundene neue Vorschriften der Politik verbreiten. Mehrere Videos erreichten Millionen Nutzer. Auf allen gab es Hinweise auf die Verwendung von KI, oft, ohne dass dies gekennzeichnet wurde. Die Motive der Verbreiter bleiben im Dunkeln. Doch die Masse an Falschinformationen ist geeignet, bei vielen Menschen grundsätzliches Misstrauen gegenüber dem Staat zu säen.

Wie funktioniert die Tiktok-Masche mit den erfundenen Behörden-Vorschriften?

Viele Videos in den 32 untersuchten Accounts folgen einem Muster: Zu Beginn sagt eine Stimme „Achtung“, „Eilmeldung“ oder „Schock“, um Aufmerksamkeit zu wecken. Dann nennt sie den vermeintlich nahen Stichtag: Ab dem 1. Tag eines bestimmten Monats sei es so weit, dann trete die angeblich neue Regelung in Kraft: zum Beispiel Einschränkungen für Autofahrer oder ein neues Kopftuchverbot.

Die Videos setzen auf Sensationslust und Emotionalisierung. Die vermeintlichen Reformen werden als „drastisch“ oder „eine wichtige Änderung“ angekündigt. Großbuchstaben und Ausrufezeichen in den Videos sollen offensichtlich Dringlichkeit vermitteln.

KI ermöglicht Video-Erstellung ohne viel Aufwand

Dass die Videos in solchen Massen erstellt werden können, ist eine Folge der technologischen Entwicklung: Auf allen 32 untersuchten Accounts waren Hinweise auf die Nutzung Künstlicher Intelligenz zu finden. Der Sprecher aus dem Off ist in der Regel eine KI-Stimme. Immer wieder lässt sich das an falschen Betonungen, unnatürlichen Pausen und plötzlichen Akzenten erkennen.

Auch die Optik ist geprägt vom Einsatz von KI. Wurden anfangs auf einigen Accounts noch echte Fotos eingeblendet, dienten zuletzt vor allem KI-generierte Bilder zur Illustration der angeblichen Vorschriften. Mal ist dann ein streng blickender Friedrich Merz auf dem Schulhof zu sehen. Mal eine KI-Version von Alice Weidel, die zu einem erfundenen Kopftuchverbot in einer Schulklasse mit Kopftuch tragenden Mädchen gezeigt wird.

Die massenhafte Erstellung von KI–Videos mit falschen, irreführenden oder banalen Inhalten ist mittlerweile unter dem Schlagwort „AI Slop“ bekannt, in etwa KI-Schrott. Mit den verfügbaren KI-Modellen zur Text- und Bildgenerierung produzieren die Macher solcher Videos minderwertigen Content, mit dem sie Plattformen wie Tiktok oder Instagram fluten und regelrecht vermüllen.

„Inzwischen geht das teilautomatisiert, indem man diverse Accounts sich quasi selbst befüllen lässt“, sagt der Politik- und Kommunikationswissenschaftler und Tiktok-Experte Marcus Bösch. Tiktok sei als Infrastruktur dafür extrem gut geeignet. „Durch die algorithmische Empfehlung gibt es kein System mehr wie noch früher mit einem Social Circle auf Instagram und Facebook. Dort musste man solche Accounts erst hochzüchten. Auf Tiktok kann schon das allererste Video gegebenenfalls viral gehen“, so Bösch. Die Betreiber der Accounts sind also nicht mehr abhängig davon, sich erst aufwändig eine Community aufzubauen.

Auf einigen Accounts lässt sich nachvollziehen, mit welchen Programmen die AI-Slop-Videos entstanden sein könnten. So sind die Presenter in vielen Videos Comic-Figuren, die Nutzern von den angeblich drohenden Vorschriften erzählen. Mitunter prägen sie den gesamten Auftritt eines Accounts. Viele davon sind als Avatare des Grafikdesign-Tools „Express“ vom US-Softwareunternehmen Adobe auffindbar, dort tragen sie Namen wie „Amos“, „Cecil“, „Mark“ und „Dr. Applesmith“. Das Tool ermöglicht Nutzern, Figuren auf Grundlage einer Audiodatei zu animieren. Auch ein Logo der kostenlos verfügbaren App „Fotoplay“ findet sich in einem Video. Mit der Software lassen sich einfach und schnell Videos bearbeiten. Die Beispiele zeigen, dass mit der Verbreitung von KI-Tools weder besondere Kenntnisse noch teure Software gebraucht werden, um solche Videos in Massen herzustellen. 

Verbindungen zwischen Accounts erkennbar

Die 32 untersuchten Accounts lassen sich auf Grundlage verschiedener Merkmale grob fünf Gruppen zuordnen. Tiktok-Accounts einer Gruppe verwenden etwa ähnliche Benutzernamen, identische Links in der Bio, ähnliche KI-Bilder als Profilbild sowie fast identische Videos mit ähnlichen, nur leicht variierten Layouts. Teilweise teilen die Profile die Clips von anderen Accounts, das deutet auf einen Zusammenhang hin. Ob dahinter tatsächlich der gleiche Account-Betreiber steht, ließ sich nicht bestätigen.

Massentaugliche Inhalte, Reizthema Geld

Die Themen der Videos bieten für viele Menschen Anknüpfungspunkte: Zu Inhalten wie den „acht Wochen Sommerferien“ hat fast jeder eine Meinung. Auch das Reizthema Geld spielt immer wieder eine Rolle: So verbreiten sich über mehrere Kanäle hinweg irreführende Clips über eine 700 Euro hohe Bonuszahlung für Eltern. Was sie dafür angeblich tun müssten? Lediglich das gelbe Kinderuntersuchungsheft bei einer Krankenkasse einreichen. In manchen Videos ist von einem „Anspruch auf 700 Euro“ die Rede. Doch ein Gesetz, das eine solche verpflichtende Leistung pauschal für alle Krankenkassen vorsehen würde, existiert nicht.

Auch der Straßenverkehr bewegt viele Menschen – die Tiktok-Videos greifen das auf: Im März verbreiten sie, dass Autos künftig nur noch vom Fahrzeughalter gefahren werden dürfen – sonst drohten drastische Strafen. So eine gesetzliche Änderung gab es aber nicht, wie ein dpa-Faktencheck zeigt. Ebenso erfunden ist ein verpflichtender Führerschein für E-Scooter. In anderen Fällen werden längst eingeführte Maßnahmen wie das Wohngeld als neu verkauft. Seit dem Sommer 2024 hat die dpa rund 30 Faktenchecks zu Falschmeldungen veröffentlicht, die auch auf den hier untersuchten AI-Slop-Accounts auf Tiktok zu finden sind.

Manchmal verknüpfen die Kanäle die Alltagsthemen in ihren Videos mit kontroverser Krisenpolitik: Im Frühsommer 2025 verbreiten sich Videos mit erfundenen Behauptungen über einen vermeintlich neuen Solidaritätszuschlag zugunsten ausländischer Staaten wie der Ukraine oder Israel. Das erinnert an ein bekanntes Muster russischer Desinformation: Zweifel und Kritik an der Unterstützung der Ukraine durch Falschinformationen zu säen oder zu verstärken. Auf einigen der untersuchten Tiktok-Accounts thematisieren Videos auch immer wieder echte oder vermeintliche Entwicklungen im Ukraine-Krieg oder Äußerungen von Russlands Präsident Wladimir Putin. So mischen sich Aufreger über Alltagsthemen wie Geld und Verkehr mit typischen Desinformationsinhalten.

Das Narrativ: Der Willkür des Staates ausgeliefert

Der Staat erscheint in den Videos als eine Art Übermacht, neue Regelungen scheint er in dieser Welt nach Belieben einführen zu können. Wie das politische System Deutschlands tatsächlich funktioniert, spielt keine Rolle. Egal, wer die vermeintliche politische Änderung tatsächlich durchführen müsste – der Bundestag, die Bundesregierung, Länder oder Kommunen -, in den Videos gibt es für das drohende Ungemach oft nur einen Schuldigen: den Bundeskanzler. 

So ist der KI-generierte Merz mit gerunzelter Stirn oft selbst dann im Hintergrund zu sehen, wenn es gar nicht um ihn geht oder er zuständig wäre; und auch der Text der KI-Stimme unterstellt Merz direkte Befugnis: „Friedrich Merz hat es verkündet“ sagt sie beispielsweise, obwohl Merz sich nie geäußert hat. Das Prinzip der Gewaltenteilung spielt keine Rolle.

Das wird zum Problem, wenn sich immer mehr Menschen auf Plattformen wie Tiktok über Politik informieren. Dieser Trend ist seit Jahren sichtbar, gerade unter den Jüngeren. Kritik am Staat und politischen Vorgaben sind selbstverständliche Bestandteile der Meinungsbildung in einer Demokratie – aber sie muss auf Grundlage von Fakten geäußert werden. Die Videos dagegen präsentieren einen Staat, der willkürlich in jeden Lebensbereich einzugreifen scheint und die Freiheiten seiner Bürger drastisch einschränkt. Wer die Kanäle konsumiert und ihnen Glauben schenkt, wird sich dem Staat hilflos ausgeliefert fühlen. Nachvollziehbar, wenn sich dann Ablehnung und sogar Hass gegenüber der Politik und ihren Repräsentanten entwickeln.

„Wenn hier nicht klar Desinformationskampagnen dominieren, geht es meiner Ansicht nach darum, den Ansatz zu verfolgen: Flood the Zone“, sagt der Tiktok-Experte Marcus Bösch. „Flood the Zone“ meint das Vermüllen einer Online-Plattform mit einem bestimmten Weltbild. Das Hauptziel sei Verunsicherung.  „Es geht nicht darum, dass die Nutzer wirklich glauben, ab einem bestimmten Datum passiere etwas, sondern darum, mit der Möglichkeit zu spielen, dass es ja sein könne“, sagt Bösch.  Am Ende bleibe der Eindruck: Die Elite, die da oben, die spinnen ja wohl mit ihren Vorschriften.

Einfluss oder Geld als Ziel?

Welche Motivation steht hinter den Accounts? Geht es um politische Desinformation? Die Videos bespielen einerseits ein typisches Narrativ: Der Staat wird als willkürlich und  unberechenbar dargestellt, Politik als grundsätzlich nicht verlässlich. Aber ob die Accounts überhaupt das Ziel verfolgen, politische Desinformation zu verbreiten, bleibt aber unklar.

Denn andererseits wollen manche Profile in ihrer Account-Bio den Content zum Spaß umdeuten: „Satire! dient zur Unterhaltung!“, steht dort etwa. Aber der Satire-Hinweis wirkt wie Selbstschutz vor einer Sanktion durch Tiktok. Laut den Community Richtlinien gelten für satirische Inhalte bei Verstößen mitunter Ausnahmen.

Manchen Accounts geht es auch offensichtlich um Geld. Die Videos lösen Emotionen wie Frust und Zustimmung aus. Emotionen versprechen Reichweite – Reichweite auf Social-Media-Plattformen lässt sich monetarisieren.

Möglicher Verdienst über Affiliate-Programme

Ein Beispiel: Mehrere Profile einer untersuchten Gruppe um einen Account, der als Finanzexperte auftritt, teilten in ihrer Bio einen Link zu derselben Webseite. Dort wurde unter anderem für ein kostenloses Geschäftskonto – „ohne SCHUFA-Abfrage“ – des Fintech-Unternehmens Vivid Money geworben. Es handelte sich dort um einen sogenannten Business-Affiliate-Link. Schließt jemand über einen solchen Link einen neuen Kontovertrag ab, schütten die Unternehmen bei solchen Affiliate-Partnerprogrammen in der Regel eine Provision an den Vertriebspartner aus.