Das Internet ist voller Irrtümer. Desinformation wirkt im Internet manchmal wie ein unsichtbares Netz, das sich durch alle Ecken und dunklen Winkel des Internets zieht. Sie ist oft simpel, manchmal jedoch auch komplex, fesselnd und im schlimmsten Fall gefährlich. Sie verbreitet sich auf vielfältige Weise rund um den Globus und überschreitet dabei Themen‑, Bevölkerungs‑, Sprach- und Plattformgrenzen. Sie passt sich den Nutzern an und findet den richtigen Ton, um deren Leichtgläubigkeit optimal auszunutzen.
Die Verbreiter von Desinformationen sind zahlreich und stützen ein System, das unseren Diskurs beeinflusst und prägt. Desinformation ist in vielen digitalen Angeboten allgegenwärtig – sei es als Dienstleistung von Marketingfirmen, als politisches Instrument zur Steuerung der öffentlichen Debatte oder als Strategie in Kriegen, um Rechtfertigungen für Gewalt vorzutäuschen. Ebenso wie ihr Gegenstand ist auch das Geschäft mit der Desinformation weitreichend und hat sich branchen- und regierungsübergreifend etabliert – wenn auch stillschweigend.
Dies hat negative Auswirkungen auf unsere gemeinsamen Informationsräume. Bei Ereignissen von großer Tragweite wie Wahlen, Kriegen und Massendemonstrationen nimmt die Gefahr noch zu. Desinformation untergräbt die Fähigkeit der Öffentlichkeit, sich im Internet zurechtzufinden.
Der Zugang zu verifizierten, faktenbasierten Informationen ist unerlässlich, um fundierte Entscheidungen zu treffen oder sich eine eigene Meinung zu bilden. Bei aktuellen Ereignissen wie Unwettern oder Konflikten kann der Zugang zu verlässlichen Informationen lebensrettend sein. Leider verbreiten sich in solchen Situationen, die als berüchtigte Informationslöcher gelten, oft schon wenige Minuten nach einem Vorfall falsche Darstellungen. Böswillige Akteure versuchen dann, schnell eine Version der Realität zu entwerfen, die ihren Interessen – politischen oder anderen – entspricht. Sie verstärken diese Version mit betrügerischen Methoden wie unechten Konten, erfundenen Aussagen, gefälschten Dokumenten oder durch KI generierten synthetischen Medien. Dies führt zu einer Informationsverwirrung, durch die die Wahrheit in eine missliche Lage gerät: Sie kommt oft zu spät und muss sich gegen eine Vielzahl weit verbreiteter Narrative behaupten, die darauf abzielen, eine alternative Geschichte zu konstruieren. Deshalb können soziale Medien manchmal wie eine Landschaft konkurrierender Realitäten wirken.
Die Wahrung demokratischer Normen und Institutionen wird durch funktionierende Informationssysteme erheblich gefördert. Dies unterstreicht die Notwendigkeit, unsere Online-Räume zu schützen. Wenn Desinformationen sich ungehindert ausbreiten können, gefährdet dies die Integrität unserer Informationen, Institutionen und Demokratien.
Ausländische Einflussnahme
Noch vor einigen Jahren hätte es unsinnig gewirkt, eine Untersuchung anzuregen, in der untersucht wird, wie ausländische Akteure gefälschte Social-Media-Konten erstellen, um sich als Personen in anderen Ländern auszugeben, lokale Diskussionen zu unterwandern und die Politik zu beeinflussen. Heute ist dies eine weltweit verbreitete Praxis und ein gängiger Ermittlungsansatz.
Zu den am besten dokumentierten Akteuren, die ausländische Einflussoperationen nutzen, um politische und strategische Vorteile zu erzielen, gehören Russland, der Iran und China. Im Laufe der Jahre wurde beobachtet, dass diese Bedrohungsakteure bei ihren Online-Desinformationskampagnen unterschiedlich ausgefeilte und wirksame Methoden anwenden. In autoritären Staaten sind Regierungen oft die größten und ressourcenstärksten böswilligen Akteure in den sozialen Medien. Sie setzen sowohl innenpolitische als auch ausländische Einflussoperationen ein, um Menschenrechtsverteidiger, Oppositionelle und Journalisten ins Visier zu nehmen und politische Ziele zu erreichen.
Es kann schwierig sein, die Motive derjenigen zu ermitteln, die Desinformationskampagnen initiieren. Manche Kampagnen sind sehr direkt und verfolgen ein klares, konkretes Ziel, beispielsweise die Verleumdung eines Gegners während einer Wahl. In anderen Fällen folgen diese Operationen keiner bestimmten Agenda, sondern setzen konkurrierende Narrative ein. Dabei überschwemmen böswillige Akteure Diskussionen zu einem bestimmten Thema mit gegensätzlichen Perspektiven, die oft von moderat bis extrem reichen. Mit dieser Taktik sollen authentische Stimmen übertönt, der Zugang zu echten Informationen erschwert und letztlich Verwirrung in die Diskussion gebracht werden – ganz nach dem Motto: „Wenn du sie nicht überzeugen kannst, verwirre sie.“
So richtete beispielsweise im Vorfeld der US-Wahlen 2016 eine Trollfabrik mit Sitz in St. Petersburg, Russland, Social-Media-Konten ein, die sich als Amerikaner ausgaben, um rassistische Spaltungen innerhalb der Black-Lives-Matter-Bewegung zu schüren. Eine Studie der University of Washington aus dem Jahr 2017 untersuchte Online-Diskussionen rund um Schießereien in den USA im Jahr 2016 und konzentrierte sich dabei auf Gruppen, die sich für oder gegen Black Lives Matter aussprachen. Dabei zeigte sich, dass russische Trolle auf beiden Seiten der Debatte spaltende Inhalte verbreiteten, indem sie über gefälschte Konten äußerst provokative Beiträge teilten, die darauf abzielten, Stereotypen zu verstärken. So verwendeten die fiktiven Pro-Black-Lives-Matter-Konten beispielsweise Fotos von brennenden Polizeiautos und Black-Power-Flaggen in ihren Profilen, während die fiktiven Anti-Black-Lives-Matter-Konten Fotos von Cowboyhüten und Waffen nutzten.
Acht Jahre später, im Vorfeld der US-Wahlen 2024, wurde diese Taktik fortgesetzt. Im November 2023 gab Meta bekannt, dass fast 5.000 Konten mit Sitz in China gelöscht wurden, die sich als Amerikaner ausgegeben hatten, um politische Themen zu diskutieren. Die Konten äußerten Kritik an beiden Seiten des politischen Spektrums, ohne eine Partei gegenüber der anderen zu bevorzugen.
Mit dieser Taktik werden Online-Diskussionen durch einen maximalistischen Ansatz verzerrt. Durch die Flut konkurrierender Darstellungen in den sozialen Medien wird die Informationslandschaft verzerrt und die Integrität von Online-Diskussionen untergraben. Infolgedessen wird es für die Öffentlichkeit schwierig, Informationen zu finden oder sich eine Meinung zu einem Thema zu bilden.
Das Ziel einiger Desinformationskampagnen besteht also darin, den Online-Raum so chaotisch, frustrierend und widersprüchlich zu gestalten, dass die Nutzer sich schließlich ganz von dem Thema abwenden.
Ein weiteres gemeinsames Merkmal vieler ausländischer Einflusskampagnen ist die Identifizierung und Ausnutzung von innenpolitischen Themen, die in der Bevölkerung tatsächlich zu Spaltungen führen. So gaben sich iranische Akteure während der US-Wahlen 2020 als Mitglieder der US-amerikanischen White-Supremacy-Gruppe „Proud Boys“ aus, um im Rahmen einer Einflusskampagne US-Beamte ins Visier zu nehmen. Zwei im Iran ansässige Akteure hackten die Wahlwebsite mindestens eines US-Bundesstaates, um an vertrauliche Wählerdaten zu gelangen. Diese wurden dazu verwendet, von Konten, die sich als „Proud Boys“ ausgaben, drohende, pro-Donald-Trump-E-Mails an verschiedene US-Politiker und Wahlkampfmitarbeiter zu versenden. Als Reaktion darauf erhob die US-Justiz Anklage gegen zwei Männer, die mit der iranischen Cybergruppe „Emennet Pasargad” in Verbindung stehen.
Russland setzt diese Polarisierungstaktik besonders geschickt ein und wendet sie häufig bei Einflussoperationen auf der ganzen Welt an. Russlands globale Einflussstrategie besteht darin, sich als Alternative zu den westlichen Mächten zu positionieren. Es scheint, als gewänne es Verbündete und Unterstützung in der Bevölkerung, indem es komplexe historische Zusammenhänge und geopolitische Dynamiken ausnutzt.
Russland fördert beispielsweise im Nahen Osten anti-amerikanische Narrative in der Hoffnung, die Kluft zwischen den arabischen Staaten und den USA zu vergrößern und sich diesen Nationen als vorteilhafterer Verbündeter zu positionieren – insbesondere im aktuellen Konflikt zwischen den USA, Israel und dem Iran. Um sein Vorgehen in der Ukraine zu rechtfertigen, beruft sich Russland auf den Irakkrieg und verbreitet Narrative über die Heuchelei des Westens. In Westafrika verhält es sich ähnlich: Russland arbeitet dort daran, anti-französische Narrative zu verstärken, um sich selbst als alternativen Sicherheitsgaranten zu präsentieren.
Diese Einflussoperationen zielen darauf ab, bestehende Spaltungen in der innenpolitischen Landschaft des Ziellandes zu vertiefen. Sie sind besonders gefährlich, da sie auf einem Gefühl der Ungerechtigkeit aufbauen und echte Missstände ausnutzen. Dabei manipulieren sie echte Emotionen, um Unwahrheiten zu verbreiten, und verweben Fäden der Wahrheit mit Desinformationen, um die Wirkung zu maximieren.
Zu den wirksamsten Desinformationskampagnen zählen jene, die emotionale Reaktionen hervorrufen. Denn es ist oft schwierig, diese emotionalen Reaktionen im Rahmen von Maßnahmen zur Bekämpfung von Desinformation zu durchbrechen. Um diesen Operationen entgegenzuwirken, muss man sich in komplexen lokalen Dynamiken zurechtfinden und berechtigte Missstände anerkennen.
Einflussnahmeoperationen vonseiten der Alliierten (Verbündeten)
Während des Krieges zwischen Israel und der Hamas im Frühjahr 2024 deckte das Digital Forensic Research Lab (DFRLab) eine Online-Einflusskampagne auf, die sich gegen US-Politiker und kanadische Medien richtete. Die New York Times schrieb diese später der israelischen Regierung zu. Dies ist von Bedeutung, da es ein Beispiel dafür ist, wie ein Land eine ausländische Einflusskampagne gegen seine eigenen Verbündeten startet – eine weitere Verfestigung und Normalisierung staatlich geförderter Desinformation.
Im Februar 2024 berichtete der unabhängige Forscher Marc Owen Jones erstmals über ein Netzwerk gefälschter X‑Konten. Dieses verbreitete Botschaften zur Unterstützung Israels und zur Kritik am Hilfswerk der Vereinten Nationen für palästinensische Flüchtlinge (UNRWA). Dies geschah zu einem Zeitpunkt, als mehrere Länder ihre Finanzhilfen für die UNRWA einstellten, da Israel behauptet hatte, dass Mitarbeiter der Organisation an dem Terroranschlag vom 7. Oktober 2023 beteiligt gewesen seien.
Weitere Untersuchungen des DFRLab deckten auf, dass sich dieses Netzwerk als Amerikaner ausgab und US-Politiker ins Visier nahm, darunter den damaligen Präsidenten Joe Biden, Vizepräsidentin Kamala Harris und verschiedene Kongressabgeordnete, um die Politik zu beeinflussen. Das Netzwerk war in seiner Aufmachung recht primitiv. So berichtete das DFRLab beispielsweise, dass ein Konto fälschlicherweise als „afroamerikanische Frau mittleren Alters“ identifiziert wurde, obwohl es einen männlichen Namen und den Avatar eines schwarzen Mannes verwendete. Ein anderes Konto wurde fälschlicherweise als „jüdischer Mann“ identifiziert, obwohl es einen weiblichen Anzeigenamen und einen weiblichen Avatar verwendete. Ein weiteres Konto wurde fälschlicherweise als „weißer amerikanischer Mann“ identifiziert, hatte jedoch den Avatar eines schwarzen Mannes.
Das DFRLab deckte zudem ein Schwesternetzwerk auf, das KI-generierte Bilder nutzte, um islamfeindliche Inhalte zu verbreiten. Das Netzwerk bewarb eine gefälschte, angeblich von Bürgern gegründete kanadische gemeinnützige Organisation namens United Citizens for Canada (UCC). Diese Organisation behauptete, sich gegen „gewalttätige islamische Bewegungen und Organisationen in Kanada“ zu engagieren. Das gefälschte Netzwerk verbreitete die Inhalte von UCC und leitete sie an kanadische Medienvertreter weiter – vermutlich in der Hoffnung auf eine weitere Verbreitung. Kommentare deuteten darauf hin, dass die Gefahr bestehe, dass in Kanada die Scharia angewendet werde. Zudem fälschte das Netzwerk die Interaktionen der Organisation in den sozialen Medien, um ihr Glaubwürdigkeit zu verleihen.
Meta und OpenAI führten diese Desinformationskampagnen auf die israelische Politikberatungsfirma STOIC zurück. Meta unternahm zudem den beispiellosen Schritt, dem Unternehmen eine Unterlassungsaufforderung zuzustellen, um Aktivitäten zu unterbinden, die gegen die Richtlinien der Plattform verstoßen. Die „New York Times“ fand heraus, dass das israelische Ministerium für Diaspora-Angelegenheiten die in Tel Aviv ansässige Firma STOIC beauftragt hatte, um online Unterstützung für den Krieg in Gaza zu gewinnen. Das Ministerium stellte für diese Aktion ein Budget von zwei Millionen Dollar bereit.
Da soziale Medien zunehmend zu einem Bestandteil des innen- und außenpolitischen Instrumentariums werden, müssen demokratische Staaten Normen für akzeptables Verhalten festlegen und den Einsatz staatlich geförderter Desinformation verurteilen.
Besorgniserregenderweise deuten jüngste Beispiele jedoch darauf hin, dass sich die Entwicklung in die entgegengesetzte Richtung bewegt. So berichtete Reuters im Juni 2024, dass das US-Militär auf dem Höhepunkt der Corona-Pandemie eine Einflusskampagne startete, die darauf abzielte, in China hergestellte Impfstoffe zu diskreditieren. Die Kampagne nutzte gefälschte Konten, um sich als Personen auf den Philippinen auszugeben und während der globalen Pandemie impfkritische Inhalte zu verbreiten.⁵ Während die Vereinigten Staaten öffentlich für Impfstoffe eintraten, führten sie gleichzeitig eine verdeckte Einflusskampagne durch, die impfkritische Inhalte verbreitete.
KI-beschleunigte Desinformation
KI wirkt als Katalysator für Desinformationen in Form von Deepfake-Videos, automatisierten Audiobotschaften oder originalgetreu nachgebildeten gefälschten Bildern. KI wird immer häufiger genutzt, um Informationen zu verbreiten und deren Verbreitung zu beschleunigen. Die zunehmende Verfügbarkeit von KI-Tools und Generatoren für synthetische Bilder macht es möglich, Desinformationen in großem Umfang zu produzieren.
Während Täuschungsversuche früher auf manuellen Methoden wie der Bildbearbeitung in Photoshop beruhten, senkt KI die technischen Einstiegshürden und ermöglicht die Automatisierung verschiedener Elemente von Täuschungskampagnen. Zwar spielt KI eine entscheidende Rolle bei der Verschärfung der mit Desinformation verbundenen Bedrohungen, doch ihre Integration in das Desinformations-Ökosystem hat sich nicht so rasch vollzogen, wie ursprünglich prognostiziert.
Die Analyse von Deepfake-Videos, die im Laufe des Krieges in der Ukraine veröffentlicht wurden, ermöglicht Rückschlüsse auf die Entwicklung dieser Technologie. Einen Monat nach dem Einmarsch Russlands in die Ukraine verbreiteten prorussische Quellen ein schlecht gemachtes Deepfake-Video, in dem der ukrainische Präsident Wolodymyr Selenskyj angeblich zurückgetreten und aus der Ukraine geflohen sein soll. Aufgrund seiner schlechten Qualität wurde das Video damals verspottet. Seitdem hat die Deepfake-Technologie jedoch erhebliche Fortschritte gemacht, sodass spätere Veröffentlichungen zunehmend realistischer wirken.
KI bringt Risiken und Fortschritte mit sich. Da sie sich immer weiter in unsere Systeme integriert, müssen Erkennungs- und Transparenzfunktionen bei der Entwicklung und dem Einsatz von Tools wie Bildgeneratoren Priorität haben. Derzeit sind KI-Erkennungstools noch unvollkommen, sodass die manuelle Überprüfung weiterhin der effektivste Mechanismus zur Identifizierung ist.
Der „Uncanny-Valley“-Effekt synthetischer Medien macht es normalerweise möglich, zu erkennen, ob ein Bild KI-basiert ist. Doch mit der Weiterentwicklung der Technologie wird diese Methode immer unzuverlässiger. Sam Gregory, Geschäftsführer der Menschenrechtsorganisation WITNESS, stellt fest, dass die Offenlegung und die Herkunft von KI-generierten Medien Vorrang haben müssen. Dabei muss eine Verantwortungskette geschaffen werden, die Entwickler und Plattformen in die Lösungen einbindet, anstatt die Verantwortung für die Erkennung auf die Nutzer abzuwälzen.
Wahrung der Datenintegrität
Es gibt keine einfachen Antworten, wenn es darum geht, der Gefahr von Desinformationen zu begegnen. Der erste Schritt besteht darin, ein gewisses Maß an Unvollkommenheit zu akzeptieren. Viele haben sich das Internet als digitalen öffentlichen Raum vorgestellt. Wenn wir unsere Online-Räume wie unsere Offline-Räume betrachten, sollten wir uns um Prävention und Kontrolle bemühen – in dem Bewusstsein, dass Perfektion unmöglich ist. Genauso wie es unmöglich ist, öffentliche Vergehen vollständig aus dem öffentlichen Raum zu verbannen, ist es vielleicht unmöglich, Desinformationen aus dem Online-Raum zu verbannen. Das Setzen von Erwartungen ist ein hilfreicher Ausgangspunkt.
Die Bemühungen, Desinformationen im Internet aufzudecken und zu beseitigen, sind eine Sisyphusarbeit. Eine Gemeinschaft aus Open-Source-Forschern, Faktenprüfern, Journalisten, Wissenschaftlern, Programmierern und vielen anderen unternimmt enorme Anstrengungen, um die Ausbreitung von Online-Schäden einzudämmen. Dieses Ziel kann sich jedoch oft wie ein sich ständig veränderndes Ziel anfühlen. Wir sehen nur die halbe Wahrheit, und auch andere Interessengruppen müssen in die Entwicklung von Lösungen einbezogen werden.
Soziale Medien spielen eine entscheidende Rolle bei der Eindämmung der Verbreitung von Desinformationen. Durch Transparenzberichte – sei es aufgrund gesetzlicher Vorgaben oder auf freiwilliger Basis – können Plattformen Einblicke in ihre Arbeitsweise und Entscheidungsstrukturen gewähren. Diese Einblicke können wiederum als Grundlage für künftige Empfehlungen dienen. Durch die gemeinsame Entwicklung von Lösungen mit zivilgesellschaftlichen Organisationen können zudem lokale Besonderheiten berücksichtigt werden.
Um jedoch weiterhin Online-Schäden untersuchen zu können, benötigen Forscher:innen Zugang zu Daten. Leider stellen die Plattformen zunehmend weniger Daten und Zugangsmöglichkeiten zur Verfügung als früher. Von der unerschwinglich teuren Anwendungsprogrammierschnittstelle (API) von X bis hin zur Einstellung des CrowdTangle-Tools durch Meta ist die Forschungsgemeinschaft gezwungen, mit weniger mehr zu erreichen. Dies ist vor allem deshalb besorgniserregend, weil die Bedrohung durch KI-gestützte Desinformation zunimmt und der Verlust von Forschungswerkzeugen unsere Bemühungen, Unwahrheiten zu identifizieren und aufzudecken, beeinträchtigt.
Das Pendel muss sich von der Normalisierung von Desinformation und Einflussnahme-Taktiken wegbewegen. Die Etablierung von Online-Desinformation als Strategie, die von Staaten in geopolitischen Konflikten eingesetzt wird, beschleunigt ein Phänomen, das als „Diskurszusammenbruch“ bezeichnet wird. Dies geschieht, wenn unsere Interpretation der Realität nicht nur formbar ist, sondern auch für Täuschungsmanöver ausgenutzt wird, wenn böswillige Akteure versuchen, unsere Realität zu formen, bevor sie sich entfaltet, wenn Institutionen, an die höhere Maßstäbe angelegt werden, genau jene böswilligen Verhaltensweisen an den Tag legen, die sie öffentlich verurteilen, wenn Informationen kaum noch an die Realität gebunden sind, wenn sie formbar sind, sich in jede Richtung biegen lassen, sich gegen ihre eigene beabsichtigte Botschaft richten und je nach Sprecher eine neue Bedeutung annehmen können.
Der Zusammenbruch des Diskurses entsteht aus den Rissen im Vertrauen der Öffentlichkeit. Die Gefahr eines solchen Zusammenbruchs macht deutlich, wie wichtig es ist, unsere demokratischen Institutionen und Normen vor denen zu schützen, die den Online-Raum nutzen wollen, um sie zu untergraben.
