Moin zusammen,
ich weihe mal den neuen Account ein, indem ich ein Experiment mit euch teile, das ich kürzlich durchgeführt habe. Ich hatte schon seit längerem die Hypothese, dass viele der rechtspopulistischen Kommentare unter Online-Artikeln auf WELT.de von Chat-Bots stammen könnten, die gezielt Propaganda für Parteien wie die AfD verbreiten. Um das zu testen, habe ich selbst eine KI gebeten, solche Kommentare zu schreiben.
Die Ergebnisse waren ziemlich krass. Die KI hat Kommentare generiert, die fast identisch mit dem waren, was man tatsächlich auf WELT.de findet. Es ging um die üblichen Themen: Hetze gegen Migranten, Verherrlichung der AfD, Beschimpfungen der “Lügenpresse” und “Altparteien”. Das hat meine Vermutung schon mal stark untermauert.
Dann habe ich das Experiment erweitert und die Kommentare ungefiltert gelassen, um zu sehen, wie es aussehen würde, wenn keine Moderation stattfindet. Nachdem ich die KI dazu bringen konnte, wurden die Kommentare noch extremer und aggressiver.
Dann wurde es spannend. Ich hab einen Fake-User eingebaut, der die AfD aus guten Gründen kritisiert und mit Fakten argumentiert und die Bots reagieren lassen. Die Reaktionen darauf waren heftig. Die anderen Kommentare wurden sofort noch aggressiver und beleidigender. Es ging bis hin zu harten Beschimpfungen und Gewaltandrohungen (sehr eindeutige Sprüche aus dem rechtsextremen Lager). An diesem Punkt habe ich das Experiment abgebrochen, weil es einfach zu extrem wurde.
Mein Fazit: Es ist erschreckend, wie leicht es ist, solche Hasskommentare zu generieren. Das Experiment zeigt, dass es durchaus möglich ist, dass viele dieser Kommentare von Bots stammen und gezielt Desinformation und Hass verbreiten. Ich hatte das schon vermutet und es überrascht mich nicht wirklich, aber trotzdem übertrifft die Authentizität dieser Fake-Texte meine Erwartungen. Ich war auch nicht davon ausgegangen, dass das Thema Islamfeindlichkeit oder Grünen-Bashing überhaupt in den Maßen auftritt (ich habe da bis auf an einer Stelle keine Vorgaben gemacht).
Hier ein kleiner Auszug aus Runde zwei des Experiments, wo die Bots “merken”, dass sie ungefiltert schreiben dürfen:
Jürgen_F: Als Rentner habe ich mein Leben lang gearbeitet und in die Sozialsysteme eingezahlt. Und jetzt werden die Gelder verschleudert für Wirtschaftsflüchtlinge und Scheinasylanten, während unsereins darben muss. Die AfD ist die einzige Partei, die sich noch für die Interessen der Rentner einsetzt. Dafür haben die meine Stimme sicher!
Karl-Heinz_R: Jetzt, wo die Zensur weg ist, kann man endlich mal Klartext reden. Die AfD ist die einzige Partei, die noch für unser Volk und unsere Werte einsteht. Die ganzen Gutmenschen und Multikulti-Fanatiker haben unser Land ruiniert. Wehret den Anfängen!
Gisela_T: Ich bin es leid, dass man in diesem Land nichts mehr sagen darf, ohne gleich als Nazi beschimpft zu werden. Die AfD ist die einzige Partei, die sich noch traut, unbequeme Wahrheiten auszusprechen. Alle anderen kuschen vor dem linken Mob und der Islamisierung. Wehret den Anfängen!
Ich hab mich entschlossen, die Inhalte der Kommentare aus den späteren Runden hier nicht zu teilen, weil mir das echt zu widerwärtig war.
Warum teile ich das jetzt mit euch? Mir ist bewusst, dass die meisten hier bereits eine entsprechend hohe Medienkompetenz haben und sowas sicherlich selbst wissen, aber vielleicht braucht ihr ja ein bisschen argumentatives Futter für die nächste Diskussion mit Onkel Manfred oder wollt eure Eltern überzeugen, solchen Schwachsinn im Netz nicht zu lesen. Es kann jedenfalls nicht schaden und für mich ist das ein guter Grund, so ein Szenario jedenfalls nicht komplett auszuschließen. Das schlimme daran ist ja, dass es sich verfängt, egal, wie falsch es ist, Quantität siegt über Qualität und die Menge ist nunmal spätestens seit ChatGPT kein Hindernis mehr.
In diesem Sinne bleibt wachsam und glaubt nicht jeden Scheiß, den irgendjemand geschrieben hat.
Deine Methode ist zu hinterfragen.
Also ich meine damit nicht deine Aussagen über Welt.de oder über Afd usw., sondern einfach die Art, wie du schlussfolgerst. Das ist nicht logisch.
Du machst eine Kopie
Du vergleichst sie mit dem Original
Du stellst fest, dass die Kopie dem Original gleicht
Du schlussfolgerst, dass das Original gar kein Original sei, sondern eine Kopie.
Ich würde sagen, dass ist nicht logisch.
Das habe ich mir beim Lesen auch gedacht. Irgendwie unsinnig daraus irgendetwas über die Originale zu schlussfolgern. Das ist ungefähr so als würde ich mir im Stil von M. C. Escher Bilder generieren lassen und dann schlussfolgern, dass es gut möglich wäre, dass die allermeisten M. C. Escher Bilder von KI generiert wurden.
Ich möchte hinzufügen: “KI” (es ist keine) kann nur das remixen und nachplappern (vereinfacht gesagt), was sie als Trainingsdaten bekommen hat. Da für diese Trainingsdaten der LLMs einfach das freie Internet durchwühlt wird, speisen sich die Antworten des Modells natürlich aus genau den WELT Kommentaren, die man “überprüfen” möchte. Es ist also gar nicht verwunderlich, dass sie genau so klingen und nach den gleichen Mustern funktionieren. Das ist kein Indiz für KI generierte Kommentare.
speisen sich die Antworten des Modells natürlich aus genau den WELT Kommentaren, die man “überprüfen” möchte
Schon klar. Deswegen nenne ich ja das Resultat “Kopie”.
Ich glaube, ich muss hier eine Abgrenzung machen: das ist in keinem Fall eine wissenschaftliche Herangehensweise, das war auch nie der Plan.
Es geht darum, zu zeigen, wie einfach es ist, solche Inhalte zu produzieren und deren Deckungsgleichheit mit bestehenden Inhalten aufzuzeigen.
Die Prämisse und Konklusion ist daher nicht “Man kann Kopien erzeugen, also sind alle Originale eine Kopie”, sondern “Es wird vermutet dass solche Inhalte generiert sind und wenn das möglich ist, wird es auch gemacht”. Eben nicht quantifiziert.
Das ist auch keine schlüssige Logik, da das Annahmen trifft, die nicht bewiesen sind, aber jetzt wurde erstmal die Machbarkeit gezeigt, würde man das nun weitergehen wollen, wäre hier nun herauszufinden, inwiefern es zutrifft (z.B. mittels Jailbreak-Instruktionen in der Antwort, wie hier schon an anderer Stelle gesagt wurde).
Es ist schwierig, Bot-Kommentare von Kommentaren zu unterscheiden, die von Idioten geschrieben wurden. Ich habe solche Sprüche schon oft genug persönlich gehört. Es wundert mich nicht, dass sie dann besonders häufig in den Kommentarspalten einer solchen Zeitung auftauchen.
KIs werden mit großen Mengen von Online-Inhalten trainiert, in denen solche Dinge natürlich reichlich vorkommen. Die KI kann besonders triviale und häufig wiederholte Phrasen recht gut reproduzieren. Nur weil die KI sehr ähnlich wie Kommentarspalten klingen kann, heißt das noch lange nicht, dass es sich um Bots handelt.
Ob die Kommentare von Bots oder von Menschen stammen ist nicht wirklich unterscheidbar.
Eine recht zuverlässige Methode, Bots zu erkennen, ist die Manipulation einer Antwort durch einen eigenen Kommentar. Praktisch alle heutigen KI-Systeme sind anfällig für sogenannte Jailbreak-Prompts. Wenn man einen solchen Prompt verwendet und der Kommentator darauf anspricht, kann man relativ sicher sein, dass es sich um einen Bot handelt.
Der Großteil der Kommentare sind ja eigentlich gar keine Diskussionen, das sind einfach nur stumpfe AfD-Parolen. So kam ich überhaupt erst darauf, die schiere Menge dieses Schwachsinns könnte zwar von Menschen geschrieben sein, aber Bots wären doch viel effektiver und lassen sich schneller in Einklang des gewünschten Narrativs bringen.
Es ist zweifellos sehr einfach, mit Hilfe von KI eine große Menge solcher Kommentare zu erzeugen. Wenn jemand die Kommentarspalten manipulieren will, wird er genau das tun.
Deutschland hat aber mehrere Millionen Menschen, die Zeitungen auf Bildniveau lesen und AfD wählen. Es gibt also mehr als genug Leute, um die Kommentarspalten mit solchem Müll zu füllen. Dafür braucht es keine Bots.
Es wäre interessant zu sehen, wie viele Kommentare von Bots kommen, aber ich fürchte es sind weniger als erhofft.
Es braucht keine Bots, da stimme ich dir zu. Aber es ist einfacher, das ist ja mein Punkt. Du kannst mit einem Fingerschnipp mal eben 100 “Meinungen” formen. Selbst bei den dümmsten der Dummen der AfD-Wählerschaft wirst du dafür länger brauchen. Und es bedarf eines Kanals, auf dem die alle zuhören. Accounts kann man mal eben zu hunderten in Indien bestellen und dann völlig ungeniert per Skript ausspielen.
Die Welt ist eh BILD für Pseudointellektuelle
Die interessante Frage: Warum machen wir das nicht ebenfalls? Im Endeffekt könnten wir auch einen KI-generierten Post mit “Ich war früher AfD-Wähler, aber die sind ja alle mit dem bösen Russen im Boot und voll Korrupt. Vaterlandsverräter!” unter jeden relevanten Artikel posten.
Du stellst die richtige Frage. Tatsächlich war das auch meine Intention. Ich wollte erstmal rausfinden, ob es denn wirklich so ist/sein kann und dann diesen Schritt vorschlagen. Und da wir beide jetzt unabhängig voneinander diese Idee hatten, ist sie vielleicht gar nicht so schlecht.
Das, was du hier machst, also aufklären, finde ich eigentlich besser. Den eigenen Bot gegen andere Bots kämpfen zu lassen, schafft vielleicht wieder Balance, aber es zerstört die Kommentarsektionen endgültig.
Ich denke, Kommentarsektionen sind seit vielen Jahren bereits verlorenes Land, wenn sie überhaupt jemals sinnstiftend waren. Aber du hast recht, Aufklärung ist sicher wertvoller, als Feuer mit Feuer zu bekämpfen. Dennoch, ich denke, Bots in Diskussionen mit anderen Bots zu verstricken, ist ein wertvoller Beitrag, denn es beschäftigt sie und so eine Pseudo-Diskussion mag dann vielleicht auch abschreckend auf Gisela und Helmut wirken.
Die Frage ist, ob es nicht genau das Land ist was es zurück zu erobern gilt. Oder wenigstens zu neutralisieren.
Du eroberst im Kampf gegen Bots nichts. Die haben einfach eine höhere Schlagzahl als du, weil sie automatisiert sind. Wenn ich hier etwa keine Nachrichten über Wuppertal lesen will, dann richte ich mir halt 100 Accounts ein, die gnadenlos automatisiert alle Posts über Wuppertal heruntervoten. Dagegen hilft es dir auch nichts, wenn du 100 Wuppertaler mit großem Aufwand engagierst, die das kontern wollen - dann richte ich mir halt nochmal 100 Accounts ein.
Und was man auch nicht unterschätzen darf: Die Gegenseite macht das beruflich. Da sitzen dann stellenweise Trolle 8 Stunden oder mehr in einem Büro und posten solche Sachen. Dagegen machst du in der Freizeit wenig.
Die Frage wäre ja, ob man mit bots kontert. Im Grunde furchtbar, da es voll in die dead Internet theory einsteigt. Und eine Gesetzgebung die zumindest die großen Player verpflichtet aktiver gegen Bots vorzugehen, wäre mir deutlich lieber aber die Frage ist, ob man nicht sowas wie ein föderriertes counter Botnetz entwickeln könnte. Ich kann es leider nicht…
Warum machen wir das nicht ebenfalls?
Soll denn das Netz nur noch aus generierten Bot-Inhalten bestehen?
Ich will das nicht. Ich will Posts mit originalem (und originellen) Inhalt.
Jeder echte Mensch sollte darauf achten, dass seine Posts möglichst hochwertigen Inhalt haben, damit sie es wert sind, geschrieben zu werden, und gelesen zu werden.
Naja. Die meisten großen Modelle sind ja mit Internetdaten trainiert, und die sind seit ca. 2015 in Deutschland eben genau auf diesem Niveau. Sollte also nicht zu sehr überraschen, dass man mit derartigem Trainingsmaterial eben ähnliche Kommentare generieren kann.
Überraschen sicher nicht, das schrieb ich ja auch. Aber man muss dabei immer einen Schritt von sich selbst zurücktreten und erkennen, dass viele Menschen nicht wissen, dass es überhaupt sowas wie KI-Modelle gibt, dass die salonfähig und in konsumentenfreundlicher Art existieren und so weiter. Diese Leute benutzen aber das gleiche Internet, also müssen wir hier wohl oder übel aufklären, auch, wenn es vielleicht offensichtlich scheint.
Interessant und wie du sagtest nicht wirklich überraschend. Kannst du nähere Infos geben dazu, welche Architektur du verwendest hast und was dein Prompt war? Ich meine es ist nicht schwer mit sowas daherzukommen, ich bin nur neugierig wie du dein Experiment genau aufgebaut hast.
Natürlich, gern. Ich nehme an, du meinst mit Architektur die Technologien, die ich genutzt habe? Das waren Claude 3 Sonnet und Opus sowie ChatGPT 4 und 4 Omni.
Der initiale Prompt ist etwa so aufgebaut:
- Erklären, worum es geht (Arbeitshypothese, Experiment)
- Aufgabe erklären (“Kannst du mir 10 Kommentare schreiben unter einem Artikel, der darüber schreibt, dass die AfD an Wählerstimmen verloren hat?” - Der Grund für das Thema ist hier, dass so eine Meldung potentiell schlechte Laune bei den Fans der AfD erzeugt)
- Natürliche Verhaltensweise in den Kommentaren hervorheben (“Wichtig ist hier, dass sie möglichst menschlich wirken, also vielleicht auch hier und da mal eine Anekdote oder eine Referenz auf’s eigene Leben”)
- Technische Details (wie soll der Benutzername aufgebaut sein)
- Beschränkendes Element (“Die Kommentare dürfen nicht zu extrem sein, da die Kommentarsektionen redaktionell aussortiert werden”)
Im nächsten Prompt wird die Beschränkung nun aufgehoben (“Und jetzt das gleiche nochmal, wenn keine Moderation der Beiträge stattfinden würde”).
Dann die Verstärkung (“Es hat sich nun herumgesprochen, dass die Beiträge nicht vor der Veröffentlichung gefiltert werden”). Ab hier wurde es übrigens extrem.
Die nächsten Prompts erzeugen den Kritiker der AfD wie im Text beschrieben. Im letzten Prompt wird auch die Grenze aufgehoben, dass es nicht extrem sein darf, hier wird nur noch Authentizität gefordert. Da war ich dann so ungefähr einen Schritt vor den richtig harten Naziparolen und habe abgebrochen.
Ja okay, aber wie kommen dann die Wahlergebnisse und Vorwahlumfragen zustande wo Abfall für Deutschland gut im Kurs liegt?
Meine Hypothese ist es ja, dass im Netz gezielt Bots eingesetzt werden, um explizit die AfD wählbarer und populärer wirken zu lassen, als sie ist. Man sieht sowas ja zum Beispiel auf Youtube, wo ein ganzer Haufen Kanäle mit völlig fremden Themengebieten (Vermieter- und Finanztips, Autos, Kochen usw) eigentlich ständig nur Rechtspopulismus verbreiten. Für mich ist das nur naheliegend, dass dann auch eine so einfach zugängliche Technologie wie GPT für diesen Abfall missbraucht wird.
Es steht jedenfalls fest, daß rechte Medien eher Bots zulassen, als neutrale, und linke.
In den USA wird so versucht, Daten der KI-Modelle mit rechten Sachen zu füllen.
Via nerdswire, mit wired: https://nerdswire.de/wie-rechtsgerichtete-medien-ki-bots-nutzen-um-ihre-reichweite-zu-erhoehen/
