Substacks jüngster Versuch, Lesern dabei zu helfen, von Menschen verfasste Texte von KI-generierten Texten zu unterscheiden, hat stattdessen Vorwürfe ausgelöst, die Plattform mache Autoren zu Verdächtigen.
Die Newsletter-Plattform hat damit begonnen, eine von Pangram betriebene KI-Erkennungsfunktion auszurollen, mit der Leser einschätzen können, wie viel eines Beitrags offenbar von einer künstlichen Intelligenz statt von einem Menschen verfasst wurde.
Substack zufolge soll die Funktion für mehr Transparenz sorgen, da KI-generierte Inhalte im Internet immer häufiger werden. Viele Autoren argumentieren jedoch, dass sie das Gegenteil bewirken könnte, indem sie Leser dazu bringt, Autoren infrage zu stellen, bevor sie die Technologie hinterfragen.
Kritiker haben die Funktion als Hexenjagd bezeichnet und dabei auf anhaltende Genauigkeitsprobleme verwiesen, die KI-Tools geplagt haben.
Statt die Debatte über KI-generierte Inhalte beizulegen, hat der Start der Funktion eine umfassendere Frage im Internet offengelegt: Sind automatisierte Erkennungssysteme zuverlässig genug, um sie in großem Maßstab in Bereichen einzusetzen, in denen Fehler echte menschliche Konsequenzen haben können?
Das Vertrauensinstrument, das von seinen eigenen Nutznießern abgelehnt wurde
Der Widerstand kam aus einer unerwarteten Richtung: von genau der Gruppe, die laut Substack am meisten davon profitieren soll.
Laut 404 Media, haben viele Autoren die Funktion als Hexenjagd bezeichnet und argumentiert, sie könnte verändern, wie Leser an jeden Artikel herangehen. Kritiker befürchten, dass Leser sich nicht mehr zuerst auf die Qualität konzentrieren, sondern zunächst hinterfragen, ob ein Mensch den Text verfasst hat.
„Ich werde mich nicht dafür entschuldigen, KI im Entstehungsprozess zu verwenden“, sagte ein als Mack Collier identifizierter Mitwirkender. „Ich habe 20 Jahre lang ohne KI geschrieben, ich könnte es wieder tun, wenn ich wollte.“
Collier zufolge hilft KI dabei, Texte zu strukturieren und die Produktivität zu steigern, und dient zugleich als Lektor.
Auch Autoren, die keine KI nutzen, sorgen sich, dass das Tool ihre Arbeit fälschlicherweise kennzeichnen könnte. Alice Lemee, Ghostwriterin und Coach für digitales Schreiben, sagte, eine falsche Anschuldigung könne den Ruf eines Autors „nahezu irreversibel beschädigen“.
Der Preis für Fehler der KI
Der Widerstand lässt zudem eine bekannte Kritik an KI wieder aufleben: Selbstsicherheit bedeutet nicht immer auch Korrektheit. Pangram wurde zwar entwickelt, um KI-generierte Texte zu erkennen, ist im Kern aber ein KI-System, das Wahrscheinlichkeitsurteile darüber fällt, wie ein Inhalt erstellt wurde.
Max Spero, CEO von Pangram, hat die Leistungsfähigkeit des Tools verteidigt und erklärt, das Unternehmen schätze seine Fehlalarmquote auf ungefähr einen von 10.000 Scans.
Auf dem Papier scheint das eine außergewöhnlich niedrige Fehlerquote zu sein. Doch diese Zahl wirkt anders, wenn man sie auf eine Plattform von der Größe Substacks anwendet, auf der letztlich Millionen von Beiträgen, Kommentaren und Notizen gescannt werden könnten. Selbst ein winziger Prozentsatz an Fehlern könnte dazu führen, dass eine beträchtliche Zahl von Autoren fälschlicherweise markiert wird.
Googles KI-Suchprodukte wurden nach einem Experiment ähnlich genau unter die Lupe genommen. Es zeigte, dass Gemini und AI Overviews gezielt platzierte Falschinformationen wiederholen konnten, und veranschaulichte damit, wie Fehler in großem Maßstab folgenschwerer werden können.
Die über Substack hinausgehende Lehre
Der Streit über Substacks KI-Detektor spiegelt letztlich eine umfassendere Frage wider, vor der Technologieunternehmen und Unternehmen gleichermaßen stehen: Wie viel Vertrauen sollte man in automatisierte Systeme setzen, wenn ihre Entscheidungen echte Menschen betreffen können?
Dieselbe Sorge ist immer wieder aufgekommen, während KI größere Rollen in Produktionssystemen übernimmt.
Unternehmen aus allen Branchen weiten den Einsatz von KI in der Kundenbetreuung, Betrugserkennung, Personalgewinnung und anderen Arbeitsabläufen aus, in denen eine einzige falsche Entscheidung Rufschädigung oder finanzielle Folgen haben kann.
Discord beispielsweise sah sich kürzlich Kritik ausgesetzt, nachdem ein automatisiertes Moderationssystem rechtmäßige Nutzer irrtümlich sanktioniert hatte.
Substacks Einführung liefert ein weiteres Beispiel für diese wachsende Liste. Unabhängig davon, ob sich Pangrams Detektor als äußerst genau erweist oder nicht: Der Widerstand zeigt, dass Nutzer oft weniger daran interessiert sind, wie häufig ein KI-System richtige Ergebnisse liefert, als daran, was passiert, wenn es einen Fehler macht.
Die Herausforderung besteht heute nicht mehr nur darin, KI einzusetzen. Es geht darum zu entscheiden, wie viel Autonomie diese Systeme in Produktionsumgebungen haben sollten.
Auch lesenswert: GPTZero markierte in vier Berichten von PwC Middle East mutmaßlich von KI erzeugte Inhalte und unzuverlässige Quellenangaben. Das Unternehmen erklärte, es aktualisiere eine begrenzte Zahl der zugehörigen Quellenangaben.