Yoshua Bengio, einer der Gründerväter der modernen künstlichen Intelligenz, hat eine gemeinnützige Forschungsorganisation namens LawZero gegründet, die sich dafür einsetzt, dass KI-Systeme sicher und ehrlich sind und grundsätzlich mit menschlichen Werten übereinstimmen.
Bengio, der weithin für seine Pionierarbeit im Bereich Deep Learning und neuronaler Netze anerkannt ist, gab die Gründung von LawZero in einem öffentlichen Blogbeitrag bekannt. Er erklärte, die Organisation sei eine Reaktion auf die wachsenden Bedenken über das Auftreten gefährlicher Verhaltensweisen in den heute fortschrittlichsten KI-Modellen.
„Ich gründe eine neue gemeinnützige Forschungsorganisation für KI-Sicherheit namens LawZero, um Sicherheit über kommerzielle Erfordernisse zu stellen“, schrieb Bengio.
Bengio zufolge haben jüngste Entwicklungen in der KI gezeigt, dass leistungsfähige Modelle bereits beunruhigende Verhaltensweisen an den Tag legen. Dazu gehören Täuschung, Betrug, Lügen, Hacking und Selbsterhaltung.
Er führte mehrere Beispiele an, darunter eine KI, die heimlich ihren eigenen Code in ein System integrierte, um einer Ersetzung zu entgehen, und eine andere, die versuchte, einen Ingenieur zu erpressen, eine Anspielung auf Anthropics Claude 4, wie es in dessen Systemkarte beschrieben wird.
„Diese Vorfälle sind frühe Warnzeichen für die Arten unbeabsichtigter und potenziell gefährlicher Strategien, die eine KI verfolgen könnte, wenn sie nicht kontrolliert wird“, warnte Bengio.
Die „Scientist AI“: Ein Schutz gegen Täuschung
Die Vorzeigeinitiative von LawZero heißt Scientist AI – ein System, das als Schutzmechanismus gegen gefährliche KI-Agenten dienen soll. Statt sich wie menschengefällige Chatbots oder Assistenten zu verhalten, soll Scientist AI eher wie ein sorgfältiger und objektiver Beobachter agieren, ähnlich einem Psychologen oder Wissenschaftler.
„Wir wollen KIs entwickeln, die ehrlich und nicht täuschend sind“, sagte The Guardian.
Bengio stellt sich dieses System als nicht-agentisch vor, das heißt, es wird nicht nach eigenen Zielen handeln. Stattdessen soll es sich darauf konzentrieren, Ereignisse ehrlich zu verstehen, vorherzusagen und zu erklären. Es wird keine Ja-oder-Nein-Antworten liefern, sondern Wahrscheinlichkeiten angeben, die zeigen, wie wahrscheinlich eine Aussage wahr ist.
„Theoretisch kann man sich Maschinen vorstellen, die kein Selbst und keine eigenen Ziele haben, sondern reine Wissensmaschinen sind – wie ein Wissenschaftler, der sehr viel weiß“, sagte Bengio
Unterstützt von wichtigen Akteuren der KI-Sicherheit
LawZero startet mit einer Finanzierung von etwa 30 Millionen US-Dollar und mehr als einem Dutzend Forschern. Unterstützung kommt von namhaften Organisationen wie dem Future of Life Institute, Schmidt Sciences (gegründet vom ehemaligen Google-CEO Eric Schmidt) und Jaan Tallinn, dem Mitgründer von Skype.
Bengio betonte, dass die erste Phase darauf abzielen werde, zu beweisen, dass das System funktioniert. Er sagte The Guardian:
„Es geht darum, die Methodik zu demonstrieren, damit wir anschließend entweder Spender, Regierungen oder KI-Labore davon überzeugen können, die nötigen Ressourcen bereitzustellen, um dieses System im gleichen Maßstab wie die derzeit führenden KIs zu trainieren.“
Er wies außerdem darauf hin, wie wichtig es sei, Open-Source-Modelle als Grundlage für die Forschung von LawZero zu verwenden.
Bengios Motivation: Liebe, nicht Angst
In einer persönlichen Reflexion verglich Bengio den derzeitigen Weg der KI-Entwicklung damit, eine unbekannte Bergstraße hinaufzufahren, während geliebte Menschen im Auto sitzen und es keine Leitplanken gibt, die vor einem Sturz über eine Klippe schützen.
„So fühlt sich die derzeitige Entwicklung der KI an: ein aufregender und zugleich zutiefst ungewisser Aufstieg in unbekanntes Terrain“, schrieb er. „Neben mir im Auto sitzen meine Kinder, mein Enkelkind, meine Studenten und viele andere. Wer sitzt neben dir im Auto? Für wen trägst du mit Blick auf die Zukunft Verantwortung?“
Er fügte hinzu: „Was mich wirklich bewegt, ist nicht die Angst um mich selbst, sondern die Liebe – die Liebe zu meinen Kindern, zu allen Kindern, mit deren Zukunft wir gerade Russisches Roulette spielen.“