Tools für künstliche Intelligenz können die Arbeit erfahrener Open-Source-Entwickler verlangsamen, statt sie zu beschleunigen. Das geht aus Ergebnissen der gemeinnützigen KI-Forschungsgruppe METR hervor, die nun veröffentlicht wurden.
Entwickler und Experten hatten weithin erwartet, dass der Einsatz fortschrittlicher Tools die Produktivität deutlich steigern und die für den Abschluss von Aufgaben in vertrauten Codebasen benötigte Zeit um etwa 24 % verkürzen würde. Eine randomisierte Studie von METR kam jedoch zum gegenteiligen Ergebnis.
„Überraschenderweise stellen wir fest, dass Entwickler 19 % länger brauchen, wenn sie KI-Tools verwenden“, als ohne diese hochmodernen Tools, schreiben die Autoren der Studie.
Benchmarks „opfern Realitätsnähe“
Die Studie wies außerdem darauf hin: „Während sich Coding-/Agenten-Benchmarks als nützlich erwiesen haben, um die Fähigkeiten von KI zu verstehen, opfern sie typischerweise Realitätsnähe zugunsten von Umfang und Effizienz.“
Die Autoren des Berichts erklären weiter, dass Coding-Aufgaben häufig „in sich geschlossen“ sind und kein Vorwissen erfordern, um die Fähigkeiten der Tools zu verstehen. Außerdem „verwenden sie algorithmische Auswertungen, die viele wichtige Fähigkeiten nicht erfassen … Diese Eigenschaften können dazu führen, dass Benchmarks die Fähigkeiten von KI überschätzen.“
Bemerkenswert ist, dass die Forschenden in dieser Studie beobachteten, dass KI-Modelle aufgrund der fehlenden menschlichen Kontrolle durch Benchmarks bei kleinen Hindernissen oft ins Stocken geraten, die ein Entwickler in der Praxis schnell überwinden könnte. Folglich können Benchmarks aufgrund ihres Designs die Fähigkeiten von KI überschätzen.
Künftige Modelle könnten besser sein
Obwohl sich die Verlangsamung über die Aufgaben hinweg weitgehend einheitlich zeigte, betonten die Autoren der Studie, dass die Ergebnisse spezifisch für die getestete Umgebung sein könnten. „Diese Ergebnisse bedeuten nicht, dass künftige Modelle Entwickler in genau dieser Umgebung nicht schneller machen werden“ – angesichts der rasanten Fortschritte bei der Verbesserung der KI-Fähigkeiten sei dies „eine naheliegende Möglichkeit“.
Dennoch stellen die Ergebnisse die weitverbreitete Annahme infrage, dass KI hoch bezahlte Softwareentwickler stets deutlich produktiver macht. Diese Annahme hat zu erheblichen Investitionen in Anbieter geführt, deren als „Vibe-Coder,“ bezeichnete KI-Coding-Tools den Softwareentwicklungsprozess verbessern sollen.
„Unsere Ergebnisse zeigen eine große Diskrepanz zwischen der wahrgenommenen und der tatsächlichen Auswirkung von KI auf die Produktivität von Entwicklern“, erklärten die Autoren der Studie. „Trotz der weitverbreiteten Nutzung von KI-Tools und der selbstbewussten Prognosen von Experten und Entwicklern, die eine positive Beschleunigung erwarten, beobachten wir, dass KI erfahrene Entwickler in dieser Umgebung tatsächlich verlangsamt.“
Die Forschenden stellten außerdem fest, dass KI-Coding-Tools gelegentlich Fehler und Sicherheitslücken.
Methodik
Um die Auswirkungen von KI auf die Produktivität von Entwicklern in der Praxis zu messen, organisierte METR eine randomisierte kontrollierte Studie, an der 16 Entwickler 246 Aufgaben in Open-Source-Repositories bearbeiteten, zu denen sie regelmäßig beitrugen. Jede Aufgabe wurde nach dem Zufallsprinzip so zugewiesen, dass entweder KI-Unterstützung erlaubt oder untersagt war. Die Forschenden erfassten, wie lange die Teilnehmenden unter den jeweiligen Bedingungen für den Abschluss benötigten.
Erfahren Sie, wie führende Technologieunternehmen den Arbeitsmarkt umgestalten: Lesen Sie unsere Berichterstattung darüber, wie Anthropic und IBM im Zeitalter der KI die Karrieren von Entwicklern verändern.