Large Language Models oder LLMs sind laut einer am 18. Feb. veröffentlichten OpenAI-Studie mit dem Titel „SWE-Lancer: Können Frontier-LLMs mit Softwareentwicklung als freiberuflicher Tätigkeit in der realen Welt 1 Million US-Dollar verdienen?“ besser darin, Fehler zu beheben, als das grundlegende Problem zu verstehen, das sie verursacht.
LLMs für Fehlerbehebungen und andere Softwareentwicklungsaufgaben einsetzen
Um zu bewerten, wie gut LLMs reale Softwareentwicklungsaufgaben bewältigen, entwickelte OpenAI einen Benchmark namens SWE-Lancer und testete ihn auf Upwork, einer beliebten Plattform für Auftragsarbeit.
SWE-Lancer bewertete, wie viel Geld drei LLMs — Claude 3.5 Sonnet, OpenAIs GPT-4o und OpenAI o1 — durch die Erledigung von auf Upwork angebotenen Softwareentwicklungsaufträgen erwirtschaften könnten. Die OpenAI-Forscher stellten jedoch fest, dass „… Frontier-Modelle weiterhin nicht in der Lage sind, die Mehrheit der Aufgaben zu lösen.“
KI-generierte Lösungen unter realen Bedingungen testen
Im Gegensatz zu herkömmlichen KI-Bewertungen, bei denen Modelle mit den kognitiven Fähigkeiten von Menschen verglichen werden, konzentrierte sich SWE-Lancer auf die Messung wirtschaftlicher Auswirkungen, indem reale Auftragsarbeit simuliert wurde.
Für die Erstellung des Benchmarks stellten die OpenAI-Forscher 764 Aufgaben von Upwork zusammen und wandelten sie mithilfe von Docker-Containern in einen strukturierten Datensatz um. Die Aufgaben unterschieden sich in ihrer Komplexität und reichten von Fehlerbehebungen für 50 US-Dollar bis zu Implementierungen von Funktionen für 32.000 US-Dollar. Da die LLMs weiterhin nicht direkt auf die extrahierten Upwork-Anzeigen zugreifen konnten, mussten die Forscher darauf basierende Prompts erstellen, die jeweils einen Ausschnitt aus der Codebasis des Projekts enthielten.
Die Antworten der Modelle wurden mithilfe von Playwright, einer quelloffenen Bibliothek zum Testen von Browsern, ausgewertet, um festzustellen, ob die Lösung tatsächlich funktionierte.
Trotz seiner starken Leistung löste Claude 3.5 Sonnet laut den erfahrenen menschlichen Softwareentwicklern, die das Experiment überwachten, nur 26,2 % der Aufgaben korrekt. LLMs können Daten zwar schnell analysieren, scheitern aber häufig daran, die zugrunde liegende Ursache eines Problems zu erkennen, was zu falschen Lösungen führt.
Claude 3.5 Sonnet schnitt in OpenAIs SWE-Lancer-Forschung am besten ab. Bild: OpenAI
„Freiberufliche Arbeit in der realen Welt … bleibt für KI eine Herausforderung“
„Die Ergebnisse zeigen, dass die freiberufliche Arbeit in der realen Welt in unserem Benchmark für Frontier-Sprachmodelle weiterhin eine Herausforderung darstellt“, schrieben die OpenAI-Forscher Samuel Miserendino, Michele Wang, Tejal Patwardhan und Johannes Heidecke.
Frühere Studien darüber, wie generative KI in der Softwareentwicklung eingesetzt werden könnte, untersuchten laut den Forschern spezifische Aufgaben in abgeschotteten Umgebungen.
„In der realen Welt arbeiten Softwareentwickler jedoch über den gesamten Technologie-Stack hinweg und müssen komplexe Interaktionen und Abwägungen zwischen Codebasen beurteilen“, sagten sie.
Der Datensatz für SWE-Lancer ist auf GitHub verfügbar. Er bietet Forschern Einblicke in die sich wandelnde Rolle von KI in der Softwareentwicklung.