Amazon möchte, dass seine Ingenieure KI nutzen. Sie sollen jedoch nicht einfach nur Tokens verbrauchen, um produktiv zu wirken.
In einem am 27. Okt. öffentlich gewordenen internen Memo warnte das Unternehmen vor „Tokenmaxxing“, also dem übermäßigen Verbrauch von KI-Tokens – den Einheiten von Text, die Modelle verarbeiten oder erzeugen –, um Nutzungszahlen zu steigern. Führungskräfte aus dem Engineering warnten, dass das Streben nach höheren Zahlen die Kosten erhöhen kann, ohne eine bessere Leistung zu erzielen.
Manager stehen nun vor der Herausforderung, die Einführung von KI zu fördern, ohne die Nutzung in einen Wettbewerb zu verwandeln.
Kennzahlen zur KI-Nutzung sind weiterhin wichtig – erfordern aber Augenmaß
Amazons überarbeitete Engineering-Leitlinie stellt Ergebnisse für Kunden und das Unternehmen über die von Entwicklern verwendeten Tools. Langfristige Resultate können sich jedoch erst mit der Zeit zeigen und lassen sich möglicherweise nur schwer einzelnen Beiträgen zuordnen.
Das Memo nennt daher zwei ergänzende Messgrößen.
- Kennzahlen zur Eingabe erfassen den Tokenverbrauch und die Nutzung von KI-Programmierwerkzeugen. Eine hohe Nutzung kann auf Experimentierfreude hindeuten, belegt aber nicht unbedingt, dass Entwickler mehr erreichen.
- Durchsatzkennzahlen beziehen sich auf die Engineering-Aktivitäten, darunter Codeänderungen und Reviews. Werden diese Zahlen als Leistungsziele behandelt, kann das unnötige Arbeit und komplexere Software fördern.
Die Führung hält beide Indikatoren für grundlegend fehlerhaft, wenn sie als Ziele verwendet werden. Dennoch berichtet das Unternehmen von einem Zusammenhang zwischen der Einführung von KI und einer höheren Auslieferungsleistung bei seinen aktivsten Nutzern, die es als „Frontier-Teams“ bezeichnet.
Laut dem Memo fallen Mitarbeiter und Gruppen zurück, die es versäumen, KI einzusetzen oder ihre Leistung zu steigern. Amazon zufolge können die Kennzahlen bei sorgfältiger und umsichtigem Einsatz Überlegungen zu beruflichen Entwicklungen und zur Leistung von Organisationen unterstützen.
Manager sollen besonders aktive und wenig aktive KI-Nutzer untersuchen
Engineering-Manager werden dazu angehalten, Teams rund um das 10. Perzentil der KI-Nutzung zu untersuchen, um zu verstehen, warum die Nutzung niedrig bleibt. Beim 90. Perzentil besteht ihre Aufgabe darin festzustellen, ob eine intensive Nutzung mit einer höheren Auslieferungsleistung einhergeht.
Entwickler, deren Arbeit von den aktuellen KI-Tools nicht profitiert, sollen ihre Erfahrungen dokumentieren und mit Kollegen und Vorgesetzten besprechen. Zu erklären, warum die Technologie eine Aufgabe nicht verbessert, zeugt von solidem Engineering-Urteilsvermögen.
Von Engineering-Managern wird außerdem erwartet, dass sie selbst KI bei Aufgaben in Produktionsumgebungen einsetzen und eine Aufgabe identifizieren, bei der die Tools geholfen haben, sowie eine weitere, bei der dies nicht der Fall war. Diese Erfahrung soll in ihre Bewertung der Arbeit von Mitarbeitern einfließen.
Darüber hinaus sehen die überarbeiteten Erwartungen vor, dass Manager ihren Mitarbeitern Zeit geben, praktische KI-Fähigkeiten zu entwickeln. Ingenieure sollen ihr Verständnis der von ihnen unterstützten Produkte und Kunden vertiefen – ein Bereich, in dem die Unternehmensführung eingeräumt hat, dass einige Mitarbeiter den Bezug verloren haben.
Was eWeek herausgefunden hat: Tokenzahlen können das Tooldesign widerspiegeln, nicht nur die Aktivität von Entwicklern
Zwei Ingenieure, die dasselbe KI-Modell verwenden, können für vergleichbare Arbeit sehr unterschiedliche Kosten verursachen – allein deshalb, weil ihre Coding-Agent-Software unterschiedlich arbeitet.
In einem von AWS am 21. Okt. veröffentlichten Benchmark-Vergleich testeten Forscher 12 KI-Modelle in zwei Coding-Agent-Frameworks unter identischen Bedingungen für Aufgaben und Hosting. Ein Modell kostete im umfangreicheren Framework pro Aufgabe ungefähr 24 US-Dollar, im Vergleich zu 8 US-Dollar mit der schlankeren Alternative – ohne dass sich die Bewertungsergebnisse verbesserten. Zusätzliche KI-Agenten verbrauchten mehr Tokens und Rechenzeit.
Amazon fordert Manager auf, die KI-Aktivität und den Engineering-Output in den Teams zu untersuchen. Die Ergebnisse von AWS legen jedoch ein mögliches Problem bei solchen Vergleichen offen. Höhere Tokenzahlen könnten auf den Software-Overhead statt auf größeren individuellen Einsatz oder höhere Produktivität zurückzuführen sein.
Der AWS-Benchmark verwendete Aufgaben aus einem Repository und bewertete nicht die Leistung von Mitarbeitern. Seine Ergebnisse stützen eine engere Schlussfolgerung: Das Design von Coding-Agenten kann den Tokenverbrauch und die Kosten verändern, ohne dass sich die bewertete Qualität entsprechend verbessert. Sie zeigen nicht, wie Amazons Mitarbeiterkennzahlen in der Praxis funktionieren.
Für Manager bedeutet das, dass sie vor einem Vergleich des Verbrauchs prüfen sollten, welche Modelle und Agentenkonfigurationen die Mitarbeiter verwenden. Auch die Komplexität der Aufgaben und die Anforderungen an Reviews verdienen Beachtung: Eine hohe Tokenzahl allein kann nicht erklären, ob jemand produktiv experimentiert, fehlgeschlagene Versuche wiederholt oder ein ressourcenintensiveres Tool einsetzt.
Eine sinnvollere Bewertung würde Nutzungsdaten mit Belegen für abgeschlossene Arbeit verbinden, darunter Qualität, Review-Aufwand, Nacharbeit und Auslieferungszeit. Diese Prüfungen dienen der Interpretation von KI-Aktivität; der AWS-Benchmark bewertete nicht die Leistung von Mitarbeitern.
Für Ingenieure kann es solche Gespräche konkreter machen, wenn sie dokumentieren, wo KI hilft – und wo sie zusätzliche Arbeit verursacht. Die übergeordnete Frage für die Arbeitswelt lautet, ob Arbeitgeber nachweisliche Verbesserungen belohnen können, ohne Anreize dafür zu schaffen, mehr Aktivität zu erzeugen, nur weil sie leichter zu zählen ist.
Möchten Sie mehr KI-Tipps, Tricks und Prompting-Techniken lernen? eWeek-Leser erhalten 7 Tage kostenlosen Zugang zur The Neuron Academy, unserer praxisorientierten Lernplattform, die Fachleuten helfen soll, KI im Berufsalltag sicherer einzusetzen. Alle Lektionen ansehen →
Wir zeigen Ihnen wie Sie mit KI sprechen kostenlos! Absolvieren Sie unseren sechminütigen Kurs bei The Neuron Academy und lernen Sie einige einfache Möglichkeiten kennen, bessere Prompts zu schreiben und nützlichere Ergebnisse von KI zu erhalten, oder sehen Sie sich sieben Tage lang kostenlos unseren anderen KI-Kurs an. Hier alle Lektionen ansehen →