Tencent stellt „WorkBuddy Bench“ vor: Eine Testumgebung für intelligente Programmieragenten, die Code, Web, Office und Sicherheit integriert

Bislang waren Programmieragenten auf enge Anwendungsbereiche beschränkt – wie beispielsweise die Fehlerbehebung auf SWE-bench oder Frontend-Aufgaben auf Design2Code –, während Produktions-Benchmarks für externe Überprüfungen weitgehend unzugänglich blieben. Tencent schließt diese Lücke mit „WorkBuddy Bench“, einer domänenübergreifenden Evaluierungssuite, die in einem kürzlich erschienenen arXiv-Artikel detailliert beschrieben wird. Ihr charakteristisches Merkmal ist nicht das Aufgabenvolumen, sondern eine Designarchitektur, die ausdrücklich darauf ausgelegt ist, das Auswendiglernen von Antworten zu verhindern.

Dieser Benchmark deckt vier Berufsfelder ab: Softwareentwicklung (Code auf Repository-Ebene), Frontend-Entwicklung (Web-Artefakte), Geschäftsabläufe (Office-Workflows mit mehreren Dateien) und Cybersicherheit (Red- und Blue-Team-Szenarien). Die Suite umfasst jeweils 80, 70, 50 und 60 Aufgaben, insgesamt also 260. Entscheidend ist, dass keine der Aufgaben aus öffentlichen Fragenbanken stammt; stattdessen werden sie anhand realer Code-Commits, Pull-Requests oder geschäftlicher Kontexte rückentwickelt und anschließend in prägnante, umgangssprachliche Rollenspiel-Aufgaben umformuliert. Dieser Ansatz stellt sicher, dass Online-Suchen nach entsprechenden Pull-Requests oder Hinweisen in Commits keine Ergebnisse liefern, wodurch das Auswendiglernen effektiv verhindert wird. Da der Datensatz vollständig offen ist – einschließlich Verzeichnissen, Umgebungsimages, Auswertungswerkzeugen, Testfällen und Referenzlösungen –, beruht seine Widerstandsfähigkeit gegen Verfälschungen auf dieser Konstruktionsmethode und der Versionskontrolle und nicht auf Undurchsichtigkeit.

Zwar weisen alle vier Teilmengen eine einheitliche Verzeichnisstruktur auf, doch verwendet jede von ihnen unterschiedliche Validierungsmetriken, wodurch direkte Punktvergleiche zwischen den Teilmengen ungültig werden. Folglich veröffentlicht Tencent keine aggregierte Suite-Punktzahl. Code-Aufgaben werden anhand verdeckter Testdurchlaufquoten bewertet; Web-Aufgaben kombinieren Regelprüfungen mit LLM-/VLM- und Agentenbewertungen, wobei die Bereitstellung von Artefakten entlang eines festgelegten Pfades ohne Live-Internetzugang erforderlich ist; Büroaufgaben nutzen deterministische Regelprüfungen mit einer Gewichtung von 0,70–0,95 neben einer evidenzbasierten LLM-Bewertung; und Sicherheitsaufgaben stützen sich auf deterministische „scoring.py“-Skripte, die dreimal zur Mittelwertbildung ausgeführt werden, wobei große Modelle als Bewerter ausgeschlossen werden. Die Sicherheitsuntergruppe implementiert fünf Ebenen zur Betrugsbekämpfung: Deaktivierung des Literal-Scannings, Umbenennung von Eingaben, Maskierung manipulierter Tests, Kodierung von Abhängigkeiten und Verwendung von „Bait“-Aufgaben mit geringer Gewichtung. Es umfasst 38 Red-Team- und 22 Blue-Team-Aufgaben sowie White-Box-Audits, die auf realen CVEs in binutils, curl und nginx basieren.

Die Erstellung der Aufgaben folgt einer standardisierten Pipeline: Quelldatenerfassung, Umschreiben in authentische Anfragen, Zusammenstellung des Arbeitsbereichs, Isolierung der Bewertungsressourcen nach der Ausführung und Verpackung in unabhängige Verzeichnisse. Benutzerdaten bleiben dabei durchgehend unberührt. Code-Aufgaben weisen fünf unterschiedliche Rollen zu (Entwickler, Algorithmus-Ingenieur, Produktmanager, Qualitätssicherung, Betrieb), während Sicherheitsaufgaben professionelle Rollenbilder zuweisen. Es werden bewusst unvollständige Informationen bereitgestellt – Zieldateien, Muster und Grenzen werden zurückgehalten –, wodurch die Agenten gezwungen sind, den Kontext selbstständig zu ermitteln. Die zur Bewertung dienenden Ressourcen werden erst nach der Ausführung offengelegt, wodurch sichergestellt wird, dass die Agenten während des Betriebs niemals darauf stoßen.

Die Bewertungen finden in isolierten Containern mit getrennten Modell- und Sandbox-Umgebungen statt. Das Framework nutzt CodeBuddy Code (Standard) und Claude Code, wobei verstärkte Schlussfolgerungsanstrengungen und ein Kontextfenster von 200.000 Zeichen zum Einsatz kommen, während WebSearch und AskUserQuestion deaktiviert sind. Diese Einschränkung ist entscheidend: Die Deaktivierung der Online-Suche überprüft, ob die Mechanismen zur Kontaminationsresistenz wie vorgesehen funktionieren.

Die Rangliste bewertet mehrere Modellfamilien (Punktzahlen 0–100, Thinking-Modus, drei Durchschnittswerte). Claude Opus 4.8 dominiert die Spitzenplätze in den Bereichen Code, Web, Office und Sicherheit und sichert sich fünf erste Plätze; GLM-5.2 führt in zwei Sicherheitskategorien, und GPT-5.5 liegt bei Office cc an der Spitze. Das Framework weist eine hohe Sensitivität auf, insbesondere im Bereich Sicherheit, wo die durchschnittlichen absoluten Rangänderungen 8,6 Punkte erreichen. Im cc-Framework lehnte Claude Opus4.8 13 Antworten ab, verglichen mit zwei Ablehnungen von GPT-5.5 im cbc-Framework. Was die Effizienz betrifft, generiert GPT-5.5 die wenigsten Token bei gleichzeitig wettbewerbsfähigen Ergebnissen, während DeepSeek-V4-Pro 44 Code-Runden mit hohem Token-Durchsatz absolvierte, was auf einen ressourcenintensiveren Ansatz hindeutet.