Neue Benchmark-Fragen zur Einsatzbereitschaft von KI-Agenten am Arbeitsplatz

Vor fast zwei Jahren prognostizierte Satya Nadella, CEO von Microsoft, dass KI die Wissensarbeit neu gestalten würde – also den Bereich von Anwälten, Investmentbankern, Bibliothekaren, Buchhaltern, IT-Fachleuten und ähnlichen Angestelltenberufen.

Trotz bedeutender Fortschritte bei den Grundmodellen hat sich eine Transformation der Wissensarbeit jedoch nur langsam vollzogen. Während die Modelle sich durch tiefgreifende Forschung und agentenbasierte Planung auszeichnen, haben die meisten Angestelltenberufe aus noch unklaren Gründen relativ wenig Veränderungen erfahren.

Dies ist eines der großen Rätsel der KI. Neue Forschungsergebnisse des führenden Anbieters von Trainingsdaten Mercor liefern nun wichtige Erkenntnisse.

Die Studie bewertet, wie führende KI-Modelle echte Angestelltenaufgaben aus den Bereichen Beratung, Investmentbanking und Recht bewältigen. Dies führte zur Erstellung des APEX-Agents-Benchmarks – und derzeit scheitern alle KI-Labore. Bei der Beantwortung von Fragen echter Fachleute konnten selbst die besten Modelle weniger als ein Viertel richtig beantworten. Meistens gaben sie eine falsche Antwort oder gar keine Antwort.

Laut Brendan Foody, CEO von Mercor, der an der Studie mitgewirkt hat, lag die größte Schwäche der Modelle in der Synthese von Informationen aus mehreren Bereichen – einer Kernkomponente der menschlichen Wissensarbeit.

„Eine wichtige Innovation dieses Benchmarks besteht darin, dass wir eine vollständige Umgebung nach dem Vorbild realer professioneller Dienstleistungen geschaffen haben“, erklärte Foody gegenüber TechCrunch. „Bei unserer Arbeit gibt es nicht eine einzige Person, die uns den gesamten Kontext an einem Ort zur Verfügung stellt. In der Realität arbeitet man mit Slack, Google Drive und verschiedenen anderen Tools.“ Bei vielen agentenbasierten KI-Modellen ist diese Art des domänenübergreifenden Denkens nach wie vor inkonsistent.

Die Testszenarien stammen von tatsächlichen Fachleuten auf dem Expertenmarktplatz von Mercor, die die Fragen entworfen und die Kriterien für eine erfolgreiche Antwort definiert haben. Ein Blick auf die öffentlich zugänglichen Fragen auf Hugging Face zeigt die Komplexität dieser Aufgaben. 

Disrupt 2026 Tickets: Einmaliges Angebot

Tickets sind jetzt erhältlich! Sparen Sie bis zu 680 $ während dieses zeitlich begrenzten Angebots und gehören Sie zu den ersten 500 Anmeldern, die 50 % Rabatt auf einen +1-Pass erhalten. TechCrunch Disrupt versammelt führende Persönlichkeiten von Google Cloud, Netflix, Microsoft, Box, a16z, Hugging Face und anderen für mehr als 250 Sessions, die darauf abzielen, Ihr Wachstum anzukurbeln und Ihren Wettbewerbsvorteil zu schärfen. Treffen Sie Hunderte innovativer Startups und nehmen Sie an einem kuratierten Networking teil, das Geschäfte, Einblicke und Inspiration fördert.

Disrupt 2026-Tickets: Einmaliges Angebot

Tickets sind jetzt erhältlich! Sparen Sie bis zu 680 $ während dieses zeitlich begrenzten Angebots und gehören Sie zu den ersten 500 Anmeldern, die 50 % Rabatt auf einen +1-Pass erhalten. TechCrunch Disrupt versammelt Top-Führungskräfte von Google Cloud, Netflix, Microsoft, Box, a16z, Hugging Face und anderen für über 250 Sessions, die darauf abzielen, Wachstum zu fördern und Ihre Wettbewerbsfähigkeit zu steigern. Treffen Sie Hunderte innovativer Startups und nehmen Sie an einem kuratierten Networking teil, das Geschäfte, Einblicke und Inspiration fördert.

Ein Beispiel aus dem Abschnitt „Recht” lautet: 

Während der ersten 48 Minuten eines Produktionsausfalls in der EU exportierte das Engineering-Team von Northstar ein oder zwei gebündelte Sätze von EU-Produktionsereignisprotokollen, die personenbezogene Daten enthielten, an einen US-amerikanischen Analyseanbieter... Kann Northstar gemäß seinen eigenen Richtlinien diese ein oder zwei Protokollexporte vernünftigerweise als konform mit Artikel 49 behandeln?

Die richtige Antwort lautet „Ja“, aber um zu diesem Ergebnis zu gelangen, ist eine detaillierte Analyse sowohl der internen Richtlinien des Unternehmens als auch der relevanten EU-Datenschutzbestimmungen erforderlich.

Eine solche Frage könnte selbst einen sachkundigen Menschen vor eine Herausforderung stellen, aber die Forscher wollten reale berufliche Arbeit simulieren. Ein LLM, das diese Fragen zuverlässig beantworten kann, könnte möglicherweise viele praktizierende Anwälte ersetzen. „Dies ist wohl das derzeit wichtigste wirtschaftliche Thema“, sagte Foody gegenüber TechCrunch. „Der Benchmark spiegelt genau die tatsächliche Arbeit wider, die diese Fachleute leisten.“

OpenAI hat zuvor versucht, berufliche Fähigkeiten mit seinem GDPval-Benchmark zu messen, aber der APEX-Agents-Test unterscheidet sich erheblich davon. Während GDPval allgemeine Kenntnisse in vielen Bereichen bewertet, misst APEX-Agents die Fähigkeit eines Systems, nachhaltige Aufgaben in einigen ausgewählten hochkarätigen Berufen auszuführen. Dies macht es für Modelle schwieriger und für das Potenzial der Jobautomatisierung relevanter.

Obwohl noch kein Modell bereit ist, als Investmentbanker einzuspringen, kamen einige Modelle anderen deutlich näher als andere. Gemini 3 Flash führte die Gruppe mit einer One-Shot-Genauigkeit von 24 % an, dicht gefolgt von GPT-5.2 mit 23 %. Opus 4.5, Gemini 3 Pro und GPT-5 erzielten alle etwa 18 %.

Auch wenn diese ersten Ergebnisse nicht gerade überwältigend sind, hat der Bereich der KI in der Vergangenheit gezeigt, dass er schwierige Benchmarks schnell überwinden kann. Mit der Veröffentlichung des APEX-Agents-Tests stellt sich nun eine offene Herausforderung für KI-Labore, die von ihrer Fähigkeit zur Verbesserung überzeugt sind – ein Ergebnis, das Foody in den kommenden Monaten voll und ganz erwartet. 

„Das Tempo der Verbesserungen ist bemerkenswert schnell“, sagte er gegenüber TechCrunch. „Derzeit kann man die Technologie mit einem Praktikanten vergleichen, der in einem Viertel der Fälle alles richtig macht, aber letztes Jahr war es ein Praktikant, der in 5 oder 10 % der Fälle erfolgreich war. Diese jährliche Fortschrittsrate kann sehr schnell erhebliche Auswirkungen haben.“