KI-Benchmarks im Überblick: Arena, SWE-Bench, AutomationBench & Co.

Worum geht's

Jedes Mal, wenn OpenAI, Anthropic oder Google ein neues Modell launchen, hagelt es Charts: „SOTA auf MMLU", „beats Claude on SWE-Bench", „#1 on Arena", „+8 Punkte auf AutomationBench". Aber was messen diese Benchmarks eigentlich – und welchem davon kann man trauen?

Dieser Artikel räumt auf: Wie Benchmarks aufgebaut sind, warum LMArena zum wichtigsten Public-Leaderboard geworden ist, was neue Agent-Benchmarks wie Zapiers AutomationBench anders machen – und wo selbst die besten Eval-Frameworks an Grenzen stoßen.

Drei Welten: Statisch, Präferenz, Agent

KI-Benchmarks zerfallen 2026 grob in drei Lager.

1. Statische Benchmarks (Closed-Form Evals)

Das klassische Modell: Eine feste Test-Suite mit Fragen und „richtigen" Antworten. Das LLM liefert eine Antwort, die per Exact-Match, Multiple-Choice oder Test-Runner überprüft wird.

Vorteile: Reproduzierbar, billig, automatisierbar. Probleme:

• Contamination: Trainingsdaten enthalten oft die Test-Sets. Wenn ein Modell MMLU schon mal „gesehen" hat, sind 90 % keine Leistung.
• Saturation: Top-Modelle erreichen 90 %+ – die Skala diskriminiert nicht mehr.
• Realitätsferne: Multiple-Choice ≠ wie du tatsächlich mit ChatGPT redest.

2. Human-Preference-Benchmarks

Anstatt eine „richtige" Antwort zu definieren, lässt man Menschen vergleichen: Welche Antwort ist besser, A oder B? Der Goldstandard dafür ist die LMArena.

3. Agent- & Workflow-Benchmarks

Die neueste Kategorie – und 2026 die wichtigste für alle, die LLMs in Produktion einsetzen. Statt einzelne Antworten zu bewerten, messen sie, ob ein Modell mehrstufige Aufgaben mit echten Tools zu Ende bringt. Dazu gehören SWE-Bench Verified (Coding-Agents), Terminal-Bench, τ-Bench – und neuerdings Zapiers AutomationBench.

Wie LMArena (Arena.ai) funktioniert

LMArena startete 2023 als „Chatbot Arena" an der UC Berkeley (LMSYS) und ist heute der meistbeachtete Public-Benchmark für Conversational AI.

Der Loop

1. Du gehst auf lmarena.ai, tippst einen Prompt.
2. Du bekommst zwei Antworten von zwei anonymen Modellen parallel.
3. Du wählst: A besser, B besser, Tie, oder beide schlecht.
4. Erst nach dem Vote siehst du, welche Modelle es waren.
5. Das Vote-Ergebnis fließt in ein Elo-Rating ein.

Elo – aus dem Schach geklaut

Elo wurde ursprünglich für Schach-Rankings entwickelt. Das Prinzip:

• Jeder Spieler (hier: Modell) hat einen Score.
• Gewinnt ein Modell gegen einen stärkeren Gegner, gibt es viele Punkte.
• Gewinnt es gegen einen schwächeren, gibt es wenige.
• Über tausende „Matches" stabilisiert sich ein Ranking.

LMArena nutzt eine modifizierte Bradley-Terry-Variante plus Bootstrap-Konfidenzintervalle. Mit Millionen Votes wird das Ranking pro Modell auf ±5–10 Elo genau.

Was LMArena gut macht

• Open-Ended Prompts: Echte User-Fragen, keine Multiple-Choice.
• Blind Comparison: Markenbias raus.
• Skala: Millionen Votes pro Quartal.
• Sub-Leaderboards: Coding, Math, Hard Prompts, Vision, WebDev, Style Control.

Wo's hakt

• User-Bias: LMArena-User sind tech-affin – nicht repräsentativ für „die Welt".
• Style over Substance: Längere, schön formatierte Antworten gewinnen tendenziell. Deshalb gibt es inzwischen ein „Style Control"-Leaderboard, das genau dafür korrigiert.
• Prompt-Drift: Was User in die Arena tippen, ist nicht zwingend das, was in Produktion läuft.
• Gameability: Anbieter können Modelle gezielt auf „Arena-Stil" trainieren. Stichwort: Goodhart's Law – sobald eine Metrik zum Ziel wird, hört sie auf, eine gute Metrik zu sein.

Zapier AutomationBench: Der erste echte Workflow-Benchmark

Während LMArena fragt „welche Antwort gefällt dir besser?", fragt Zapiers AutomationBench etwas viel Konkreteres: „Hat das Modell die Aufgabe wirklich erledigt – Ende zu Ende, mit echten SaaS-Tools, ohne in der Mitte hängen zu bleiben?"

Aufbau

• ~600 mehrstufige Workflows aus der echten Zapier-Plattform: Salesforce-Updates, Outreach-Sequenzen, Support-Eskalationen, Pipeline-Hygiene.
• Jeder Workflow hat definierte Tools (Zapier Actions), einen Startzustand und ein objektiv prüfbares Endergebnis.
• Gemessen werden Success-Rate (% gelöste Tasks) und Cost per task in USD.

Was der Benchmark zeigt

Wade Foster (Co-Founder/CEO, Zapier) hat den Score von Claude Sonnet 5 öffentlich gemacht: Sprung von 5,3 % auf 13,5 % gegenüber Sonnet 4.6 – mehr als eine Verdopplung auf Multi-Step-Workflows. Spitzenreiter im Leaderboard ist aktuell Claude Fable 5.0 (Max) mit ~17,4 % und ~3,67 USD pro Task.

Klingt niedrig? Ist es auch – und genau das ist der Punkt: Selbst die besten Modelle der Welt schließen heute weniger als jeden fünften echten Business-Workflow zuverlässig ab. Jeder Zugewinn von 5–10 Prozentpunkten verändert die Wirtschaftlichkeit von Agenten dramatisch.

Was AutomationBench besser misst als MMLU oder Arena

• Tool-Use unter Realbedingungen – echte SaaS-APIs, echte Auth, echte Datenmodelle.
• Stall-Verhalten – verlieren Modelle nach 5–20 Tool-Calls die Spur? Zapier sieht das direkt.
• Halluzinierte Endpoints – Foster's Beispiel: Sonnet 4.6 gab nach 5 Schritten auf, weil es einen „escalation procedures"-Endpoint suchte, den es offensichtlich nie gab.
• Cost per task – endlich eine Metrik, die Modelle nach Wirtschaftlichkeit vergleicht, nicht nur nach Score.

Wo auch AutomationBench an Grenzen stößt

• Eine Plattform – Zapier-spezifische Tools und Actions sind nicht jeder Stack.
• Geschlossener Datensatz – wir sehen das Leaderboard, aber nicht die Prompts oder Tool-Schemas im Detail.
• Anbieterperspektive – Zapier hat ein klares Interesse, dass Workflow-Automation als Maßstab gilt.

Trotzdem: Für alle, die Agenten in Vertrieb, Support oder RevOps bauen, ist AutomationBench näher an der Wahrheit als jeder klassische Benchmark.

Spezial-Benchmarks, die 2026 zählen

Neben Arena, AutomationBench und den Klassikern haben sich einige Spezial-Evals etabliert:

• SWE-Bench Verified – echte Softwareentwicklung, von OpenAI re-verified.
• Terminal-Bench – Agenten in echten Shell-Sessions.
• τ-Bench (tau-bench) – Tool-Use & Multi-Turn-Agenten in simulierten Customer-Service-Szenarien.
• LiveCodeBench – Coding-Aufgaben, die nach dem Trainings-Cutoff veröffentlicht wurden (anti-contamination).
• GAIA – General Assistant Benchmark für agentische Workflows.
• BullshitBench – wer erkennt plausibel klingenden Nonsense?
• HLE (Humanity's Last Exam) – PhD-Level-Fragen, an denen Top-Modelle scheitern sollen.

Wer Modelle für ein konkretes Produkt auswählt, schaut nie nur auf Arena. Beispiel: Für einen Coding-Agenten zählen SWE-Bench, Terminal-Bench und LiveCodeBench mehr; für einen Sales-Ops-Agenten ist AutomationBench der ehrlichere Indikator als jede generelle Arena-Position.

Die Meta-Falle: Benchmarks sind keine Realität

Drei Dinge, die wir bei Till Freitag in Kundenprojekten regelmäßig sehen:

1. Das Top-Arena-Modell ist nicht zwingend das beste für deinen Use Case. Ein Modell, das in Coding-Subleaderboards führt, kann in deinem CRM-Workflow versagen, weil dein Prompt-Stil anders ist.
2. Eval gegen die eigenen Daten schlägt jedes Public Leaderboard. Wir bauen für Kunden meist kleine, domänenspezifische Eval-Sets (50–200 Beispiele) mit echten Inputs und einem definierten „good-enough"-Maßstab.
3. Latency, Kosten und Tool-Use stehen in keinem Public Benchmark vollständig – sind in Produktion aber oft entscheidender als 2 % mehr MMLU. AutomationBench ist hier mit „Cost per task" einer der ersten, der die ökonomische Realität ernst nimmt.

So liest du ein Leaderboard sauber

Wenn du das nächste Mal einen Arena- oder AutomationBench-Screenshot in einem Launch-Tweet siehst:

1. Welches Sub-Leaderboard? Overall vs. Coding vs. Hard Prompts kann dramatisch unterschiedlich aussehen.
2. Style Control an oder aus? Ohne Style Control gewinnen oft die „chattigsten" Modelle.
3. Konfidenzintervall checken. Wenn Platz 1 und Platz 4 sich überlappen, ist die Reihenfolge statistisches Rauschen.
4. Cutoff-Datum des Benchmarks vs. Trainings-Cutoff des Modells. Contamination-Risiko steigt rapide.
5. Cost per task mitlesen. Ein 2 %-Vorsprung bei doppelten Kosten ist in Produktion meistens das schlechtere Modell.
6. Anzahl Votes / Runs. Neue Modelle haben oft instabile Werte in den ersten Wochen.

Fazit

LMArena ist 2026 weiterhin der wichtigste Public-Benchmark für „Welches Modell fühlt sich besser an?". Aber für die Frage, die in Produktion zählt – „Erledigt das Modell meine Arbeit zuverlässig und bezahlbar?" – sind Workflow-Benchmarks wie AutomationBench, SWE-Bench und τ-Bench die ehrlichere Antwort.

Die Faustregel: Kein einzelner Benchmark sollte deine Modellwahl entscheiden. Schau auf den Mix – und ergänze ihn durch ein eigenes Eval-Set, das deine echten Inputs nutzt.

→ LMArena Leaderboard → Zapier AutomationBench → SWE-Bench → Verwandter Artikel: BullshitBench