Abschnitt: Technologie & KI Autor: V Leselänge: ~27 Min Quellen und weiterführende Literatur: 22 Einträge Themen: KI, Benchmarks, ChatGPT, Gemini, Claude, Grok, Tschechisch, Modellbewertung SEO / Arbeitstitel: ChatGPT vs. Gemini vs. Claude vs. Grok: Welche KI ist die beste?
Welche KI ist die beste — ChatGPT, Gemini, Claude oder Grok? Die Frage klingt einfach, bis wir merken, dass wir nicht eine Sache vergleichen. Präferenz in der Arena ist nicht Korrektheit. SWE-bench Verified ist nicht Ihr GitLab, und fünf Versuche bei max effort sind nicht ein Versuch. MMLU ist keine allgemeine Intelligenz. Eine englische Rangliste ist keine tschechische Nutzung. Erst wenn diese vier Dinge getrennt sind, lässt sich lesen, was die öffentlichen Tabellen zum September 2026 aggregieren — und was daraus für tschechische Arbeit nicht folgt.
1. Jede Rangliste verteidigt eine andere Aufgabe
Stellen wir uns vier Leser desselben Wortes „beste“ vor. Ein Produktmanager öffnet LMArena und zeigt die ersten Zeilen der öffentlichen Rangliste. Er hat recht, dass anonyme paarweise Präferenzen von Menschen erfassen, welche Antwort Nutzerinnen und Nutzern besser gefällt. Das Paper Chatbot Arena nennt mehr als 240.000 Stimmen aus dem Zeitraum April 2023 bis Januar 2024 und etwa 90.000 Nutzer. Es misst jedoch keinen sachlichen Fehler, keine tschechische Grammatik und keine tschechische Rechtsprechung [1].
Eine Entwicklungsleiterin zieht SWE-bench hervor. Sie hat recht, dass der Anteil resolved nach bestandenen Tests härter ist als der Eindruck aus dem Chat. Aber SWE-bench Verified sind 500 menschlich geprüfte Instanzen aus Python-GitHub-Issues. Das ursprüngliche SWE-bench steht auf 12 Open-Source-Python-Repositorien. Das ist nicht Ihr Enterprise-Monorepo, Ihr GitLab, SAP, Ihre interne Bibliothek und nicht das tschechische Gesetz über die Cybersicherheit [6][7].
Ein Lehrer zeigt MMLU. Er hat recht, dass 57 Fächer und 15.908 Fragen einen benannten akademischen Satz bilden. Er misst jedoch keine offene Arbeit mit Dokumenten, keine tschechischen Realien und nicht, ob ein Modell Unsicherheit zugibt. Und nach der Arbeit von Gema et al. lässt sich nicht mehr so tun, als sei jeder Unterschied auf dem rohen MMLU reine Modellfähigkeit: Die Autorinnen und Autoren von MMLU-Redux schätzten 6,49 Prozent der Fragen mit einem Fehler im Schlüssel [9][10].
Ein tschechischer Nutzer fügt BenCzechMark hinzu. Er hat recht, dass Tschechisch nicht nur übersetztes Englisch ist. BenCzechMark hat 50 Aufgaben, davon 14 neu erhobene, in 8 Kategorien, überwiegend in nativem Tschechisch und mit etwa 10 Prozent maschinell übersetzter Aufgaben. Es verwendet einen Duel-Win-Score aus statistischen Tests mit einem Alpha von 5 Prozent, nicht einen einfachen Mittelwert von Prozenten. Zugleich fehlen oft geschlossene Modelle, weil die Autorinnen und Autoren bewusst keine Stichproben an bezahlte APIs senden. „Nicht gemessen“ ist nicht „verloren“ [17][18].
Auf den ersten Blick ist das ein Markenstreit. In Wirklichkeit beschreibt jede Person eine andere Aufgabe. Deshalb können alle teilweise recht haben und das gemeinsame Urteil „diese KI ist die beste“ trotzdem falsch sein. Eine Tabelle kann ohne Vorbehalt nicht über Chat, Programmierung, Schulprüfungen, Tschechisch, Sicherheit und unternehmerische Verantwortung entscheiden.
Eine Rangliste ist eine Karte einer Aufgabe. Sie ist kein Urteil darüber, wem Sie auf Tschechisch vertrauen dürfen.
— Jiný Kontext
2. Eine „beste KI“ hat mindestens fünf Schichten
Wenn vom besten Modell die Rede ist, ist oft eine Zahl gemeint. Das Ergebnis einer öffentlichen Bewertung entsteht aber in mehreren Schichten. Die erste ist die Aufgabe. Fragen wir nach Chat-Präferenz, nach der Behebung eines GitHub-Issues, nach einem Vier-Wahl-Test, nach tschechischem NLI, nach einem Schulaufsatz oder nach der Suche in einem Rechtstext? Das sind nicht verschiedene Beispiele derselben Sache. Es sind verschiedene Probleme.
Die zweite Schicht ist die Population der Prompts oder Instanzen. Die Arena sammelt selbstgewählte Prompts realer Nutzer und ist überwiegend englisch. SWE-bench arbeitet mit Issues aus 12 Python-Repositorien. MMLU ist eine englische Prüfungsbank. BenCzechMark fügt historisches Tschechisch, Schüleraufsätze, gesprochene Sprache und tschechische Aufgaben hinzu [1][6][9][17].
Die dritte Schicht ist die Bewertung. Ein Bradley-Terry-Modell aus paarweisen Präferenzen ist nicht dasselbe wie der Prozentsatz gelöster Tests. Treffergenauigkeit bei vier Wahlmöglichkeiten ist nicht dasselbe wie ein Duel-Win-Score mit statistischer Signifikanz. Jede Bewertung hat ihre Frage und ihren blinden Fleck.
Die vierte Schicht sind Harness und Veröffentlichungspolitik. Agent-Scaffold, Thinking-Budget, Zahl der Versuche, Docker, erlaubte Werkzeuge und die Wahl der Variante können das Ergebnis ändern. Das Paper Leaderboard Illusion warnt vor privatem Testen von Varianten und selektiver Veröffentlichung. Das ist kein kleines Detail, wenn aus der Reihenfolge ein Geschäftsargument wird [4].
Die fünfte Schicht sind Kosten, Latenz, Sprache und Ablehnung. Tokenpreis, Geschwindigkeit, tschechische Qualität, Datenregime, Safeguard und die Möglichkeit, dass das System einen Teil der Aufgabe ablehnt, passen meist nicht in ein Elo. Für Nutzerinnen und Nutzer entscheiden sie oft mehr als der Unterschied einer Zeile auf der Rangliste.
Diese Schichtung ist kein Detail. Sie sagt, ob wir dieselbe Arbeit vergleichen. Wenn ein Modell fünfmal bei max effort lief und ein anderes einmal in einem anderen Monat, teilen sie nicht nur eine Benchmark-Marke. Sie teilen kein Protokoll.
3. Präferenz in der Arena ist nicht Korrektheit
Chatbot Arena ist gerade deshalb nützlich, weil sie etwas misst, das statische Tests oft nicht können: die Präferenz von Menschen über realen Prompts. Ein Nutzer stellt eine Frage, erhält zwei anonyme Antworten und wählt die bessere. Aus einer großen Zahl solcher Duelle entsteht eine Rangliste. Das Paper von ICML 2024 beschreibt Daten von April 2023 bis Januar 2024, mehr als 240.000 Stimmen und etwa 90.000 Nutzer [1].
Daraus folgt jedoch nicht, dass ein höherer Rang eine wahrere Antwort bedeutet. Präferenz vermengt Ton, Länge, Formatierung, Antwortbereitschaft, Höflichkeit, Sicherheit und manchmal Korrektheit. Ein Nutzer kann einer Antwort seine Stimme geben, die lesbarer ist, auch wenn sie einen kleineren sachlichen Fehler enthält. Oder umgekehrt einer knappen Antwort, weil sie besser zu seinem Ziel passt.
Die Arena ist nicht nutzlos. Sie ist eine Karte des Verhaltens im Gespräch. Sie muss als Präferenz gelesen werden, nicht als gerichtlicher Sachverständiger der Wahrheit. Wenn wir fragen, welches System eine angenehmere E-Mail geschrieben hat, ist die Arena näher an der Aufgabe als MMLU. Wenn wir fragen, welches System einen tschechischen Gesetzesabsatz richtig auslegt, reicht Elo allein nicht.
Präferenz entsteht zudem oft ohne Kenntnis der richtigen Antwort. Der Nutzer vergleicht zwei Antworten in einem Moment, in dem er selbst keine Primärquelle, keinen Test und keine rechtliche Stütze haben muss. Das ist in Ordnung, wenn wir die Nutzerwahl messen. Es ist ein Problem, wenn wir aus dieser Wahl Wahrheit ableiten. Ein Modell, das sicher, flüssig und mit guter Gliederung antwortet, kann eine Stimme gewinnen, auch dort, wo eine spätere Prüfung ein fehlerhaftes Zitat fände. Ein Modell, das in einem kürzeren Satz antwortet und Unsicherheit zugibt, kann schwächer wirken, auch wenn es für riskante Arbeit nützlicher ist.
Zum Datum der Recherche wurde kein live erster Platz der Text-Arena verwendet, weil es ohne einen stabilen primären Snapshot eine Zahl ohne Anker wäre. Das ist keine Schwäche des Arguments. Es ist seine Bedingung. Eine Rangliste ändert sich und muss ein Datum, eine URL und eine Beschreibung dessen haben, was sie gemessen hat.
4. Länge und Markdown sind keine Fähigkeit. Sie sind ein Stilfaktor
LMSYS kämpft mit dem Stilproblem nicht, indem es ihn leugnet. Der Blog von Li, Angelopoulos und Chiang vom 28. bis 29. August 2024 zeigt, dass die Antwortlänge der dominante Stilfaktor in einer Bradley-Terry-Regression war. Der Koeffizient des normalisierten Längenunterschieds wird mit 0,249 angegeben. Die Autorinnen und Autoren kontrollierten Länge und Markdown-Elemente, etwa Listen, Überschriften und fette Hervorhebung [2].
Das ist wichtig, weil viele Nutzer nicht nur über Wahrheit abstimmen. Sie stimmen über das Gefühl ab, dass die Antwort vollständig ist. Eine längere Antwort wirkt oft fleißiger. Markdown wirkt geordneter. Überschriften und Aufzählungen geben ein Gefühl von Struktur. Das kann eine nützliche Produkteigenschaft sein, ist aber nicht dasselbe wie sachliche Richtigkeit.
Style Control trennt einen Teil dieses Einflusses. Sie entfernt ihn nicht vollkommen. Die Autorinnen und Autoren selbst weisen auf mögliche Confounder hin, etwa Chain-of-Thought oder andere Eigenschaften der Antwort, die mit der Länge zusammenhängen. Eine Beobachtungskontrolle ist kein randomisiertes Experiment. Sie sagt nicht, dass wir nach Abzug des Stils reine Wahrheit haben [2].
Deshalb ist es ein Fehler, eine style-controlled Rangliste als universelles Urteil zu lesen. Sie ist besser als der grobe Eindruck. Sie bleibt eine Karte von Präferenzen mit Korrektur, kein Messgerät sachlicher Irrtümer. Wenn Ihre Arbeit darauf steht, ob ein Zitat den Satz wirklich stützt, müssen Sie die Stütze des Zitats messen. Nicht nur die Reihenfolge in der Arena.
5. Eine private Variante vor der Veröffentlichung ist kein öffentlicher Nachweis
Das Paper Leaderboard Illusion weist auf eine Praxis hin, die gerade deshalb unangenehm ist, weil Ranglisten öffentlich und einfach wirken. Die Autorinnen und Autoren nennen 27 private LLM-Varianten eines Anbieters, Meta, die vor der Veröffentlichung von Llama 4 getestet wurden. Ferner schätzen sie eine Asymmetrie des Zugangs zu Arena-Daten: 20,4 Prozent für OpenAI, 19,2 Prozent für Google und 29,7 Prozent für 83 Open-Weight-Modelle zusammen [4].
Diese Anteile hat LMSYS in seiner Reaktion bestritten. Deshalb lassen sie sich nicht als abgeschlossene Prüfung der ganzen Arena lesen. Sie lassen sich als Warnung lesen, dass eine öffentliche Rangliste nicht nur Mathematik über eine neutrale Welt ist. Wer privat testen darf, wer ein Ergebnis zurückzieht, wer nur die beste Variante veröffentlicht und wer Zugang zu Stimmen hat, beeinflusst, was die Öffentlichkeit sieht [4].
Es geht um die Prüfung einer Praxis, nicht um den Beweis, dass Ranglisten keinen Wert haben. Im Gegenteil: Wenn sie Wert haben, brauchen sie ein Protokoll. Sie müssen sagen, welche Variante lief, wann, mit welchen Regeln und ob das Ergebnis dem Produktionsmodell entspricht. Ohne das kauft der Nutzer keinen Sieger. Er kauft einen Namen, der auf der Rangliste etwas leicht anderes bedeutet haben kann.
6. SWE-bench Verified ist nicht Ihr GitLab
SWE-bench ist ein starker Test, weil er praktisch fragt: Kann ein System ein reales GitHub-Issue so lösen, dass der Patch die Tests besteht? Der ursprüngliche Benchmark enthält 2.294 Instanzen aus 12 Open-Source-Python-Repositorien. Bewertet wird, ob der vorgeschlagene Patch FAIL_TO_PASS- und PASS_TO_PASS-Tests im jeweiligen Harness besteht [6][8].
SWE-bench Verified entstand, weil der ursprüngliche Satz verschiedene Unreinheiten hatte. OpenAI stellte im August 2024 insgesamt 500 menschlich geprüfte Instanzen aus 1.699 zufällig ausgewählten Teststichproben vor. Sie wurden von 93 Python-Entwicklerinnen und -Entwicklern beurteilt. In der geprüften Menge sind 196 easy Instanzen mit einer menschlichen Zeitschätzung unter 15 Minuten und 45 hard Instanzen mit einer Schätzung über 1 Stunde. Diese Zeiten sind eine menschliche Schätzung, keine automatische Metrik [7].
Verified ist sauberer. Es ist nicht universell. Es misst weiterhin Python-Issues aus bestimmten Repositorien, in einem bestimmten Harness, mit bestimmten Tests. Es misst kein Code Review, keine Sicherheit, keine Architektur, kein TypeScript-Monorepo, kein historisches SAP und keine tschechische Dokumentation. Und SWE-bench Pro ist wieder ein anderer Satz: schwerer, mehr Dateien, weniger Leakage von Ground Truth. Verified ist nicht Pro und Pro ist nicht Ihr GitLab.
Deshalb hat es Sinn, SWE-bench als Filter von Programmierkandidaten zu nehmen. Es hat keinen Sinn, ihn als Beweis zu nehmen, dass ein Modell Ihr Issue mit derselben Geschwindigkeit und demselben Risiko behebt. Ihr Harness, Ihre Tests und Ihre Review-Regeln sind Teil der Leistung.
Im Unternehmensrepositorium entscheidet oft genau das, was ein öffentlicher Benchmark nicht sieht. Code kann lokale Tests bestehen und trotzdem eine interne Architekturregel verletzen. Ein Patch kann funktionieren und für das Team, das ihn pflegen wird, trotzdem unlesbar sein. Ein Agent kann ein Symptom beheben und den Ort umgehen, an dem der Fehler wirklich entsteht. Oder er scheitert nur deshalb, weil ihm die Firma nicht denselben Kontext gegeben hat, den ein Mensch hat: Laufzeitvariablen, historische Entscheidungen, eine interne Bibliothek und Kenntnis des Release-Prozesses. Deshalb muss ein Programmier-Benchmark durch einen eigenen Pilot ergänzt werden. Nicht weil der öffentliche Satz schlecht wäre, sondern weil Ihre Arbeit eine andere Grenze der Richtigkeit hat.
7. Fünf Versuche bei max effort sind nicht ein Versuch
Die größte Verwirrung entsteht, wenn wir Zahlen mit demselben Benchmark-Namen und einem anderen Protokoll nebeneinanderlegen. Anthropic nennt in der System Card zu Fable 5 und Mythos 5 vom Juni 2026 auf SWE-bench Verified 95,5 Prozent resolved für Mythos 5 und 95 Prozent für Fable 5. Es handelt sich um selbstberichtete Zahlen, den Mittelwert aus 5 Versuchen, adaptive thinking und max effort. Fable hat Produktionssafeguards einschließlich eines Fallbacks auf Opus 4.8, den die Karte als Grund nennt, warum es leicht unter Mythos liegen kann [11][12].
Auf SWE-bench Pro nennt dieselbe Karte 80,3 Prozent für Mythos 5 und 80 Prozent für Fable 5. Google DeepMind nennt in der Model Card zu Gemini 3.1 Pro vom 19. Februar 2026 genau 80,6 Prozent auf SWE-bench Verified für Gemini 3.1 Pro Thinking High, aber als Single Attempt. Auf dem public split von SWE-bench Pro nennt sie 54,2 Prozent, ebenfalls Single Attempt [11][14].
OpenAI nennt in der Tabelle zu GPT-5.6 vom 9. Juli 2026 genau 64,6 Prozent auf SWE-bench Pro. In dieser Tabelle nennt sie SWE-bench Verified nicht. In einer Vergleichstabelle erscheint Fable 5 als 80 Prozent Pro, aber das ist immer noch eine Zahl in einer OpenAI-Tabelle und eine Namensübereinstimmung, kein Beweis desselben Laufs mit demselben Harness. Historisch nannte OpenAI bei SWE-bench Verified GPT-4o mit 33,2 Prozent resolved zum August 2024, in einer Anmerkung zu Agentless [7][13].
Was zu prüfen ist, bevor Sie zwei Prozente addieren
Schreiben Sie Verified oder Pro. Die Zahl der Versuche. Thinking. Das Datum der Karte. Self-Report oder Independent Run. Agent-Scaffold. Erlaubte Werkzeuge. Erst dann vergleichen. Ohne das lässt sich die Zahl 95 neben 80,6 nicht als Markenkampf lesen. Es ist ein Kampf zweier Zeilen mit anderem Protokoll.
Ein selbstberichtetes Ergebnis teilt den Namen des Benchmarks. Es teilt nicht das Protokoll.
— Jiný Kontext
8. MMLU ist keine allgemeine Intelligenz
MMLU hat einen guten Grund, berühmt zu sein. Hendrycks et al. bauten einen umfangreichen akademischen Vier-Wahl-Test auf Englisch: 57 Fächer und 15.908 Fragen insgesamt, davon 14.079 Test- und 1.540 Validierungsfragen. Im ursprünglichen Paper werden fünf Few-Shot-Beispiele je Fach verwendet [9].
Ein solcher Satz half, die Breite des Wissens zu messen. Aber die Breite akademischer Fragen ist keine allgemeine Intelligenz. MMLU misst kein tschechisches Recht, keine tschechischen Realien, keine offene Arbeit mit einem Dokument und nicht die Fähigkeit zuzugeben, dass eine Quelle fehlt. Ein Modell kann auf einer Vier-Wahl-Frage ausgezeichnet und in einem langen tschechischen Brief an einen Kunden schwächer sein. Oder umgekehrt.
Auch der menschliche Anker wird oft stärker gelesen, als das Paper erlaubt. Hendrycks et al. nennen 34,5 Prozent für MTurk ohne Spezialisierung und etwa 89,8 Prozent als Schätzung eines Experten-95.-Perzentils aus den Quellprüfungen. Diese Expertenangabe ist eine Schätzung, teils aus Perzentilen und teils educated guess. Sie ist kein gemessenes Expertenpanel über das gesamte MMLU [9].
MMLU-Redux und MMLU-Pro sind weitere Objekte. Ein Kontaminationsüberblick von GEM 2026 erinnert an MMLU als Archetyp eines Satzes, der empfindlich für Leakage ins Training und für wiederholte Nutzung ist [20]. Das bedeutet nicht, dass MMLU keinen Wert hat. Es bedeutet, dass sich daraus ohne Vorbehalt kein Urteil über Arbeit machen lässt, die MMLU nie gemessen hat.
9. Ein Fehler im Schlüssel ist kein Unterschied zwischen Modellen
Gema et al. annotierten in Are We Done with MMLU? 5.700 Fragen aus allen 57 Fächern neu und schufen MMLU-Redux. Sie schätzten, dass 6,49 Prozent der Fragen einen Fehler im Schlüssel haben. In der Virologie nennen sie im analysierten Schnitt 57 Prozent fehlerhafte Items [10].
Das ist methodisch unangenehm. Wenn sich zwei Frontier-Modelle auf dem rohen MMLU um einen Prozentpunkt unterscheiden, kann ein Teil des Unterschieds Label-Rauschen sein, nicht Fähigkeit. Ein Modell kann sachlich richtig antworten und durch einen falschen Schlüssel bestraft werden. Oder es trifft einen Schlüssel, der selbst strittig ist.
Es ist nicht fair, daraus den Satz zu machen, MMLU sei wertlos. Es ist fair, daraus eine Regel zu machen: Je kleiner der Unterschied, desto größer die Notwendigkeit, auf die Qualität der Labels, ein Unsicherheitsintervall, Kontamination und die Natur der Aufgabe zu schauen. Ein genaues Prozent kann eine fehlerhafte Bedingung genau messen.
10. Eine Häufung an der GPQA-Decke ist kein Markenurteil
GPQA Diamond ist ein anderer Typ akademischen Tests. Rein et al. konstruierten ihn als graduate-level science, google-proof Satz; das Diamond-Subset hat 198 Fragen. In Model Cards aus dem Jahr 2026 erscheinen hohe Ergebnisse: Anthropic nennt Mythos 5 mit 94,1 Prozent als Mittel aus 5 Versuchen, Google nennt Gemini 3.1 Pro mit 94,3 Prozent ohne Werkzeuge und OpenAI nennt GPT-5.6 Sol mit 94,6 Prozent [11][13][14][22].
Der Unterschied von 94,1, 94,3 und 94,6 Prozent sieht wie eine Reihenfolge aus. Es handelt sich aber um eine Häufung an der Decke, über verschiedene Karten und Protokolle hinweg. Ohne denselben Lauf in derselben Woche, mit derselben Einstellung und öffentlichen Logs, lässt sich daraus kein Markenurteil machen.
Die praktische Frage lautet wieder anders. Wenn Sie ein Modell für wissenschaftliches Q&A wählen, kann GPQA eine nützliche Karte sein. Wenn Sie ein Modell für eine interne tschechische Rechtsanalyse wählen, kartiert sie ein anderes Gelände. Ein Deckenwert auf englischer Wissenschaft ist keine Berechtigung, einem tschechischen Zitat zu vertrauen.
11. Eine englische Rangliste ist keine tschechische Nutzung
Tschechisch ist nicht nur ein Wortschatz. Es ist Syntax, Flexion, Kontext, kulturelle Bezüge, Schulen, Behörden, rechtliche Formulierungen, ein Fehler in der Diakritik und die Fähigkeit, eine englische Wendung nicht als tschechischen Satz zu übersetzen. Deshalb sind tschechische Benchmarks wichtig, auch wenn sie weniger sichtbar sind als globale Arenen.
BenCzechMark aus TACL 2025 nennt 50 Aufgaben, 14 neu erhobene und 8 Kategorien. Überwiegend handelt es sich um natives Tschechisch; etwa 10 Prozent der Aufgaben sind maschinell übersetzt. Das Ergebnis ist kein einfacher Mittelwert der Treffergenauigkeit, sondern ein Duel-Win-Score aus statistischen Tests mit Alpha 5 Prozent. Das ist eine andere Bewertungssprache als MMLU oder Arena-Elo [17].
Zugleich ist ein Vorbehalt nötig. Die Autorinnen und Autoren von BenCzechMark senden bewusst keine Stichproben an bezahlte APIs, sodass geschlossene ChatGPT, Claude oder Gemini auf BCM oft fehlen. Das lässt sich nicht als Niederlage lesen. Es ist eine Lücke in der Messung [17][18].
CzechBench ist eine weitere tschechische Spur, aber auch hier ist es unangebracht, Präzision vorzutäuschen, wo die Quellen auseinandergehen. Das Dossier hält fest, dass das Paper BenCzechMark bei CzechBench 17 Aufgaben und 8 native nennt, während die öffentliche Rangliste 15 Aufgaben meldet. Deshalb steht hier keine einzelne offizielle CzechBench-Zahl als fester Wert. Ein benannter Benchmark Czeval oder CzEval fand sich in den Primärquellen zum September 2026 nicht [19].
Wer nur LMArena oder MMLU liest, sieht keine tschechischen Duelle. Wer nur einen tschechischen Benchmark ohne geschlossene Modelle liest, sieht ebenfalls nicht den ganzen Markt. Der richtige Satz lautet nicht „dieses Modell hat Tschechisch gewonnen“. Der richtige Satz lautet oft: In diesem tschechischen Satz ist dies gemessen, jenes geschlossene Modell fehlt, und ein eigener Test ist nötig.
Tschechische Nutzung hat zudem mehrere Gestalten. Ein anderes Problem ist, eine natürliche geschäftliche E-Mail zu schreiben. Ein anderes, ein Sitzungsprotokoll mit tschechischen Namen und Institutionen zusammenzufassen. Ein anderes, zu unterscheiden, ob ein zitierter Gesetzesabsatz gilt, geändert wurde oder in einen anderen Teil der Rechtsordnung gehört. Und ein anderes, einen Schülertext so zu korrigieren, dass das System den Stil der Autorin nicht in glattes Allgemeintschechisch umschreibt. Ein Score kann einige dieser Arbeiten näherbringen. Er kann sie nicht alle ersetzen.
12. Preis, Safeguard und Ablehnung sind kein Elo
Eine öffentliche Rangliste trägt gewöhnlich keine Rechnung. Dabei kauft der Nutzer nicht nur Fähigkeit, sondern ein akzeptiertes Ergebnis. Anthropic nennt im Juni 2026 für Fable 5 den Preis 10 USD je 1 Million Eingabetoken und 50 USD je 1 Million Ausgabetoken. OpenAI nennt im Juli 2026 für GPT-5.6 Sol 5 USD je 1 Million Eingabe- und 30 USD je 1 Million Ausgabetoken [11][12][13].
Diese Zahlen sind für sich kein Urteil. Ein billigerer Token kann teurer sein, wenn das Modell mehr Versuche, mehr Kontrolle und mehr menschliche Korrektur braucht. Ein teureres Modell kann billiger sein, wenn es die Zahl gescheiterter Läufe senkt. Eine Preisliste ist der Preis des Rohstoffs, nicht der Preis des Ergebnisses.
Safeguard ist eine weitere Schicht. Anthropic nennt bei Fable 5 Produktionssafeguards und einen Fallback auf Opus 4.8, der im Durchschnitt in weniger als 5 Prozent der Sitzungen auslöst [11]. Das kann ein Sicherheitsvorteil sein. Es kann aber auch bedeuten, dass ein tschechisches „das geht nicht“ in einer konkreten Aufgabe keine Unfähigkeit des Modells ist, sondern Produktpolitik.
Ablehnung, Latenz und Datenregime passen nicht leicht ins Elo. In der Arbeit entscheiden sie trotzdem. Das beste Modell auf der Rangliste muss nicht das beste System für einen Prozess sein, in dem Sie Audit, geringe Latenz, eine stabile Antwort, billige Kontrolle und vorhersehbares Verhalten brauchen.
Dieselbe Logik gilt für den Schaden. Bei einem Marketingentwurf kann eine Ablehnung nur eine Verzögerung sein. Beim Kundensupport kann eine unvorhersehbare Ablehnung ein Dienstverstoß sein. Bei einem rechtlichen oder medizinischen Text kann Vorsicht wünschenswert sein, wenn das System klar sagt, was es nicht entscheiden will und warum. Eine Rangliste, die gelöste Issues oder Chat-Präferenz misst, zeigt diese Grenze gewöhnlich nicht. Sie muss ein Pilot im konkreten Prozess zeigen.
13. Eine Grok-Karte ist keine SWE-Tabelle
Grok erscheint in Debatten als weitere Marke im selben Kampf. Das Dossier nennt jedoch eine einfache Grenze: Die öffentlichen Karten zu Grok 4 vom 20. August 2025 und Grok 4.20 vom 7. April 2026 sind Sicherheits- und Dual-Use-Assessments. Eine vergleichbare SWE-bench-Verified-Zahl von xAI war in diesen Karten zum Datum der Recherche nicht verifiziert [15][16].
Das Fehlen einer Zahl ist kein Beweis der Unfähigkeit. Es ist der Beweis, dass sich aus diesen Karten kein fairer Kampf auf SWE-bench Verified zusammensetzen lässt. Wenn ein Anbieter ein Coding-Ergebnis in einer Tabelle veröffentlicht und ein anderer vor allem eine Sicherheitskarte, haben wir nicht zwei Messungen derselben Sache.
Das ist eine allgemeinere Regel. Nicht jede Model Card ist eine Rangliste. Nicht jedes Sicherheitsdokument enthält Produktleistung. Und nicht jede Marketingtabelle hat ein Protokoll, das den Vergleich mit einer anderen Tabelle erlaubte. Wenn die Grundlage fehlt, lautet die genaue Antwort „nicht verifiziert“, nicht „verloren“.
14. Die beste Karte ist die, deren Irrtum Sie tragen können
Die folgenden Empfehlungen sind keine Produktrangliste. Sie sind ein Wegweiser zum ersten eigenen Lauf. Sie knüpfen an den Text Wem Sie Fehler erlauben an, der die Wahl der KI nach der Art des Fehlers behandelt, den Sie sich leisten können. Hier geht es nicht um ein zweites Markenurteil. Es geht darum, eine Rangliste als Karte zu lesen.
| Art des Scheiterns | Wie es aussieht | Wie testen | Was den Schaden begrenzt |
|---|---|---|---|
| Präferenz als Richtigkeit | Höheres Elo = wahreres Tschechisch | Zehn Aufgaben in derselben Sprache; sachlicher Fehler, nicht „gefällt mir“ | Style Control als Vorbehalt nehmen, nicht als Wahrheitsprüfung |
| Verdeckter Harness | 95 % neben 80,6 % als Markenkampf | Versuche, Thinking, Datum, Verified vs. Pro, Self-Report vs. Independent festhalten | Karten mit verschiedenem Protokoll nicht addieren |
| Englische Karte auf Tschechisch | LMArena oder MMLU als Urteil für tschechische Arbeit | BenCzechMark, CzechBench oder eigener Satz; „nicht gemessen“ ist nicht „verloren“ | MMLU und rohes Elo nicht zur ersten Spalte machen |
| Cherry-Pick von Varianten | Private Läufe, zurückgezogene Scores, nur die beste Zahl nach außen | Fragen, welche Variante in der Produktion ist | Leaderboard Illusion als Vorbehalt zur Tabelle |
| Häufung an der Decke | 94,1 / 94,3 / 94,6 als Markenreihenfolge | GPQA Diamond: Unterschied 1 Prozentpunkt an der Decke | Einen Kauf nicht über einen Prozentpunkt entscheiden |
Illustratives Schema: Drei Spalten — Arena (Präferenz), SWE-bench (Tests im Harness), BenCzechMark (tschechische Duelle). Ein Pfeil „beste“ führt nicht zwischen den Spalten. Er führt nur innerhalb einer Spalte, mit Datum und Protokoll.
Eine gute Karte ist nicht die mit der größten Zahl. Eine gute Karte ist die, deren Irrtum Sie kennen. Wenn sie Präferenz misst, nutzen Sie sie für Arbeit, in der Präferenz Sinn hat. Wenn sie einen Patch nach Tests misst, nutzen Sie sie für die Auswahl von Programmierkandidaten. Wenn sie Tschechisch misst, lesen Sie sie auf Tschechisch und mit einer Grenze der Abdeckung.
15. Zehn eigene Aufgaben sagen mehr als der erste Platz
Ein praktischer Test ist kein Markenkampf. Er ist die Prüfung, ob die Karte zu Ihrer Aufgabe passt. Stellen Sie zehn Aufgaben in derselben Sprache, demselben Genre und mit derselben Schadensschwelle zusammen. Zehn tschechische E-Mails an einen Kunden. Zehn Issues aus Ihrem Repositorium. Zehn Fragen aus einer internen Wissensbasis. Zehn kurze Analysen, bei denen Sie die richtige Stütze kennen.
Wie Sie zwei Kandidaten auf demselben Satz testen
Lassen Sie zwei Kandidaten am selben Tag laufen, mit derselben Thinking-Einstellung, ohne den Prompt zwischen den Läufen zu wechseln und mit demselben Zugang zu Werkzeugen. Halten Sie sachlichen Fehler, ein halluziniertes Zitat, Ablehnung, Länge, Preis und Zeit bis zum nutzbaren Ergebnis fest. Addieren Sie kein Elo. Addieren Sie, welcher Fehler Ihre Kontrolle passieren würde.
Drei Harness-Tests
Wenn die Aufgabe Tschechisch ist, lassen Sie als erste Spalte weder MMLU noch das rohe Elo der Arena. Die erste Spalte ist BenCzechMark, CzechBench oder Ihr Satz. Wenn ein geschlossenes Modell auf BenCzechMark fehlt, schreiben Sie „nicht gemessen“, nicht „verloren“.
Wenn die Aufgabe Code ist, nennen Sie den Harness. „95 Prozent Verified“ ohne Zahl der Versuche, Thinking-Modus und Agent-Stack ist eine Marketingüberschrift, kein Laborprotokoll. Wenn die Aufgabe Recherche ist, prüfen Sie Zitate satzweise. Ein Zitat, das existiert, muss einen konkreten Schluss noch nicht stützen.
Ein eigener Satz muss nicht groß sein. Er muss wahr sein. Er soll die Arbeit messen, die Sie wirklich tun, in der Sprache, in der Sie sie tun, und mit einem Fehler, den Sie sich vorstellen können.
Ein guter Satz hat auch die richtigen negativen Beispiele. Es reicht nicht, dem Modell zehn Aufgaben zu geben, die sich glatt lösen lassen. Fügen Sie eine Aufgabe hinzu, in der die Grundlage fehlt. Fügen Sie ein Dokument mit einem Widerspruch zwischen älterer und neuerer Fassung hinzu. Fügen Sie eine Frage hinzu, deren richtige Antwort lautet „aus den verfügbaren Daten lässt sich das nicht sagen“. Dann zeigt sich der Unterschied zwischen einem Modell, das um jeden Preis den Satz beenden will, und einem System, das hilft, die Kontrolle zu halten.
Halten Sie das Ergebnis einfach fest. Nicht nur eine Note, sondern die Art des Fehlers. Eine erfundene Quelle. Richtige Quelle, falscher Schluss. Eine zu lange Antwort. Eine Ablehnung ohne Grund. Eine gute Antwort, aber zu teuer für die Wiederholung. Erst dieser Eintrag sagt, ob der erste Platz der öffentlichen Karte zu Ihrem Ziel führt.
16. Ein selbstberichtetes Ergebnis ist kein Independent Run
Die Selbstbewertung eines Anbieters ist nicht automatisch unwahr. Sie ist jedoch eine andere Art von Beweis als ein unabhängiger Lauf. Eine Model Card kann ehrlich und trotzdem mit der Karte eines Wettbewerbers unvergleichbar sein. Der Unterschied kann in der Zahl der Versuche, im Agent-Scaffold, im Datum, in den erlaubten Werkzeugen, im Sample oder in der Politik der Variantenwahl liegen.
Ein stärkerer Schluss würde einen unabhängigen, vorab registrierten Lauf desselben SWE-bench-Verified-Harness für ChatGPT, Gemini, Claude und Grok in derselben Woche verlangen, mit demselben Scaffold, derselben Zahl von Versuchen, demselben Commit und öffentlichen Logs. Das würde noch nicht über Tschechisch oder Recht entscheiden, aber wenigstens eine Quelle der Verwirrung beseitigen.
Für Tschechisch würde eine öffentliche tschechischsprachige Präferenzrangliste mit beschriebenem Sampling und ohne privates Cherry-Picking helfen, in der geschlossene und offene Modelle nebeneinander stünden. Für MMLU würde ein neu annotierter Nachfolger ohne geschätzte Schlüssel-Fehlerquote von 6,49 Prozent helfen, auf dem sich die Reihenfolge der Frontier-Modelle stabil um mehr als Label-Rauschen unterschiede [10].
Auch ein Beweis würde helfen, dass ein style-controlled Arena-Score Ihre Unternehmensmetrik besser vorhersagt als ein eigener Satz: Zeit bis zum Merge, Zahl der Reklamationen, Zahl halluzinierter Absätze oder der Anteil der Antworten, die ein Lektor zurückgibt. Solange das nicht vorliegt, bleibt eine öffentliche Rangliste eine Karte einer Aufgabe. Sie ist kein Urteil.
17. Die verdeckten Kosten sind ein erster Platz, der eine andere Aufgabe misst
Der erste Platz ist bequem. Er spart eine Entscheidung, passt in eine Präsentation und gibt dem Einkauf einen einfachen Satz. Genau darin liegen seine verdeckten Kosten. Wenn der erste Platz eine andere Aufgabe misst, bringt er Sicherheit in die Firma, wo eine Frage hätte stehen sollen.
Eine Rangliste ist kein Feind. Ohne öffentliche Benchmarks hätten wir nur Werbung und persönlichen Eindruck. Die Arena hilft, Präferenz zu sehen. SWE-bench hilft, Programmierkorrekturen in einem bestimmten Harness zu sehen. MMLU und GPQA helfen, akademisches Wissen zu verfolgen. BenCzechMark und CzechBench erinnern daran, dass Tschechisch eine eigene Messung braucht. Jede Karte ist nützlich, wenn wir wissen, wohin sie führt.
Deshalb ist es nicht genau zu sagen, dass wir Benchmarks nicht vertrauen sollen. Genauer ist zu sagen, dass wir ihnen in dem Umfang vertrauen sollen, den sie selbst beschreiben. Wenn die Arena sagt, dass Menschen in einem anonymen paarweisen Vergleich eine Antwort bevorzugten, lesen wir daraus nicht die Wahrheit eines Gesetzesabsatzes. Wenn SWE-bench sagt, dass ein Patch die Tests bestand, lesen wir daraus nicht die Sicherheit eines Entwurfs. Wenn BenCzechMark sagt, dass ein Modell in einem tschechischen Duell bestand, lesen wir daraus nicht die Leistung eines geschlossenen Modells, das im Satz nicht war.
Die Frage lautet nicht, welche KI die beste ist. Sie lautet: Welche Aufgabe, welche Prompt-Population und welchen Harness misst die Rangliste — und welchen Fehler sehen Sie rechtzeitig auf Ihrem eigenen Satz?
Verwandte Texte dieser Reihe
- Wem Sie Fehler erlauben — Wahl der KI nach der Art des Fehlers, den Sie tragen können. Dieser Text ist eine Karte der Ranglisten, kein zweites Markenurteil.
- Kann KI Programmierer ersetzen? — SWE-bench als Harness der Arbeit, nicht als Chat-Elo.
- Welche Berufe wird KI ersetzen… — eine Modellrangliste misst nicht das Ende eines Berufs.