MMLU-Pro
Grote kennistest met ruim 12.000 pittige meerkeuzevragen over 14 vakgebieden (recht, economie, natuurkunde…). Meet brede kennis en redeneren.
Wat meet deze benchmark?
MMLU-Pro (Massive Multitask Language Understanding – Professional) is een grote kennistest met ruim 12.000 meerkeuzevragen uit 14 vakgebieden — van recht en economie tot natuurkunde en geneeskunde. Het is dé standaardtest voor brede kennis en begrip.
Hoe werkt het?
Elke vraag heeft tien antwoordopties (de originele MMLU had er vier), waardoor gokken nauwelijks loont. Het model moet naar het juiste antwoord redeneren; de score is het percentage correct beantwoorde vragen.
Hoe lees je de score?
Percentage goed: 100% is foutloos. Topmodellen zitten rond de 80-90% — vergelijkbaar met een menselijke expert binnen diens eigen vakgebied.
Alle uitslagen
46 modellen met een MMLU-Pro-score, van hoog naar laag. Klik een model voor alle details.