τ²-bench (agent-taken)
Realistische klantenservice-scenario's (vluchten omboeken, abonnementen wijzigen) waarin het model zelfstandig regels moet volgen en tools gebruiken.
Wat meet deze benchmark?
τ²-bench simuleert realistische klantenservice-gesprekken — vliegtickets omboeken, telecomabonnementen wijzigen — waarin het model zelfstandig tools moet gebruiken en bedrijfsregels moet volgen.
Hoe werkt het?
Het model praat met een gesimuleerde klant en moet taken écht uitvoeren via systemen, binnen de regels ("geen terugbetaling zonder bon"). De score is het percentage succesvol afgeronde scenario's.
Hoe lees je de score?
Percentage geslaagde scenario's. De beste voorspeller voor hoe betrouwbaar een model is als zelfstandige (klantenservice-)assistent.
Alle uitslagen
64 modellen met een τ²-bench (agent-taken)-score, van hoog naar laag. Klik een model voor alle details.