Direct naar de inhoud
ModelCompass powered by Wux AI
Terug
Benchmark · bron: Artificial Analysis score in %

SciCode

Programmeeropgaven uit echte wetenschappelijke onderzoekspapers — combineert code en vakkennis.

Wat meet deze benchmark?

SciCode bevat programmeeropgaven die rechtstreeks uit wetenschappelijke onderzoekspapers komen (natuurkunde, wiskunde, biologie). Het model moet code schrijven die echte onderzoeksproblemen oplost.

Hoe werkt het?

Elke opgave is opgeknipt in deelstappen die het model moet implementeren; de uitkomsten worden vergeleken met de wetenschappelijk juiste oplossing.

Hoe lees je de score?

Percentage goed. Zeer pittig: ook topmodellen blijven doorgaans onder de ~60%. Vooral relevant voor technisch-wetenschappelijk werk.

Alle uitslagen

91 modellen met een SciCode-score, van hoog naar laag. Klik een model voor alle details.

1 Claude Fable 5Anthropic 🇺🇸Verenigde Staten 60.2% 2 Gemini 3.1 Pro PreviewGoogle 🇺🇸Verenigde Staten 58.9% 3 Kimi K3Moonshot AI 🇨🇳China 58.7% 4 Gemini 3.7 FlashGoogle 🇺🇸Verenigde Staten 56.8% 5 Muse Spark 1.2Meta 🌐Onbekend 56.4% 6 GPT-5.6 SolOpenAI 🇺🇸Verenigde Staten 56.1% 7 GPT-5.5OpenAI 🇺🇸Verenigde Staten 56.1% 8 Claude Opus 5Anthropic 🇺🇸Verenigde Staten 55.7% 9 GPT-5.6 TerraOpenAI 🇺🇸Verenigde Staten 53.9% 10 Grok 4.6xAI (Grok) 🇺🇸Verenigde Staten 53.6% 11 Claude Sonnet 5Anthropic 🇺🇸Verenigde Staten 53.6% 12 Kimi K2.6Moonshot AI 🇨🇳China 53.5% 13 GPT-5.3-CodexOpenAI 🇺🇸Verenigde Staten 53.2% 14 Qwen3.8 MaxAlibaba (Qwen) 🇨🇳China 52.9% 15 GPT-5.6 LunaOpenAI 🇺🇸Verenigde Staten 52.5% 16 GPT-5.2OpenAI 🇺🇸Verenigde Staten 52.1% 17 GPT-5.2 ChatOpenAI 🇺🇸Verenigde Staten 52.1% 18 GLM 5.2Z.ai 🇨🇳China 50.5% 19 GLM 5.2 (free)Z.ai 🇨🇳China 50.5% 20 DeepSeek V4 Flash LatestDeepSeek 🇨🇳China 49.9% 21 DeepSeek V4 Flash 0423DeepSeek 🇨🇳China 49.9% 22 DeepSeek V4 Pro 0423DeepSeek 🇨🇳China 49.2% 23 Qwen3.7 MaxAlibaba (Qwen) 🇨🇳China 48.8% 24 Inkling SmallThinkingmachines 🌐Onbekend 48.7% 25 Inkling Small (free)Thinkingmachines 🌐Onbekend 48.7% 26 Grok 4.3xAI (Grok) 🇺🇸Verenigde Staten 47.3% 27 o4 Mini HighOpenAI 🇺🇸Verenigde Staten 46.5% 28 o4 MiniOpenAI 🇺🇸Verenigde Staten 46.5% 29 InklingThinkingmachines 🌐Onbekend 46.1% 30 Inkling (free)Thinkingmachines 🌐Onbekend 46.1% 31 Grok 4.20xAI (Grok) 🇺🇸Verenigde Staten 45.6% 32 MiniMax M3MiniMax 🇨🇳China 45.4% 33 Qwen3.8 27BAlibaba (Qwen) 🇨🇳China 44.7% 34 Solar Pro 4Upstage 🇰🇷Zuid-Korea 43.6% 35 Gemma 4 31BGoogle 🇺🇸Verenigde Staten 43.4% 36 Gemma 4 31B (free)Google 🇺🇸Verenigde Staten 43.4% 37 GPT-5.1OpenAI 🇺🇸Verenigde Staten 43.3% 38 GPT-5OpenAI 🇺🇸Verenigde Staten 42.9% 39 Gemini 2.5 Pro Preview 06-05Google 🇺🇸Verenigde Staten 42.8% 40 Gemini 2.5 ProGoogle 🇺🇸Verenigde Staten 42.8% 41 GPT-5.1-Codex-MiniOpenAI 🇺🇸Verenigde Staten 42.6% 42 Gemini 3.1 Flash LiteGoogle 🇺🇸Verenigde Staten 41.9% 43 Gemini 3.1 Flash Lite PreviewGoogle 🇺🇸Verenigde Staten 41.9% 44 Gemini 2.5 Pro Preview 05-06Google 🇺🇸Verenigde Staten 41.6% 45 GPT-5 MiniOpenAI 🇺🇸Verenigde Staten 41% 46 o3OpenAI 🇺🇸Verenigde Staten 41% 47 Gemini 3.5 Flash LiteGoogle 🇺🇸Verenigde Staten 40.9% 48 GPT-5.1-CodexOpenAI 🇺🇸Verenigde Staten 40.2% 49 Gemma 4 26B A4BGoogle 🇺🇸Verenigde Staten 40% 50 Gemma 4 26B A4B (free)Google 🇺🇸Verenigde Staten 40% 51 o3 Mini HighOpenAI 🇺🇸Verenigde Staten 39.9% 52 o3 MiniOpenAI 🇺🇸Verenigde Staten 39.9% 53 Mistral Medium 3.5Mistral AI 🇫🇷Frankrijk 39.6% 54 gpt-oss-120bOpenAI 🇺🇸Verenigde Staten 38.9% 55 North Mini Code (free)Cohere 🇨🇦Canada 38.2% 56 GPT-4.1OpenAI 🇺🇸Verenigde Staten 38.1% 57 Mistral Small 4Mistral AI 🇫🇷Frankrijk 38% 58 GPT-5 NanoOpenAI 🇺🇸Verenigde Staten 36.6% 59 Trinity Large ThinkingArcee AI 🇺🇸Verenigde Staten 36.1% 60 o1OpenAI 🇺🇸Verenigde Staten 35.8% 61 LongCat 2.0Meituan 🌐Onbekend 35.4% 62 gpt-oss-20bOpenAI 🇺🇸Verenigde Staten 34.4% 63 Mistral Medium 3.1Mistral AI 🇫🇷Frankrijk 33.8% 64 GPT-4o (2024-11-20)OpenAI 🇺🇸Verenigde Staten 33.3% 65 Llama 4 MaverickMeta 🇺🇸Verenigde Staten 33.1% 66 Mistral Medium 3Mistral AI 🇫🇷Frankrijk 33.1% 67 GPT-4 TurboOpenAI 🇺🇸Verenigde Staten 31.9% 68 Nemotron 3.5 LightningNVIDIA 🇺🇸Verenigde Staten 31.6% 69 Nemotron 3.5 Lightning (free)NVIDIA 🇺🇸Verenigde Staten 31.6% 70 Olmo 3 32B ThinkAllenAI 🇺🇸Verenigde Staten 28.6% 71 Command ACohere 🇨🇦Canada 28.1% 72 Nemotron 3 Nano Omni (free)NVIDIA 🇺🇸Verenigde Staten 27.8% 73 Reka Flash 3Reka 🇺🇸Verenigde Staten 26.7% 74 Llama 3.3 70B InstructMeta 🇺🇸Verenigde Staten 26% 75 Phi 4Microsoft 🇺🇸Verenigde Staten 26% 76 SabaMistral AI 🇫🇷Frankrijk 24.1% 77 Mistral Small 3Mistral AI 🇫🇷Frankrijk 23.6% 78 Hermes 3 70B InstructNous Research 🇺🇸Verenigde Staten 23.1% 79 GPT-4o-mini (2024-07-18)OpenAI 🇺🇸Verenigde Staten 22.9% 80 GPT-4o-miniOpenAI 🇺🇸Verenigde Staten 22.9% 81 Granite 4.1 8BIBM 🇺🇸Verenigde Staten 21.8% 82 Gemma 3 27BGoogle 🇺🇸Verenigde Staten 21.2% 83 Gemini 2.5 Flash LiteGoogle 🇺🇸Verenigde Staten 19.3% 84 Claude 3 HaikuAnthropic 🇺🇸Verenigde Staten 18.6% 85 Gemma 3 12BGoogle 🇺🇸Verenigde Staten 17.4% 86 Llama 4 ScoutMeta 🇺🇸Verenigde Staten 17% 87 Llama 3.1 8B InstructMeta 🇺🇸Verenigde Staten 13.2% 88 Granite 4.0 MicroIBM 🇺🇸Verenigde Staten 11.9% 89 Gemma 3 4BGoogle 🇺🇸Verenigde Staten 7.3% 90 Llama 3.2 3B InstructMeta 🇺🇸Verenigde Staten 5.2% 91 Llama 3.2 1B InstructMeta 🇺🇸Verenigde Staten 1.7%
Kleur = niveau: Topklasse Professioneel Standaard Lichtgewicht