llm-benchmarks
githubdrose.io

Cloud LLM benchmarks

Models
719
Providers
83
Samples
20,340
Median tok/s
22
p90 tok/s
56
Max tok/s
131
Median spread
34%
Median TTFT
2.27s

Delivered TPS · 64-token, end-to-end

64 visible tokens ÷ time to the 64th, reasoning counted as time, per endpoint

Loading Delivered TPS

Throughput distribution · tok/s

legacy · not comparable

Throughput × spread · 719 models

legacy · not comparable
50100200Claude Haiku 4.5 · bedrock · 67 tok/s · 117% spreadClaude Opus 4.1 · bedrock · 8 tok/s · 174% spreadLlama 3.1 70B Instruct · bedrock · 61 tok/s · 101% spreadLlama 3.1 8B Instruct · bedrock · 95 tok/s · 112% spreadLlama 3.3 70B Instruct · bedrock · 87 tok/s · 142% spreadLlama 4 Maverick · bedrock · 104 tok/s · 118% spreadLlama 4 Scout · bedrock · 95 tok/s · 94% spreadMistral Large · bedrock · 42 tok/s · 83% spreadllama-3-70b · bedrock · 39 tok/s · 76% spreadllama-3-8b · bedrock · 78 tok/s · 106% spreadmistral-7b · bedrock · 81 tok/s · 84% spreadmistral-small · bedrock · 56 tok/s · 86% spreadmixtral-8x7b · bedrock · 73 tok/s · 88% spreadBeam 1.0 501B A23B · baseten · 55 tok/s · 113% spreadQwen3.8 27B · nearai · 11 tok/s · 68% spreadDeepSeek V3.1 · deepinfra · 8 tok/s · 78% spreadQwen3 Coder 480B A35B · deepinfra · 38 tok/s · 0% spreadGPT-6.1 Sol Pro · azure · 17 tok/s · 71% spreadMiMo-V2.6-Flash · gmicloud · 15 tok/s · 0% spreadGlimpse · together · 24 tok/s · 133% spreadNemotron 3.5 Super VL · baseten · 87 tok/s · 66% spreadDeepSeek V4 Pro 0813 · wafer · 53 tok/s · 113% spreadGemma 4 31B · modelrun · 73 tok/s · 114% spreadKimi K2.7 Code · moonshotai · 18 tok/s · 145% spreadPareto 26.10 · unbiased · 2 tok/s · 202% spreadMoondream 3.1 · primeintellect · 87 tok/s · 79% spreadMoondream 3 Preview · primeintellect · 87 tok/s · 86% spreadGLM 5.3 · wafer · 74 tok/s · 104% spreadClaude Haiku 5.5 · claudeonaws · 20 tok/s · 90% spreadgpt-oss-120b · nebius · 58 tok/s · 167% spreadGemma 4 26B A4B · novita · 36 tok/s · 141% spreadGLM 5.2 · wafer · 38 tok/s · 138% spreadGemini 4 Argon · google · 15 tok/s · 134% spreadMuse Spark Open · modal · 32 tok/s · 141% spreadDeepSeek V4.1 Flash 1017 · together · 23 tok/s · 394% spreadMistral Large 4 · mistral · 7 tok/s · 225% spreadDeepSeek V4 Flash 0423 · wafer · 54 tok/s · 172% spreadKimi K2.7 Code · inceptron · 15 tok/s · 195% spreadQwen3.5-27B · alibaba · 5 tok/s · 0% spreadQwen3.5 397B A17B · atlascloud · 3 tok/s · 51% spreadDeepSeek V4 Flash 0731 · venice · 22 tok/s · 225% spreadDeepSeek V4.1 Flash 1017 · digitalocean · 22 tok/s · 65% spreadgpt-oss-120b · groq · 75 tok/s · 271% spreadGLM 5.1 · atlascloud · 18 tok/s · 143% spreadGrok 4.7 · xai · 11 tok/s · 136% spreadKimi K2.6 · baidu · 22 tok/s · 197% spreadDeepSeek V4 Pro 0423 · azure · 42 tok/s · 87% spreadDeepSeek V4 Flash 0731 · cohere · 34 tok/s · 179% spreadQwen3.6 35B A3B · coreweave · 20 tok/s · 367% spreadNemotron 3.5 Super VL · coreweave · 24 tok/s · 319% spreadDeepSeek V3.2 · gmicloud · 7 tok/s · 177% spreadKimi K2.6 · phala · 4 tok/s · 68% spreadMiMo-V2.6-Flash · xiaomi · 16 tok/s · 180% spreadLFM2.5-24B-A2B · liquid · 21 tok/s · 46% spreadSummarize · scaledown · 32 tok/s · 118% spreadPareto 26.9 · unbiased · 3 tok/s · 0% spreadLlama 3.3 70B Instruct · cloudflare · 36 tok/s · 39% spreadMiniMax M3 · deepinfra · 18 tok/s · 226% spreadgpt-oss-20b · parasail · 28 tok/s · 215% spreadKimi K2.6 · streamlake · 7 tok/s · 308% spreadSchematron V2 Small · inferencenet · 88 tok/s · 32% spreadSchematron V2 Turbo · inferencenet · 28 tok/s · 3% spreadKimi K3 · wafer · 38 tok/s · 161% spreadGemma 4 31B · deepinfra · 24 tok/s · 140% spreadGPT-6 Sol Pro · azure · 47 tok/s · 63% spreadDeepSeek V4.1 Flash 1017 · deepseek · 7 tok/s · 0% spreaddeepseek-v4.1-flash · mancer · 17 tok/s · 240% spreadGemma 4 26B A4B · darkbloom · 42 tok/s · 42% spreadgpt-oss-120b · baseten · 58 tok/s · 118% spreadDeepSeek V3.2 · siliconflow · 10 tok/s · 57% spreadDeepSeek V4 Flash 0731 · digitalocean · 52 tok/s · 159% spreadDeepSeek V4 Pro 0423 · reka · 7 tok/s · 0% spreadGemma 4 26B A4B · siliconflow · 37 tok/s · 39% spreadQwen3.6 35B A3B · parasail · 27 tok/s · 277% spreadSolar Mini 4 · upstage · 39 tok/s · 25% spreadQwen3.8 Omni Flash · alibaba · 7 tok/s · 158% spreadGPT-6 Sol · azure · 20 tok/s · 75% spreadGPT-6 Luna Pro · azure · 81 tok/s · 14% spreadDeepSeek V4 Pro 0813 · dekallm · 34 tok/s · 135% spreadGPT-6 Luna · azure · 19 tok/s · 48% spreadCommand A · cohere · 3 tok/s · 52% spreadReMM SLERP 13B · mancer · 43 tok/s · 1% spreadGrok 4.3 · xai · 9 tok/s · 75% spreadGLM 4.5 · zai · 1 tok/s · 3% spreadGrok 4.5 · xai · 7 tok/s · 45% spreadLlama 4 Scout · deepinfra · 36 tok/s · 72% spreadGranite 4.2 8B · coreweave · 21 tok/s · 0% spreadGLM 5V Turbo · zai · 4 tok/s · 23% spreadClaude Haiku 5.5 · azure · 23 tok/s · 184% spreadMiMo-V2.6-Flash · ionet · 18 tok/s · 175% spreadQwen2.5 VL 72B Instruct · parasail · 26 tok/s · 23% spreadGemini 3.7 Flash · google · 5 tok/s · 19% spreadUnslopNemo 12B · parasail · 38 tok/s · 33% spreadMistral Medium 3.1 · mistral · 49 tok/s · 20% spreadLlama 3.1 70B Instruct · deepinfra · 25 tok/s · 0% spreadGrok 4.6 · xai · 2 tok/s · 38% spreadQwen3.8 Max (0902) · alibaba · 4 tok/s · 69% spreadGLM 4.5V · novita · 4 tok/s · 0% spreadGLM 4.6V · zai · 3 tok/s · 0% spreadDeepSeek V3 0324 · siliconflow · 16 tok/s · 23% spreadInkling Small · deepinfra · 38 tok/s · 184% spreadLlama 3 8B Lunaris · parasail · 43 tok/s · 0% spreadQwen3 14B · deepinfra · 13 tok/s · 0% spreadgpt-oss-safeguard-20b · groq · 46 tok/s · 0% spreadLlama 3.2 3B Instruct · parasail · 32 tok/s · 0% spreadDeepSeek V4 Flash 0423 · cloudflare · 16 tok/s · 92% spreadKimi K2.7 Code · streamlake · 8 tok/s · 69% spreadQwen3.5 397B A17B · streamlake · 6 tok/s · 139% spreadGLM 5.3 · alibaba · 3 tok/s · 983% spreadNemotron 3.5 Super VL · darkbloom · 14 tok/s · 298% spreadNemotron 3.5 Lightning · deepinfra · 75 tok/s · 5% spreadLlama 3.3 70B Instruct · parasail · 24 tok/s · 114% spreadgpt-oss-20b · groq · 61 tok/s · 115% spreadMiniMax M3 · venice · 20 tok/s · 187% spreadKimi K2.6 · parasail · 7 tok/s · 209% spreadQwen3 30B A3B Instruct 2507 · nebius · 86 tok/s · 0% spreadMistral Small 3.2 24B · venice · 19 tok/s · 62% spreadQwen3 VL 30B A3B Instruct · novita · 17 tok/s · 70% spreadClaude Sonnet 5 · claudeonaws · 27 tok/s · 0% spreadQwen3 VL 235B A22B Instruct · venice · 39 tok/s · 22% spreadClaude Opus 4.5 · claudeonaws · 23 tok/s · 0% spreadLlama 3.1 8B Instruct · coreweave · 71 tok/s · 8% spreadClaude Opus 4.8 · anthropic · 33 tok/s · 80% spreadMistral Nemo · dekallm · 13 tok/s · 0% spreadMythoMax 13B · mancer · 41 tok/s · 0% spreadQwen3.5-35B-A3B · deepinfra · 36 tok/s · 231% spreadClaude Opus 4.6 · claudeonaws · 24 tok/s · 2% spreadClaude Opus 4.7 · claudeonaws · 26 tok/s · 12% spreadClaude Sonnet 4.5 · claudeonaws · 23 tok/s · 6% spreadClaude Sonnet 4.6 · claudeonaws · 24 tok/s · 10% spreadQwen3 32B · deepinfra · 3 tok/s · 38% spreadGLM 4.5 Air · novita · 12 tok/s · 11% spreadR1 0528 · deepinfra · 4 tok/s · 11% spreadHy3 · phala · 3 tok/s · 18% spreadGLM 4.6 · venice · 1 tok/s · 0% spreadGemma 4 31B · siliconflow · 27 tok/s · 106% spreadGLM 5.1 · gmicloud · 19 tok/s · 77% spreadNemotron 3 Super · deepinfra · 6 tok/s · 35% spreadDeepSeek V4.1 Flash 1017 · fireworks · 24 tok/s · 265% spreaddeepseek-v4.1-flash · openinference · 3 tok/s · 183% spreadDeepSeek V3.2 · phala · 23 tok/s · 14% spreadDeepSeek V4 Flash 0731 · gmicloud · 10 tok/s · 12% spreadgpt-oss-120b · dekallm · 23 tok/s · 147% spreadDeepSeek V4 Pro 0423 · baidu · 11 tok/s · 162% spreadQwen3.6 35B A3B · darkbloom · 29 tok/s · 195% spreadBeam 1.0 501B A23B · together · 46 tok/s · 69% spreadGemma 4 26B A4B · parasail · 46 tok/s · 110% spreadDeepSeek V4 Flash 0731 · baseten · 46 tok/s · 95% spreadQwen3.5 397B A17B · parasail · 5 tok/s · 120% spreadgpt-oss-120b · cerebras · 91 tok/s · 212% spreadDeepSeek V4 Pro 0423 · relace · 25 tok/s · 215% spreadMiniMax M3 · streamlake · 4 tok/s · 0% spreadGLM 5.3 Prime · alibaba · 0 tok/s · 22% spreadMistral Medium 3.5 · mistral · 54 tok/s · 8% spreadReka Edge · reka · 65 tok/s · 4% spreadLlama 3.1 Euryale 70B v2.2 · deepinfra · 36 tok/s · 1% spreadGLM 5 · venice · 1 tok/s · 0% spreadDeepSeek V4 Flash 0423 · mancer · 15 tok/s · 243% spreadQwen3.5 397B A17B · digitalocean · 1 tok/s · 66% spreadStep 5 Preview · deepinfra · 19 tok/s · 0% spreadGLM 5.2 · baseten · 57 tok/s · 111% spreadDeepSeek V4 Flash 0731 · baidu · 27 tok/s · 165% spreadMiMo-V2.6-Flash · relace · 36 tok/s · 136% spreadclaude-opus-4.1 · bedrock · 9 tok/s · 75% spreadMiMo-V2.5 · venice · 15 tok/s · 66% spreadNemotron 3.5 Super VL · ionet · 14 tok/s · 360% spreadNova Micro 1.0 · bedrock · 50 tok/s · 124% spreadPalmyra X5 · bedrock · 41 tok/s · 21% spreadNova Lite 1.0 · bedrock · 48 tok/s · 37% spreadDeepSeek V4 Pro 0813 · ionstream · 33 tok/s · 124% spreadLlama 3.3 70B Instruct · deepinfra · 14 tok/s · 61% spreadgpt-oss-20b · dekallm · 16 tok/s · 242% spreadKimi K2.6 · siliconflow · 5 tok/s · 223% spreadNova Pro 1.0 · bedrock · 45 tok/s · 49% spreadNova 2 Lite · bedrock · 45 tok/s · 43% spreadDeepSeek V4.1 Flash 1017 · openinference · 9 tok/s · 0% spreadGLM 5.1 · siliconflow · 10 tok/s · 348% spreadDeepSeek V3.2 · digitalocean · 18 tok/s · 151% spreadGemma 4 26B A4B · coreweave · 33 tok/s · 88% spreaddeepseek-v4.1-flash · parasail · 5 tok/s · 26% spreadQwen3.6 35B A3B · deepinfra · 20 tok/s · 278% spreadDeepSeek V4 Flash 0731 · streamlake · 7 tok/s · 58% spreadMiniMax M3 · parasail · 33 tok/s · 132% spreadGrok 4.20 · xai · 39 tok/s · 2% spreadDeepSeek V4 Flash 0423 · atlascloud · 5 tok/s · 73% spreadQwen3.5 397B A17B · venice · 3 tok/s · 192% spreadKimi K2.7 Code · alibaba · 15 tok/s · 201% spreadMiMo-V2.6-Flash · deepinfra · 15 tok/s · 156% spreadNemotron 3.5 Super VL · crusoe · 20 tok/s · 198% spreadgpt-oss-20b · coreweave · 35 tok/s · 362% spreadLlama 3.3 70B Instruct · sambanovaturbo · 40 tok/s · 150% spreadKimi K2.6 · cloudflare · 13 tok/s · 264% spreadGLM 5.3 · baseten · 23 tok/s · 206% spreadGLM 5.2 · relace · 31 tok/s · 67% spreadGemma 4 31B · chutes · 16 tok/s · 38% spreadDeepSeek V3.2 · baidu · 20 tok/s · 48% spreadGLM 5.1 · alibaba · 6 tok/s · 510% spreadDeepSeek V4.1 Flash 1017 · gmicloud · 8 tok/s · 0% spreadGemma 4 26B A4B · dekallm · 51 tok/s · 42% spreadgpt-oss-120b · nearai · 18 tok/s · 142% spreaddeepseek-v4.1-flash · phala · 6 tok/s · 75% spreadDeepSeek V4 Flash 0731 · mancer · 9 tok/s · 115% spreadQwen3.6 35B A3B · siliconflow · 8 tok/s · 325% spreadMiniMax M3 · together · 22 tok/s · 45% spreadDeepSeek V4.1 Flash 1017 · nebius · 50 tok/s · 198% spreadNemotron 3.5 Super VL · venice · 44 tok/s · 209% spreadGemma 4 26B A4B · makora · 63 tok/s · 140% spreadMiMo-V2.6-Flash · cohere · 50 tok/s · 119% spreadGLM 5.2 · coreweave · 52 tok/s · 173% spreadDeepSeek V4 Flash 0731 · wafer · 15 tok/s · 303% spreadKimi K2.6 · atlascloud · 14 tok/s · 177% spreadQwen3.6 35B A3B · venice · 13 tok/s · 374% spreadQwen3 Coder 30B A3B Instruct · siliconflow · 26 tok/s · 42% spreadQwen3 30B A3B · deepinfra · 10 tok/s · 46% spreadQwen3 235B A22B Thinking 2507 · venice · 6 tok/s · 147% spreadMiMo-V2.6-Flash · novita · 8 tok/s · 13% spreadKimi K2.7 Code · gmicloud · 6 tok/s · 88% spreadGLM 5.2 · parasail · 53 tok/s · 82% spreadKimi K2.6 · coreweave · 38 tok/s · 188% spreadNemotron 3.5 Super VL · deepinfra · 32 tok/s · 339% spreadPerceptron Mk1.5 · perceptron · 51 tok/s · 4% spreadLlama 3.3 70B Instruct · novita · 26 tok/s · 32% spreadKimi K2.6 · novita · 4 tok/s · 291% spreadGemma 4 31B · ionet · 21 tok/s · 122% spreadGLM 5.1 · baidu · 23 tok/s · 33% spreadMuse Glimmer 30B · deepinfra · 11 tok/s · 80% spreadDeepSeek V4 Flash 0423 · crusoe · 25 tok/s · 8% spreadDeepSeek V4.1 Flash 1017 · inferencenet · 8 tok/s · 0% spreadQwen3.5 397B A17B · novita · 3 tok/s · 7% spreadGemma 4 26B A4B · cloudflare · 41 tok/s · 129% spreadgpt-oss-120b · phala · 41 tok/s · 17% spreadDeepSeek V4 Flash 0731 · reka · 16 tok/s · 10% spreadQwen3.6 35B A3B · akashml · 7 tok/s · 570% spreadDeepSeek V4 Pro 0423 · crusoe · 28 tok/s · 70% spreadMiniMax M3 · mara · 37 tok/s · 47% spreadMiMo-V2.6-Flash · makora · 41 tok/s · 200% spreadGLM 5.2 · nebius · 47 tok/s · 58% spreadGLM 4.7 · zai · 1 tok/s · 0% spreadKimi K2.7 Code · coreweave · 9 tok/s · 137% spreadMiniMax M2.5 · venice · 4 tok/s · 0% spreadDeepSeek V4 Flash 0731 · deepinfra · 35 tok/s · 78% spreadLlama 3.3 70B Instruct · akashml · 23 tok/s · 105% spreadKimi K2.6 · digitalocean · 20 tok/s · 223% spreadGemma 4 31B · parasail · 23 tok/s · 99% spreadDeepSeek V4 Flash 0423 · azure · 54 tok/s · 37% spreadDeepSeek V4.1 Flash 1017 · ionstream · 17 tok/s · 98% spreadQwen3.5 397B A17B · alibaba · 3 tok/s · 12% spreadgpt-oss-120b · crusoe · 55 tok/s · 162% spreadDeepSeek V4 Flash 0731 · sailresearch · 15 tok/s · 64% spreadQwen3.6 35B A3B · dekallm · 13 tok/s · 519% spreaddeepseek-v4.1-flash · coreweave · 8 tok/s · 352% spreadDeepSeek V4 Pro 0423 · cloudflare · 3 tok/s · 23% spreadMiniMax M3 · atlascloud · 8 tok/s · 214% spreadMiMo-V2.6-Flash · darkbloom · 19 tok/s · 39% spreadGLM 5.2 · decart · 67 tok/s · 103% spreadClaude Haiku 5.5 · anthropic · 19 tok/s · 115% spreadQwen3 235B A22B Instruct 2507 · deepinfra · 15 tok/s · 33% spreadGPT-6.1 Terra · openai · 13 tok/s · 15% spreadNemotron 3.5 Super VL · together · 24 tok/s · 229% spreadClaude Sonnet 5.5 · azure · 19 tok/s · 127% spreadMuse Spark Open · makora · 24 tok/s · 0% spreadLlama 3.3 70B Instruct · coreweave · 54 tok/s · 37% spreadDeepSeek V4 Pro 0813 · nebius · 7 tok/s · 171% spreadGemma 4 31B · coreweave · 34 tok/s · 129% spreadDeepSeek V3.2 · mara · 13 tok/s · 202% spreadDeepSeek V4 Flash 0731 · relace · 45 tok/s · 104% spreadDeepSeek V4.1 Flash 1017 · makora · 17 tok/s · 91% spreadDeepSeek V4 Flash 0423 · gmicloud · 34 tok/s · 243% spreadGPT-6.1 Terra Pro · openai · 33 tok/s · 87% spreadKimi K2.6 · moonshotai · 3 tok/s · 116% spreadGemma 4 26B A4B · primeintellect · 48 tok/s · 117% spreadgpt-oss-120b · sailresearch · 34 tok/s · 115% spreadDeepSeek V4 Flash 0731 · novita · 26 tok/s · 52% spreaddeepseek-v4.1-flash · fireworks · 14 tok/s · 240% spreadDeepSeek V4 Pro 0423 · venice · 11 tok/s · 61% spreadMiniMax M3 · minimax · 5 tok/s · 0% spreadMiMo-V2.6-Flash · venice · 10 tok/s · 105% spreadGLM 5.2 · baidu · 25 tok/s · 35% spreadNano Banana (Gemini 2.5 Flash Image) · google · 32 tok/s · 104% spreadMiMo-V2.6-Pro · gmicloud · 9 tok/s · 0% spreadDeepSeek V3.2 Exp · siliconflow · 11 tok/s · 0% spreadNemotron 3.5 Super VL · nebius · 19 tok/s · 274% spreadGemma 4 31B · novita · 14 tok/s · 143% spreadGemma 3 27B · parasail · 25 tok/s · 70% spreadQwen3.5-122B-A10B · siliconflow · 28 tok/s · 180% spreadQwen3.8 2.4T A95B · alibaba · 7 tok/s · 64% spreadMiniMax M2.7 · minimax · 3 tok/s · 0% spreadQwen3.5-9B · primeintellect · 17 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · modal · 28 tok/s · 0% spreadDeepSeek V4 Flash 0423 · venice · 21 tok/s · 229% spreadQwen3.5 397B A17B · deepinfra · 8 tok/s · 281% spreadKimi K2.6 · crusoe · 14 tok/s · 217% spreadgpt-oss-120b · together · 47 tok/s · 91% spreadGemma 4 26B A4B · akashml · 44 tok/s · 141% spreadDeepSeek V4 Flash 0731 · alibaba · 23 tok/s · 77% spreadQwen3.6 35B A3B · phala · 6 tok/s · 98% spreaddeepseek-v4.1-flash · gmicloud · 11 tok/s · 198% spreadGLM 5.2 · atlascloud · 18 tok/s · 15% spreadKimi K2.5 · atlascloud · 6 tok/s · 28% spreaddeepseek-v4.1-flash · wafer · 55 tok/s · 153% spreadDeepSeek V3.1 Terminus · siliconflow · 12 tok/s · 0% spreadKimi K2.7 Code · cloudflare · 12 tok/s · 140% spreadGPT-6.1 Terra · azure · 21 tok/s · 126% spreadGPT-6.1 Terra Pro · azure · 66 tok/s · 90% spreadBeam 1.0 501B A23B · nebius · 66 tok/s · 0% spreadGPT-6.1 Sol Pro · openai · 16 tok/s · 3% spreadTernary Bonsai 2 9B · darkbloom · 4 tok/s · 391% spreadLlama 3.3 70B Instruct · groq · 61 tok/s · 119% spreadKimi K2.6 · chutes · 18 tok/s · 155% spreadGemma 4 31B · sambanova · 23 tok/s · 68% spreadDeepSeek V3.2 · venice · 17 tok/s · 0% spreadKimi K2.5 · venice · 18 tok/s · 115% spreadDeepSeek V4 Flash 0423 · parasail · 17 tok/s · 222% spreadKimi K2.6 · venice · 5 tok/s · 171% spreadgpt-oss-120b · mancer · 38 tok/s · 122% spreadGemma 4 26B A4B · deepinfra · 35 tok/s · 109% spreaddeepseek-v4.1-flash · crusoe · 27 tok/s · 123% spreadDeepSeek V4 Pro 0423 · alibaba · 17 tok/s · 134% spreadMiniMax M3 · modelrun · 35 tok/s · 90% spreadMistral Large 3 2512 · mistral · 13 tok/s · 0% spreadGLM 5.2 · zai · 23 tok/s · 0% spreadQwen3.5-27B · deepinfra · 2 tok/s · 0% spreadKimi K2.7 Code · venice · 24 tok/s · 36% spreadDeepSeek V3.2 · atlascloud · 14 tok/s · 38% spreadDeepSeek V4.1 Flash 1017 · novita · 6 tok/s · 0% spreadDeepSeek V4 Flash 0423 · siliconflow · 16 tok/s · 38% spreadKimi K2.6 · deepinfra · 7 tok/s · 337% spreadGemma 4 26B A4B · ionet · 38 tok/s · 87% spreadgpt-oss-120b · coreweave · 33 tok/s · 89% spreaddeepseek-v4.1-flash · deepinfra · 12 tok/s · 225% spreadMiniMax M3 · coreweave · 63 tok/s · 165% spreadGLM 5.2 · venice · 22 tok/s · 32% spreadKimi K2.7 Code · novita · 9 tok/s · 45% spreadNemotron 3.5 Lightning · ionet · 1 tok/s · 0% spreadQwen3 30B A3B Instruct 2507 · siliconflow · 31 tok/s · 30% spreadMistral Small 3.2 24B · deepinfra · 25 tok/s · 62% spreadQwen3 VL 30B A3B Instruct · deepinfra · 26 tok/s · 50% spreadClaude Sonnet 5 · azure · 26 tok/s · 61% spreadLlama 3.1 8B Instruct · novita · 57 tok/s · 0% spreadClaude Opus 4.5 · azure · 24 tok/s · 5% spreadMistral Nemo · deepinfra · 19 tok/s · 8% spreadClaude Opus 4.8 · azure · 21 tok/s · 4% spreadMythoMax 13B · deepinfra · 34 tok/s · 0% spreadQwen3.5-35B-A3B · alibaba · 6 tok/s · 0% spreadClaude Opus 4.7 · anthropic · 23 tok/s · 23% spreadClaude Opus 4.6 · azure · 18 tok/s · 8% spreadClaude Sonnet 4.5 · anthropic · 24 tok/s · 12% spreadClaude Sonnet 4.6 · azure · 21 tok/s · 10% spreadGLM 4.5 Air · zai · 25 tok/s · 135% spreadR1 0528 · streamlake · 5 tok/s · 13% spreadHy3 · tencent · 4 tok/s · 0% spreadGLM 4.6 · deepinfra · 18 tok/s · 192% spreadNemotron 3 Super · crusoe · 11 tok/s · 156% spreadGemma 4 31B · friendli · 70 tok/s · 125% spreadDeepSeek V3.2 · sambanova · 23 tok/s · 99% spreadParticle-1 · particleai · 23 tok/s · 319% spreadDeepSeek V4 Flash 0423 · streamlake · 7 tok/s · 193% spreadgpt-oss-120b · venice · 19 tok/s · 106% spreadGemma 4 26B A4B · nextbit · 42 tok/s · 64% spreadDeepSeek V4 Pro 0423 · streamlake · 13 tok/s · 132% spreadGLM 5 · streamlake · 5 tok/s · 0% spreadKimi K2.7 Code · siliconflow · 6 tok/s · 152% spreadGLM 5.2 · deepinfra · 32 tok/s · 31% spreadDeepSeek V4.1 Flash 1017 · cohere · 13 tok/s · 59% spreadStep 5 Preview · featherless · 1 tok/s · 62% spreadGPT-6 Astra Pro · openai · 5 tok/s · 77% spreadGPT-6.1 Sol · azure · 13 tok/s · 71% spreadGemini 3.8 Flash · google · 6 tok/s · 0% spreadGemma 4 31B · venice · 45 tok/s · 34% spreadDeepSeek V3.2 · deepinfra · 25 tok/s · 56% spreadDeepSeek V4 Flash 0423 · digitalocean · 15 tok/s · 99% spreadFugu Max · sakanaai · 5 tok/s · 102% spreadGemma 4 26B A4B · venice · 38 tok/s · 38% spreadgpt-oss-120b · siliconflow · 21 tok/s · 48% spreadDeepSeek V4 Pro 0423 · siliconflow · 8 tok/s · 228% spreadMiniMax M3 · gmicloud · 18 tok/s · 52% spreadDeepSeek V4.1 Flash 1017 · mistral · 49 tok/s · 83% spreadDeepSeek V4 Flash 0731 · coreweave · 19 tok/s · 200% spreadDeepSeek V4 Flash 0423 · fireworks · 9 tok/s · 0% spreadMiMo-V2.6-Pro · novita · 9 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · modelrun · 8 tok/s · 0% spreadGemma 4 31B · crusoe · 37 tok/s · 96% spreadgpt-oss-120b · deepinfra · 19 tok/s · 109% spreadBeam 1.0 501B A23B · digitalocean · 41 tok/s · 104% spreadGLM 5.2 · streamlake · 18 tok/s · 25% spreaddeepseek-v4.1-flash · morph · 8 tok/s · 180% spreadDeepSeek V4.1 Flash 1017 · particleai · 20 tok/s · 151% spreadDeepSeek V4.1 Flash 1017 · primeintellect · 15 tok/s · 206% spreadMiniMax M2.5 · minimax · 4 tok/s · 0% spreadLlama 4 Maverick · parasail · 53 tok/s · 0% spreadLing 3.1 Flash · deepinfra · 3 tok/s · 0% spreadClaude Sonnet 5.5 · anthropic · 12 tok/s · 0% spreadGLM 4.7 · deepinfra · 1 tok/s · 0% spreadGLM 5.2 · digitalocean · 35 tok/s · 20% spreadNemotron 3 Nano 30B A3B · nebius · 25 tok/s · 0% spreaddeepseek-v4.1-flash · relace · 14 tok/s · 281% spreadDeepSeek V4.1 Flash 1017 · parasail · 41 tok/s · 161% spreadGemma 3 27B · nextbit · 37 tok/s · 0% spreadQwen3.5-122B-A10B · alibaba · 8 tok/s · 0% spreadQwen3.8 2.4T A95B · venice · 13 tok/s · 130% spreadMiniMax M2.7 · groq · 20 tok/s · 0% spreadQwen3.5-9B · parasail · 4 tok/s · 0% spreadNemotron 3.5 Super VL · primeintellect · 32 tok/s · 209% spreadGLM 5.3 · relace · 30 tok/s · 108% spreadGrok 4.20 Multi-Agent · xai · 3 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · nearai · 3 tok/s · 0% spreadgpt-oss-120b · akashml · 38 tok/s · 60% spreadDeepSeek V3.1 · mara · 1 tok/s · 0% spreadQwen3 Next 80B A3B Instruct · deepinfra · 59 tok/s · 0% spreadKimi K2.5 · siliconflow · 9 tok/s · 130% spreadQwen3.5-27B · atlascloud · 4 tok/s · 0% spreadQwen3 Coder Next · parasail · 45 tok/s · 0% spreadMorph V3 Fast · morph · 34 tok/s · 0% spreadGLM 5.2 · friendli · 56 tok/s · 0% spreadMiMo-V2.5-Pro · digitalocean · 13 tok/s · 0% spreadQwen3.8 27B · primeintellect · 2 tok/s · 306% spreadDeepSeek V4 Flash 0731 · parasail · 43 tok/s · 62% spreadNemotron 3.5 Lightning · fireworks · 20 tok/s · 0% spreadMistral Small 3.2 24B · parasail · 28 tok/s · 0% spreadClaude Sonnet 5 · anthropic · 26 tok/s · 19% spreadLlama 3.1 8B Instruct · groq · 123 tok/s · 0% spreadQwen3 VL 235B A22B Instruct · deepinfra · 8 tok/s · 0% spreadMistral Nemo · ionet · 37 tok/s · 0% spreadClaude Opus 4.5 · anthropic · 23 tok/s · 19% spreadClaude Opus 4.7 · azure · 19 tok/s · 12% spreadClaude Opus 4.6 · anthropic · 15 tok/s · 65% spreadQwen3.5-35B-A3B · parasail · 11 tok/s · 0% spreadClaude Sonnet 4.5 · azure · 23 tok/s · 15% spreadClaude Sonnet 4.6 · anthropic · 25 tok/s · 0% spreadR1 0528 · siliconflow · 2 tok/s · 19% spreadNemotron 3 Super · dekallm · 8 tok/s · 0% spreadGLM 4.7 Flash · cloudflare · 2 tok/s · 0% spreadgpt-oss-120b · novita · 39 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · phala · 9 tok/s · 0% spreadQwen3 VL 30B A3B Instruct · siliconflow · 18 tok/s · 50% spreadQwen3 32B · tenstorrent · 21 tok/s · 134% spreadGLM 5.2 · alibaba · 21 tok/s · 40% spreadGLM 5 · novita · 16 tok/s · 0% spreadStep 5 Preview · gmicloud · 7 tok/s · 0% spreadgpt-oss-120b · primeintellect · 53 tok/s · 12% spreadDeepSeek V4.1 Flash 1017 · reka · 16 tok/s · 0% spreadgpt-oss-20b · primeintellect · 76 tok/s · 95% spreadDeepSeek V4 Flash 0731 · atlascloud · 21 tok/s · 89% spreadgpt-oss-120b · sambanova · 60 tok/s · 129% spreadDeepSeek V4.1 Flash 1017 · relace · 10 tok/s · 46% spreadGemma 4 31B · primeintellect · 30 tok/s · 156% spreadDeepSeek V4 Flash 0731 · chutes · 33 tok/s · 20% spreadgpt-oss-120b · digitalocean · 16 tok/s · 52% spreadQwen3.6 35B A3B · primeintellect · 18 tok/s · 203% spreadMiMo-V2.6-Pro · xiaomi · 9 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · sailresearch · 48 tok/s · 99% spreadGLM 5.2 · gmicloud · 19 tok/s · 0% spreadDeepSeek V4 Flash 0731 · primeintellect · 70 tok/s · 83% spreadgpt-oss-120b · mara · 36 tok/s · 0% spreadGLM 5.2 · inceptron · 63 tok/s · 0% spreadgpt-oss-120b · parasail · 66 tok/s · 152% spreadGLM 5.3 FlashX Legal · zai · 21 tok/s · 188% spreadMuse Spark Open · fireworks · 8 tok/s · 0% spreadMiniMax M2.5 · streamlake · 23 tok/s · 0% spreadQwen3 235B A22B Instruct 2507 · parasail · 24 tok/s · 0% spreadClaude Sonnet 5.5 · claudeonaws · 10 tok/s · 0% spreadGLM 4.7 · mancer · 1 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · siliconflow · 12 tok/s · 0% spreadGemma 4 31B · nextbit · 22 tok/s · 120% spreadDeepSeek V4 Flash 0731 · siliconflow · 19 tok/s · 65% spreadMiMo-V2.6-Pro-UltraSpeed · xiaomi · 49 tok/s · 0% spreaddeepseek-v4.1-flash · inferencenet · 23 tok/s · 198% spreadSaba · mistral · 57 tok/s · 0% spreadCodestral 2508 · mistral · 59 tok/s · 27% spreadSolar Pro 4 · upstage · 41 tok/s · 0% spreadMistral Large · mistral · 21 tok/s · 122% spreadMinistral 3 8B 2512 · mistral · 50 tok/s · 0% spreadMinistral 3 3B 2512 · mistral · 79 tok/s · 0% spreadMinistral 3 14B 2512 · mistral · 60 tok/s · 0% spreadMistral Medium 3 · mistral · 53 tok/s · 18% spreadMistral Small 4 · mistral · 45 tok/s · 31% spreadVoxtral Small 24B 2507 · mistral · 58 tok/s · 7% spreadAion-RP 1.0 (8B) · aionlabs · 20 tok/s · 0% spreadQwen3.7 Flash · alibaba · 3 tok/s · 0% spreadMagnum v4 72B · mancer · 14 tok/s · 0% spreadAion-3.0 · aionlabs · 15 tok/s · 0% spreadKimi K2 Thinking · novita · 5 tok/s · 0% spreadUncensored · venice · 41 tok/s · 0% spreadCommand R (08-2024) · cohere · 4 tok/s · 0% spreadUI-TARS 7B · parasail · 52 tok/s · 0% spreadCommand R7B (12-2024) · cohere · 51 tok/s · 0% spreadAion-2.0 · aionlabs · 8 tok/s · 0% spreadClaude Haiku 4.5 · azure · 47 tok/s · 0% spreadCommand R+ (08-2024) · cohere · 18 tok/s · 0% spreadNano Banana 2 Lite (Gemini 3.1 Flash Lite Image) · google · 73 tok/s · 0% spreadNano Banana 2 (Gemini 3.1 Flash Image) · google · 62 tok/s · 0% spreadNano Banana 2 (Gemini 3.1 Flash Image Preview) · google · 44 tok/s · 0% spreadGemma 3 12B · deepinfra · 17 tok/s · 0% spreadGemini 3.1 Pro Preview Custom Tools · google · 3 tok/s · 0% spreadAion-3.0-Mini · aionlabs · 5 tok/s · 0% spreadGemma 2 27B · nextbit · 46 tok/s · 0% spreadLyria 3 Clip Preview · google · 50 tok/s · 0% spreadLlama Guard 4 12B · deepinfra · 3 tok/s · 0% spreadGemini 3.1 Flash Lite Preview · google · 77 tok/s · 0% spreadGemini 2.5 Flash Lite · google · 70 tok/s · 24% spreadPhi 4 · deepinfra · 54 tok/s · 0% spreadGemini 3.1 Flash Lite · google · 80 tok/s · 0% spreadGemini 3.5 Flash · google · 4 tok/s · 0% spreadGemini 3.5 Flash Lite · google · 54 tok/s · 0% spreadGemini 3 Flash Preview · google · 52 tok/s · 0% spreadGemini 2.5 Flash · google · 50 tok/s · 0% spreadGemini 3.1 Pro Preview · google · 2 tok/s · 0% spreadGemini 3.6 Flash · google · 8 tok/s · 0% spreadLing 3.0 Flash · deepinfra · 28 tok/s · 169% spreadMistral Small 3.1 24B · cloudflare · 15 tok/s · 0% spreadMorph V3 Large · morph · 45 tok/s · 0% spreadKimi K2 0711 · novita · 24 tok/s · 0% spreadKimi K2 0905 · novita · 28 tok/s · 0% spreadMixtral 8x22B Instruct · mistral · 45 tok/s · 0% spreadCydonia 24B V4.1 · parasail · 19 tok/s · 0% spreadHermes 4 405B · nebius · 17 tok/s · 0% spreadSonar Pro · perplexity · 22 tok/s · 0% spreadSonar · perplexity · 37 tok/s · 0% spreadPerceptron Mk1 · perceptron · 9 tok/s · 0% spreadSonar Pro Search · perplexity · 15 tok/s · 0% spreadQwen-Plus · alibaba · 34 tok/s · 0% spreadQwen2.5 Coder 32B Instruct · cloudflare · 28 tok/s · 0% spreadQwen3 Coder Flash · alibaba · 42 tok/s · 0% spreadMistral Small 3 · deepinfra · 29 tok/s · 0% spreadQwen2.5 72B Instruct · deepinfra · 2 tok/s · 0% spreadQwen3.5-Flash · alibaba · 62 tok/s · 0% spreadNemotron 3 Ultra · deepinfra · 38 tok/s · 113% spreadGemma 3 27B · deepinfra · 30 tok/s · 0% spreadQwen3.5-122B-A10B · atlascloud · 5 tok/s · 0% spreadQwen3.8 2.4T A95B · novita · 8 tok/s · 0% spreadMiniMax M2.7 · novita · 4 tok/s · 0% spreadQwen3.5-9B · siliconflow · 3 tok/s · 0% spreaddeepseek-v4.1-flash · modal · 7 tok/s · 36% spreadQwen3.5 Plus 2026-02-15 · alibaba · 3 tok/s · 0% spreadDeepSeek V3 · streamlake · 16 tok/s · 0% spreadRelace Search · relace · 40 tok/s · 0% spreadQwen3.6 Flash · alibaba · 3 tok/s · 0% spreadQwen3.5 Plus 2026-04-20 · alibaba · 4 tok/s · 0% spreadQwen3.7 Plus · alibaba · 3 tok/s · 0% spreadQwen3 VL 8B Instruct · parasail · 17 tok/s · 0% spreadSkyfall 36B V2 · parasail · 34 tok/s · 0% spreadQwen3.6 Plus · alibaba · 3 tok/s · 0% spreadGemma 3 4B · deepinfra · 24 tok/s · 0% spreadGLM 5.2 · cloudflare · 42 tok/s · 163% spreaddeepseek-v4.1-flash · baidu · 12 tok/s · 0% spreaddeepseek-v4.1-flash · cohere · 13 tok/s · 404% spreadBeam 1.0 501B A23B · coreweave · 25 tok/s · 0% spreadDeepSeek V3.1 · siliconflow · 16 tok/s · 0% spreadKimi K2.5 · novita · 7 tok/s · 0% spreadQwen3.5-27B · siliconflow · 3 tok/s · 0% spreadQwen3 Coder 480B A35B · venice · 27 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · stepfun · 46 tok/s · 116% spreadDeepSeek V4 Pro 0423 · nebius · 40 tok/s · 49% spreadNemotron 3.5 Lightning · darkbloom · 5 tok/s · 0% spreadLlama 3.1 8B Instruct · cloudflare · 15 tok/s · 0% spreadQwen3 VL 235B A22B Instruct · parasail · 25 tok/s · 0% spreadQwen3.5-35B-A3B · atlascloud · 4 tok/s · 0% spreadGLM 4.6 · novita · 1 tok/s · 0% spreadQwen3 32B · siliconflow · 2 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · dekallm · 15 tok/s · 0% spreadGemma 4 31B · modal · 63 tok/s · 71% spreadGLM 5 · gmicloud · 13 tok/s · 0% spreadGranite 4.2 8B · deepinfra · 22 tok/s · 0% spreadStep 5 Preview · stepfun · 6 tok/s · 0% spreadDeepSeek V3 0324 · gmicloud · 17 tok/s · 0% spreadGLM 4.5V · zai · 3 tok/s · 0% spreadGLM 4.6V · novita · 2 tok/s · 0% spreadLlama 3 8B Lunaris · deepinfra · 58 tok/s · 0% spreadQwen3 14B · nextbit · 12 tok/s · 0% spreadLlama 3.2 3B Instruct · cloudflare · 69 tok/s · 0% spreadHy4 · tencent · 3 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · streamlake · 4 tok/s · 0% spreadRipple 65B Preview · gmicloud · 3 tok/s · 78% spreadDeepSeek V4.1 Flash 1017 · coreweave · 46 tok/s · 192% spreadQwen3.8 27B · nebius · 20 tok/s · 174% spreadGLM 5.2 · novita · 14 tok/s · 0% spreadMuse Spark Open · nebius · 37 tok/s · 0% spreadLing 3.0 Tiny · antdigital · 29 tok/s · 217% spreadDeepSeek V4 Pro 0813 · parasail · 11 tok/s · 88% spreadDeepSeek V4 Flash 0731 · morph · 8 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · crusoe · 38 tok/s · 155% spreadGLM 5.2 · siliconflow · 23 tok/s · 64% spreadQwen3.8 27B · tenstorrent · 22 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · baseten · 78 tok/s · 153% spreadDeepSeek V4 Flash 0731 · nebius · 3 tok/s · 0% spreadQwen3.8 27B · chutes · 8 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · decart · 6 tok/s · 0% spreadCommand A+ · cohere · 44 tok/s · 0% spreadLFM3-1.7B · liquid · 17 tok/s · 295% spreadMiniMax M2.5 · digitalocean · 4 tok/s · 0% spreadDeepSeek V4 Flash 0731 · phala · 10 tok/s · 0% spreadGLM 5.2 · together · 46 tok/s · 99% spreadMiMo-V2.6-Flash · tenstorrent · 22 tok/s · 135% spreadGemini Omni 1.1 Flash · google · 9 tok/s · 0% spreadGemma 3 27B · nebius · 44 tok/s · 0% spreadQwen3.5-122B-A10B · novita · 5 tok/s · 0% spreadMiniMax M2.7 · gmicloud · 6 tok/s · 0% spreadQwen3.5-9B · together · 7 tok/s · 0% spreadDeepSeek V4 Flash 0731 · cloudflare · 33 tok/s · 0% spreadDeepSeek V3.1 · coreweave · 32 tok/s · 0% spreadQwen3.5-27B · novita · 4 tok/s · 0% spreadNemotron 3.5 Lightning · coreweave · 10 tok/s · 0% spreadMistral Nemo · parasail · 77 tok/s · 0% spreadLlama 3.1 8B Instruct · deepinfra · 21 tok/s · 0% spreadClaude Opus 4.8 · claudeonaws · 24 tok/s · 0% spreadQwen3.5-35B-A3B · venice · 11 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · primalabs · 13 tok/s · 0% spreadGLM 4.6 · zai · 2 tok/s · 0% spreadGLM 5 · baidu · 14 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · venice · 11 tok/s · 0% spreadQwen3.8 27B · darkbloom · 3 tok/s · 141% spreadGemma 3 12B · nextbit · 28 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · wafer · 92 tok/s · 119% spreadRipple 65B Preview · primeintellect · 33 tok/s · 18% spreadMuse Ember · meta · 43 tok/s · 138% spreadMuse Spark Open · together · 26 tok/s · 0% spreadNex-N2.6 · nexagi · 13 tok/s · 161% spreadDeepSeek V4.1 Flash 1017 · river · 6 tok/s · 0% spreaddeepseek-v4.1-flash · river · 28 tok/s · 163% spreadRipple 65B Preview · together · 7 tok/s · 232% spreaddeepseek-v4.1-flash · primeintellect · 4 tok/s · 0% spreadMythoMax 13B · parasail · 55 tok/s · 0% spreadQwen3.8 27B · gmicloud · 19 tok/s · 157% spreadERNIE-5.5-Flash-Preview (free) · baidu · 96 tok/s · 0% spreadGemini 4 Carbon · google · 14 tok/s · 176% spreadNemotron 3 Ultra · kt · 22 tok/s · 0% spreadERNIE-Light-DT-1.0 · baidu · 29 tok/s · 115% spreadGemma 4 31B · kt · 59 tok/s · 18% spreadMi:dm K 3.0 Pro · kt · 57 tok/s · 118% spreadMotif 3 · kt · 45 tok/s · 138% spreadMiMo-V2.6-Pro · primalabs · 29 tok/s · 0% spreadGPT-5.4 Nano · openai · 47 tok/s · 0% spreadGPT-5.4 Mini · openai · 39 tok/s · 0% spreadGPT-5.4 · openai · 25 tok/s · 0% spreadGPT-5.5 · openai · 19 tok/s · 0% spreadGPT-4.1 Mini · openai · 54 tok/s · 0% spreadGPT-5.6 Terra · openai · 20 tok/s · 0% spreadGPT-5.1 · openai · 38 tok/s · 0% spreadGPT-4.1 · openai · 41 tok/s · 0% spreadGPT-4o-mini · openai · 36 tok/s · 0% spreadGPT-5.2 Pro · openai · 1 tok/s · 43% spreadKimi K3 · kt · 39 tok/s · 102% spreadDeepSeek V4.1 Flash 1017 · cloudflare · 43 tok/s · 0% spreadGPT-4.1 · azure · 41 tok/s · 0% spreadGPT-4.1 Mini · azure · 44 tok/s · 0% spreadGPT-4o · azure · 39 tok/s · 0% spreadGPT-4o-mini · azure · 37 tok/s · 0% spreadGPT-5 Mini · azure · 37 tok/s · 0% spreadGPT-5 · azure · 16 tok/s · 0% spreadGPT-5 Nano · azure · 58 tok/s · 0% spreadGPT-5.1 · azure · 32 tok/s · 0% spreadGPT-5.2 · azure · 27 tok/s · 0% spreadGPT-5.4 · azure · 40 tok/s · 0% spreadGPT-5.4 Mini · azure · 42 tok/s · 0% spreadGPT-5.3-Codex · azure · 29 tok/s · 0% spreadGPT-5.4 Nano · azure · 42 tok/s · 0% spreadGPT-5.5 · azure · 26 tok/s · 0% spreadGPT-5.6 Luna · azure · 26 tok/s · 0% spreadGPT-5.6 Terra · azure · 26 tok/s · 0% spreadGPT-5.6 Sol · azure · 21 tok/s · 0% spreadGLM 5.3 · sambanova · 49 tok/s · 23% spreadLing 3.1 Flash · novita · 31 tok/s · 0% spreadClaude Fable 5.2 · google · 8 tok/s · 59% spreadDeepSeek V4.1 Flash 1017 · alibaba · 38 tok/s · 0% spreaddeepseek-v4.1-flash · venice · 65 tok/s · 114% spreadGLM 5.3 FlashX · novita · 31 tok/s · 0% spreadGemini 4 Hydrogen · google · 21 tok/s · 121% spreadDeepSeek V4.1 Flash 1017 · atlascloud · 33 tok/s · 0% spreadGLM 5.3 · cohere · 42 tok/s · 86% spreadGLM 5.2 · morph · 8 tok/s · 0% spreadGLM 5.3 · doubleword · 47 tok/s · 52% spreadDeepSeek V4.1 Flash 1017 · morph · 80 tok/s · 76% spreadGLM 5.2 · ambient · 49 tok/s · 0% spreadgpt-oss-120b · ionet · 36 tok/s · 0% spreadKimi K3 · nebius · 48 tok/s · 71% spreadMiniMax M2.5 · atlascloud · 7 tok/s · 0% spreadGLM 4.7 · novita · 16 tok/s · 0% spreadKimi K3 · river · 62 tok/s · 76% spreadQwen3.5-27B · chutes · 25 tok/s · 0% spreadQwen3.5-9B · deepinfra · 46 tok/s · 0% spreadGLM 5.3 · featherless · 68 tok/s · 0% spreadQwen3 30B A3B Instruct 2507 · dekallm · 48 tok/s · 0% spreadQwen3.5-35B-A3B · siliconflow · 35 tok/s · 0% spreadQwen3.6 27B · deepinfra · 39 tok/s · 0% spreadGLM 5 · siliconflow · 13 tok/s · 0% spreadDeepSeek V4 Pro 0813 · deepinfra · 25 tok/s · 123% spreadDeepSeek V4 Pro 0423 · deepinfra · 26 tok/s · 143% spreadDeepSeek V4.1 Flash 1017 · deepinfra · 28 tok/s · 180% spreadgpt-oss-20b · deepinfra · 37 tok/s · 5% spreadDeepSeek V4 Flash 0423 · deepinfra · 35 tok/s · 133% spreadGLM 5.3 · deepinfra · 39 tok/s · 0% spreadQwen3 Coder 30B A3B Instruct · bedrock · 18 tok/s · 0% spreadGLM 5.3 · parasail · 131 tok/s · 0% spreadQwen4 Max · alibaba · 19 tok/s · 89% spreadMuse Spark Open · baseten · 70 tok/s · 0% spreadHy4 flash · tencent · 30 tok/s · 109% spreadQwen3.8 27B · siliconflow · 22 tok/s · 43% spreadDeepSeek V4.1 Flash 1017 · ambient · 41 tok/s · 0% spreadMiMo-V2.6-Pro · streamlake · 14 tok/s · 0% spreadGPT-6.2 Sol · openai · 24 tok/s · 28% spreadGPT-6.2 Astra · openai · 13 tok/s · 0% spreadGPT-6.2 Astra Pro · openai · 12 tok/s · 0% spreadGPT-6.2 Sol Pro · openai · 37 tok/s · 51% spreadGPT-6.2 Sol · azure · 34 tok/s · 58% spreadGPT-6.2 Astra · azure · 18 tok/s · 81% spreadGPT-6.2 Astra Pro · azure · 16 tok/s · 103% spreadGPT-6.2 Sol Pro · azure · 56 tok/s · 62% spreadDeepSeek V4.1 Flash 1017 · antdigital · 29 tok/s · 0% spreadMuse Glimmer 30B · modelrun · 11 tok/s · 0% spreadKimi K3 · relace · 34 tok/s · 0% spreadQwen3.8 27B · deepinfra · 39 tok/s · 29% spreadDeepSeek V4.1 Flash 1017 · pearlresearch · 44 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · inceptron · 58 tok/s · 0% spreadNemotron 3.5 Super VL · primalabs · 74 tok/s · 0% spreadPixtral Large 2502 · bedrock · 42 tok/s · 0% spreadDaisyRose 27B · deepinfra · 48 tok/s · 129% spreadInkling 2 Mini · primeintellect · 73 tok/s · 0% spreadInkling 2 Mini · ionet · 19 tok/s · 86% spreadHy4 · deepinfra · 41 tok/s · 0% spread
mean tok/s →↑ spread %
  • steady ≤110% 518
  • variable 110–180% 118
  • unstable >180% 83
  • 6 above 392% drawn at the ceiling

By provider

legacy · not comparable
ProviderModelsMedianp90BestSpreadTTFT
aionlabs4820200%3.04
akashml4234444105%1.58
alibaba25638620%10.80
ambient24149490%0.68
antdigital22929290%1.68
anthropic923333319%1.28
atlascloud147213328%8.35
azure412654818%1.35
baidu1022299635%2.56
baseten8578787111%0.87
bedrock21509510486%0.43
cerebras1919191212%0.86
chutes518333320%2.14
claudeonaws92427272%1.14
cloudflare141643690%1.40
cohere1018505152%1.09
coreweave19336371137%2.43
crusoe9275555155%2.21
darkbloom7144242141%11.40
decart2667670%0.99
deepinfra6325417533%1.45
deepseek17770%8.25
dekallm916515142%4.24
digitalocean1118415266%2.77
doubleword147474752%0.87
featherless2168680%0.66
fireworks51424240%6.36
friendli25670700%0.60
gmicloud1711193412%5.55
google222173800%3.15
groq6611231230%1.04
inceptron35863630%0.79
inferencenet42388883%0.67
ionet819383886%2.05
ionstream217333398%1.02
kt5455959102%1.43
liquid217212146%3.02
makora424636391%1.64
mancer81543431%2.18
mara41337370%2.08
meta1434343138%1.82
minimax34550%14.70
mistral155060798%0.74
modal428636336%2.07
modelrun41173730%1.77
moonshotai231818116%3.87
morph6880800%0.53
nearai311181868%5.36
nebius1540668649%1.25
nexagi1131313161%5.75
nextbit62846460%0.75
novita30931570%4.54
openai182447540%1.62
openinference23990%7.80
parasail34285513123%1.12
particleai2202323151%3.18
pearlresearch14444440%0.89
perceptron2951510%1.00
perplexity32237370%2.40
phala86414117%7.02
primalabs32974740%1.96
primeintellect1533878786%0.86
reka41665650%3.05
relace9314545104%1.61
river328626276%6.47
sailresearch334484899%1.76
sakanaai1555102%10.50
sambanova423606068%1.45
sambanovaturbo1404040150%2.58
scaledown1323232118%0.98
siliconflow2913313742%2.68
stepfun2646460%1.66
streamlake147182313%9.27
tencent3430300%15.40
tenstorrent3222222134%3.21
together1024464791%2.51
unbiased22330%30.50
upstage23941410%0.75
venice2918446562%4.06
wafer8539292138%0.75
xai67393938%7.34
xiaomi31649490%2.71
zai9325250%20.60

Full results

legacy · not comparable719 models of 846 lanes · 86 folded behind their current lane
State
min·mean·max
Trend

Throughput over time · shared scale

legacy · not comparable

Method. A cron job calls each model's live API endpoint on a schedule and records what came back. Mean, min and max are over completed samples in the selected window, and n is how many there were. A missing value means the endpoint returned an error or the model was not yet in the catalogue.

Lanes. A lane is one way of reaching a model: a provider, a catalogue id and a transport (a direct key, or served through OpenRouter). Since 2026-08-16 most measurement runs through OpenRouter; the direct lanes it replaced are retired, not deleted. By default the page shows live lanes and one row per model at each provider, spoken for by the lane measured most recently; All shows every lane in the window, retired ones tagged off.

Spread is (max − min) ÷ mean, so it measures run-to-run variation rather than absolute speed. TTFT is seconds to the first visible token; runs that emit only reasoning tokens are left out of that average. Mean counts visible output tokens where a provider reports them and falls back to generated throughput where it does not, which is why Gen is higher for models that think before answering. Decode is the generation rate once tokens are flowing, with time to first token and reasoning excluded; only streams that deliver a few tokens per chunk can carry it, so a dash means the stream was too coarse to time.