llm-benchmarks
githubdrose.io

Cloud LLM benchmarks

Models
729
Providers
82
Samples
21,249
Median tok/s
21
p90 tok/s
55
Max tok/s
131
Median spread
38%
Median TTFT
2.43s

Delivered TPS · 64-token, end-to-end

64 visible tokens ÷ time to the 64th, reasoning counted as time, per endpoint

Loading Delivered TPS

Throughput distribution · tok/s

legacy · not comparable

Throughput × spread · 729 models

legacy · not comparable
50100200400Llama 3.3 70B Instruct · groq · 65 tok/s · 121% spreadClaude Haiku 4.5 · bedrock · 66 tok/s · 121% spreadClaude Opus 4.1 · bedrock · 8 tok/s · 178% spreadGLM 5.2 · coreweave · 46 tok/s · 195% spreadLlama 3.1 70B Instruct · bedrock · 61 tok/s · 102% spreadLlama 3.1 8B Instruct · bedrock · 95 tok/s · 112% spreadLlama 3.3 70B Instruct · bedrock · 87 tok/s · 142% spreadLlama 4 Maverick · bedrock · 104 tok/s · 118% spreadLlama 4 Scout · bedrock · 96 tok/s · 94% spreadMistral Large · bedrock · 42 tok/s · 82% spreadllama-3-70b · bedrock · 39 tok/s · 76% spreadllama-3-8b · bedrock · 78 tok/s · 106% spreadmistral-7b · bedrock · 81 tok/s · 84% spreadmistral-small · bedrock · 56 tok/s · 86% spreadmixtral-8x7b · bedrock · 73 tok/s · 92% spreadGemini 4 Argon · google · 16 tok/s · 134% spreadKimi K2.7 Code · moonshotai · 18 tok/s · 144% spreaddeepseek-v4.1-flash · fireworks · 14 tok/s · 237% spreadPareto 26.10 · unbiased · 2 tok/s · 218% spreadLlama 3.3 70B Instruct · deepinfra · 12 tok/s · 69% spreadgpt-oss-120b · cerebras · 89 tok/s · 217% spreadGLM 5.2 · decart · 76 tok/s · 110% spreadMoondream 3.1 · primeintellect · 85 tok/s · 81% spreadMoondream 3 Preview · primeintellect · 90 tok/s · 83% spreadNemotron 3.5 Super VL · together · 21 tok/s · 268% spreadMuse Spark Open · modal · 31 tok/s · 149% spreadClaude Haiku 5.5 · claudeonaws · 19 tok/s · 95% spreadDeepSeek V4.1 Flash 1017 · together · 23 tok/s · 392% spreadDeepSeek V3.2 · gmicloud · 7 tok/s · 181% spreadQwen3.6 35B A3B · venice · 11 tok/s · 443% spreadLFM2.5-24B-A2B · liquid · 18 tok/s · 85% spreadPareto 26.9 · unbiased · 3 tok/s · 0% spreadMiniMax M3 · coreweave · 38 tok/s · 131% spreadSummarize · scaledown · 33 tok/s · 168% spreadBeam 1.0 501B A23B · baseten · 55 tok/s · 118% spreadGlimpse · together · 24 tok/s · 161% spreadDeepSeek V4.1 Flash 1017 · inferencenet · 9 tok/s · 116% spreadDeepSeek V4 Flash 0731 · reka · 16 tok/s · 10% spreadGrok 4.7 · xai · 11 tok/s · 143% spreadMistral Large 4 · mistral · 7 tok/s · 223% spreadGemma 4 26B A4B · darkbloom · 39 tok/s · 61% spreadDeepSeek V4 Pro 0423 · azure · 41 tok/s · 83% spreadGemma 4 31B · coreweave · 35 tok/s · 126% spreadKimi K2.6 · crusoe · 12 tok/s · 253% spreadDeepSeek V4 Flash 0731 · wafer · 15 tok/s · 231% spreadgpt-oss-120b · sambanova · 58 tok/s · 132% spreadGLM 5.1 · gmicloud · 18 tok/s · 79% spreadQwen3.8 27B · wafer · 2 tok/s · 219% spreadKimi K2.6 · chutes · 6 tok/s · 443% spreadGPT-6.1 Sol Pro · azure · 17 tok/s · 72% spreadGLM 5.2 · morph · 18 tok/s · 114% spreadDeepSeek V4 Flash 0423 · gmicloud · 31 tok/s · 265% spreadKimi K2.7 Code · gmicloud · 6 tok/s · 95% spreadQwen3.5 397B A17B · parasail · 5 tok/s · 118% spreadgpt-oss-20b · dekallm · 16 tok/s · 225% spreadGLM 5.3 · wafer · 59 tok/s · 111% spreadDeepSeek V4.1 Flash 1017 · decart · 9 tok/s · 71% spreadMiniMax M2.5 · novita · 4 tok/s · 0% spreadMiniMax M3 · mara · 37 tok/s · 46% spreadDeepSeek V3.2 · friendli · 12 tok/s · 88% spreadDeepSeek V4 Flash 0731 · alibaba · 23 tok/s · 77% spreadQwen3.6 35B A3B · deepinfra · 19 tok/s · 309% spreadGLM 5.1 · atlascloud · 18 tok/s · 139% spreadMuse Spark Open · together · 26 tok/s · 0% spreadGemma 4 31B · sambanova · 25 tok/s · 63% spreadDeepSeek V4 Pro 0813 · dekallm · 32 tok/s · 146% spreadGemma 4 26B A4B · cloudflare · 41 tok/s · 132% spreadgpt-oss-120b · deepinfra · 18 tok/s · 118% spreadKimi K2.6 · novita · 4 tok/s · 302% spreadDeepSeek V4 Pro 0423 · relace · 23 tok/s · 174% spreadQwen3.8 27B · nearai · 10 tok/s · 111% spreadDeepSeek V4 Flash 0731 · baidu · 19 tok/s · 87% spreadGemma 4 31B · friendli · 66 tok/s · 130% spreadKimi K2.6 · venice · 7 tok/s · 383% spreadKimi K3 · wafer · 36 tok/s · 167% spreadNano Banana (Gemini 2.5 Flash Image) · google · 33 tok/s · 114% spreadMiMo-V2.6-Flash · makora · 43 tok/s · 191% spreadGLM 5.2 · wafer · 38 tok/s · 138% spreadLlama 3.3 70B Instruct · sambanovaturbo · 42 tok/s · 143% spreadDeepSeek V4 Flash 0731 · relace · 45 tok/s · 104% spreadGLM 5.2 · cloudflare · 41 tok/s · 164% spreadDeepSeek V4 Flash 0423 · venice · 15 tok/s · 324% spreadKimi K2.7 Code · coreweave · 15 tok/s · 173% spreadQwen3.5 397B A17B · venice · 4 tok/s · 212% spreadgpt-oss-120b · dekallm · 23 tok/s · 147% spreadgpt-oss-20b · coreweave · 34 tok/s · 371% spreadDeepSeek V4.1 Flash 1017 · deepinfra · 15 tok/s · 327% spreadMiniMax M2.5 · minimax · 5 tok/s · 28% spreadDeepSeek V3.2 · atlascloud · 14 tok/s · 48% spreadDeepSeek V4 Flash 0731 · atlascloud · 20 tok/s · 96% spreadQwen3.6 35B A3B · coreweave · 17 tok/s · 438% spreadGLM 5.1 · baidu · 23 tok/s · 33% spreadDeepSeek V3.1 · sambanova · 21 tok/s · 0% spreadGemma 4 31B · deepinfra · 24 tok/s · 140% spreadDeepSeek V4 Pro 0813 · wafer · 53 tok/s · 112% spreadgpt-oss-120b · akashml · 33 tok/s · 107% spreadKimi K2.6 · digitalocean · 19 tok/s · 232% spreadDeepSeek V4 Pro 0423 · baidu · 11 tok/s · 164% spreadQwen3.8 27B · chutes · 5 tok/s · 132% spreaddeepseek-v4.1-flash · inferencenet · 17 tok/s · 269% spreadNemotron 3.5 Super VL · baseten · 80 tok/s · 108% spreadGLM 5.2 · baseten · 56 tok/s · 113% spreadDeepSeek V4.1 Flash 1017 · morph · 48 tok/s · 191% spreadMuse Spark Open · fireworks · 9 tok/s · 95% spreadDeepSeek V4 Flash 0731 · coreweave · 22 tok/s · 173% spreadKimi K2.6 · atlascloud · 9 tok/s · 249% spreadGemma 4 31B · modelrun · 71 tok/s · 113% spreadQwen3.6 35B A3B · akashml · 7 tok/s · 616% spreadDeepSeek V4.1 Flash 1017 · relace · 10 tok/s · 46% spreadGemma 4 26B A4B · ionet · 44 tok/s · 82% spreadKimi K2.6 · moonshotai · 4 tok/s · 163% spreadMiMo-V2.6-Flash · venice · 11 tok/s · 97% spreadLlama 3.3 70B Instruct · novita · 27 tok/s · 31% spreadDeepSeek V4 Flash 0423 · parasail · 16 tok/s · 229% spreadKimi K2.7 Code · cloudflare · 11 tok/s · 152% spreadQwen3.5 397B A17B · novita · 3 tok/s · 8% spreadQwen3.6 35B A3B · darkbloom · 17 tok/s · 281% spreadGLM 4.7 · venice · 1 tok/s · 0% spreadMiniMax M3 · atlascloud · 9 tok/s · 217% spreadgpt-oss-20b · parasail · 23 tok/s · 177% spreadMiniMax M2.5 · gmicloud · 15 tok/s · 0% spreadgpt-oss-120b · novita · 39 tok/s · 3% spreadGemma 4 26B A4B · deepinfra · 38 tok/s · 103% spreadDeepSeek V4 Pro 0423 · alibaba · 14 tok/s · 123% spreadGemma 4 31B · venice · 42 tok/s · 49% spreadGLM 5.1 · siliconflow · 7 tok/s · 415% spreadDeepSeek V4 Flash 0731 · siliconflow · 14 tok/s · 11% spreadKimi K2.6 · phala · 5 tok/s · 149% spreadMiMo-V2.6-Flash · darkbloom · 19 tok/s · 39% spreadBeam 1.0 501B A23B · nebius · 52 tok/s · 55% spreadLlama 3.3 70B Instruct · together · 23 tok/s · 0% spreadGPT-6.1 Sol Pro · openai · 15 tok/s · 26% spreadDeepSeek V4 Flash 0423 · siliconflow · 15 tok/s · 58% spreadKimi K2.7 Code · venice · 22 tok/s · 66% spreadQwen3.5 397B A17B · alibaba · 3 tok/s · 12% spreadMiniMax M3 · modelrun · 32 tok/s · 118% spreadQwen3 235B A22B Instruct 2507 · deepinfra · 15 tok/s · 33% spreadgpt-oss-20b · groq · 61 tok/s · 115% spreadDeepSeek V3.2 · sambanova · 18 tok/s · 132% spreadQwen3.6 35B A3B · siliconflow · 7 tok/s · 340% spreadDeepSeek V4 Pro 0813 · ionstream · 33 tok/s · 124% spreadgpt-oss-120b · digitalocean · 16 tok/s · 52% spreadClaude Sonnet 5.5 · azure · 18 tok/s · 136% spreadGemma 4 26B A4B · makora · 64 tok/s · 137% spreadDeepSeek V4.1 Flash 1017 · openinference · 9 tok/s · 0% spreadDeepSeek V4 Flash 0731 · phala · 10 tok/s · 4% spreadGLM 5.1 · alibaba · 5 tok/s · 635% spreadKimi K2.6 · deepinfra · 7 tok/s · 363% spreaddeepseek-v4.1-flash · modal · 13 tok/s · 226% spreadMiMo-V2.6-Flash · xiaomi · 14 tok/s · 167% spreadgpt-oss-120b · nebius · 54 tok/s · 180% spreadGemma 4 26B A4B · novita · 38 tok/s · 135% spreadLlama 3.3 70B Instruct · akashml · 22 tok/s · 108% spreadDeepSeek V4 Flash 0423 · streamlake · 7 tok/s · 201% spreadKimi K2.7 Code · novita · 9 tok/s · 68% spreadQwen3.5 397B A17B · deepinfra · 7 tok/s · 345% spreadMiMo-V2.6-Pro-UltraSpeed · xiaomi · 42 tok/s · 36% spreadMiniMax M3 · deepinfra · 13 tok/s · 325% spreadgpt-oss-120b · mara · 29 tok/s · 52% spreadGPT-6 Astra Pro · openai · 5 tok/s · 81% spreadGemma 4 31B · crusoe · 38 tok/s · 94% spreadDeepSeek V4 Pro 0423 · streamlake · 10 tok/s · 214% spreadDeepSeek V4 Flash 0731 · cohere · 30 tok/s · 196% spreadGemma 4 26B A4B · nextbit · 43 tok/s · 62% spreadDeepSeek V4.1 Flash 1017 · baidu · 6 tok/s · 0% spreadQwen3.6 35B A3B · dekallm · 13 tok/s · 527% spreadMiMo-V2.6-Pro · streamlake · 14 tok/s · 2% spreaddeepseek-v4.1-flash · cohere · 9 tok/s · 148% spreadGLM 5.2 · ambient · 29 tok/s · 140% spreadGemma 3 27B · nebius · 48 tok/s · 19% spreadQwen3.5-122B-A10B · novita · 6 tok/s · 42% spreadQwen3.8 2.4T A95B · together · 26 tok/s · 0% spreadMiniMax M2.7 · atlascloud · 1 tok/s · 0% spreadQwen3.5-9B · deepinfra · 23 tok/s · 194% spreadDeepSeek V3.2 · deepinfra · 20 tok/s · 123% spreadMiMo-V2.6-Flash · cohere · 51 tok/s · 127% spreadCodestral 2508 · mistral · 40 tok/s · 52% spreadMistral Large · mistral · 35 tok/s · 9% spreadSolar Pro 4 · upstage · 41 tok/s · 1% spreadMinistral 3 8B 2512 · mistral · 37 tok/s · 69% spreadSaba · mistral · 56 tok/s · 2% spreadCydonia 24B V4.1 · parasail · 19 tok/s · 0% spreadMinistral 3 14B 2512 · mistral · 60 tok/s · 0% spreadMinistral 3 3B 2512 · mistral · 79 tok/s · 0% spreadQwen3.7 Flash · alibaba · 3 tok/s · 2% spreadMistral Medium 3 · mistral · 55 tok/s · 20% spreadMistral Small 4 · mistral · 48 tok/s · 36% spreadVoxtral Small 24B 2507 · mistral · 61 tok/s · 14% spreadAion-RP 1.0 (8B) · aionlabs · 21 tok/s · 9% spreadMagnum v4 72B · mancer · 14 tok/s · 4% spreadKimi K2 Thinking · novita · 4 tok/s · 44% spreadAion-3.0 · aionlabs · 9 tok/s · 123% spreadAion-2.0 · aionlabs · 8 tok/s · 0% spreadUncensored · venice · 35 tok/s · 36% spreadCommand R (08-2024) · cohere · 25 tok/s · 171% spreadUI-TARS 7B · parasail · 45 tok/s · 33% spreadCommand R7B (12-2024) · cohere · 51 tok/s · 2% spreadClaude Haiku 4.5 · anthropic · 36 tok/s · 0% spreadAion-3.0-Mini · aionlabs · 4 tok/s · 43% spreadCommand R+ (08-2024) · cohere · 17 tok/s · 10% spreadNano Banana 2 Lite (Gemini 3.1 Flash Lite Image) · google · 81 tok/s · 20% spreadNano Banana 2 (Gemini 3.1 Flash Image) · google · 61 tok/s · 1% spreadNano Banana 2 (Gemini 3.1 Flash Image Preview) · google · 53 tok/s · 35% spreadGemini 3.1 Pro Preview Custom Tools · google · 3 tok/s · 20% spreadGemma 2 27B · nextbit · 44 tok/s · 7% spreadLyria 3 Clip Preview · google · 43 tok/s · 34% spreadGemma 3 12B · deepinfra · 15 tok/s · 26% spreadGemini 2.5 Flash Lite · google · 73 tok/s · 24% spreadPhi 4 · deepinfra · 31 tok/s · 145% spreadGemini 3.1 Flash Lite Preview · google · 75 tok/s · 5% spreadLongCat 2.0 · atlascloud · 10 tok/s · 9% spreadLlama 3.2 1B Instruct · cloudflare · 55 tok/s · 53% spreadGemini 3.1 Flash Lite · google · 68 tok/s · 33% spreadGemini 3.5 Flash · google · 4 tok/s · 3% spreadGemini 3.1 Pro Preview · google · 2 tok/s · 35% spreadGemini 2.5 Flash · google · 50 tok/s · 1% spreadGemini 3.5 Flash Lite · google · 61 tok/s · 21% spreadGemini 3 Flash Preview · google · 54 tok/s · 8% spreadLing 3.0 Flash · novita · 29 tok/s · 0% spreadGemini 3.6 Flash · google · 8 tok/s · 2% spreadMistral Small 3.1 24B · cloudflare · 30 tok/s · 100% spreadKimi K2 0711 · novita · 14 tok/s · 150% spreadMorph V3 Large · morph · 44 tok/s · 5% spreadKimi K2 0905 · novita · 25 tok/s · 18% spreadSonar Pro · perplexity · 30 tok/s · 52% spreadHermes 4 405B · nebius · 17 tok/s · 0% spreadSonar · perplexity · 40 tok/s · 11% spreadPerceptron Mk1 · perceptron · 12 tok/s · 37% spreadSonar Pro Search · perplexity · 15 tok/s · 10% spreadQwen-Plus · alibaba · 34 tok/s · 0% spreadQwen2.5 Coder 32B Instruct · cloudflare · 27 tok/s · 7% spreadQwen2.5 72B Instruct · deepinfra · 2 tok/s · 0% spreadQwen3 Coder Flash · alibaba · 42 tok/s · 1% spreadMistral Small 3 · deepinfra · 26 tok/s · 17% spreadLlama 3.3 70B Instruct · coreweave · 55 tok/s · 36% spreadQwen3.5-Flash · alibaba · 55 tok/s · 25% spreadNemotron 3 Ultra · baseten · 31 tok/s · 0% spreadFugu Max · sakanaai · 5 tok/s · 117% spreadKimi K2.5 · novita · 7 tok/s · 1% spreadQwen3.5 Plus 2026-02-15 · alibaba · 3 tok/s · 5% spreadDeepSeek V3 · deepinfra · 8 tok/s · 0% spreadDeepSeek V4 Flash 0423 · digitalocean · 17 tok/s · 96% spreadKimi K2.7 Code · siliconflow · 6 tok/s · 152% spreadRelace Search · relace · 33 tok/s · 44% spreadQwen3.6 Flash · alibaba · 3 tok/s · 12% spreadQwen3.5 Plus 2026-04-20 · alibaba · 3 tok/s · 72% spreadQwen3 VL 8B Instruct · parasail · 28 tok/s · 76% spreadQwen3.7 Plus · alibaba · 2 tok/s · 27% spreadSkyfall 36B V2 · parasail · 33 tok/s · 3% spreadQwen3.6 Plus · alibaba · 2 tok/s · 21% spreadMiniMax M3 · gmicloud · 17 tok/s · 66% spreadGemma 3 4B · parasail · 59 tok/s · 0% spreadDeepSeek V4 Pro 0423 · siliconflow · 8 tok/s · 218% spreadDeepSeek V4 Flash 0731 · cloudflare · 20 tok/s · 125% spreadgpt-oss-120b · parasail · 56 tok/s · 180% spreadGemma 4 26B A4B · venice · 33 tok/s · 33% spreadQwen3.6 35B A3B · phala · 5 tok/s · 104% spreadDeepSeek V4.1 Flash 1017 · digitalocean · 22 tok/s · 66% spreadDeepSeek V4 Flash 0731 · venice · 21 tok/s · 234% spreadgpt-oss-120b · groq · 75 tok/s · 270% spreadKimi K2.6 · baidu · 18 tok/s · 232% spreadDeepSeek V3.1 · deepinfra · 8 tok/s · 78% spreadQwen3 Coder 480B A35B · deepinfra · 38 tok/s · 0% spreadMiMo-V2.6-Flash · gmicloud · 15 tok/s · 0% spreadDeepSeek V4 Flash 0423 · wafer · 54 tok/s · 172% spreadKimi K2.7 Code · inceptron · 16 tok/s · 188% spreadQwen3.5-27B · alibaba · 5 tok/s · 0% spreadQwen3.5 397B A17B · atlascloud · 3 tok/s · 51% spreadNemotron 3.5 Super VL · coreweave · 24 tok/s · 319% spreadLlama 3.3 70B Instruct · cloudflare · 36 tok/s · 39% spreadKimi K2.6 · streamlake · 7 tok/s · 308% spreadSchematron V2 Small · inferencenet · 88 tok/s · 32% spreadSchematron V2 Turbo · inferencenet · 28 tok/s · 3% spreadGPT-6 Sol Pro · azure · 47 tok/s · 63% spreadDeepSeek V4.1 Flash 1017 · deepseek · 7 tok/s · 0% spreaddeepseek-v4.1-flash · mancer · 17 tok/s · 240% spreadgpt-oss-120b · baseten · 58 tok/s · 118% spreadDeepSeek V3.2 · siliconflow · 10 tok/s · 57% spreadDeepSeek V4 Flash 0731 · digitalocean · 50 tok/s · 164% spreadDeepSeek V4 Pro 0423 · reka · 7 tok/s · 0% spreadGemma 4 26B A4B · siliconflow · 35 tok/s · 29% spreadQwen3.6 35B A3B · parasail · 26 tok/s · 290% spreadSolar Mini 4 · upstage · 39 tok/s · 25% spreadQwen3.8 Omni Flash · alibaba · 7 tok/s · 158% spreadGPT-6 Sol · azure · 15 tok/s · 4% spreadGPT-6 Luna Pro · azure · 84 tok/s · 5% spreadGPT-6 Luna · azure · 17 tok/s · 29% spreadCommand A · cohere · 3 tok/s · 52% spreadReMM SLERP 13B · mancer · 43 tok/s · 1% spreadGrok 4.3 · xai · 9 tok/s · 75% spreadGLM 4.5 · zai · 1 tok/s · 3% spreadGrok 4.5 · xai · 7 tok/s · 45% spreadGrok Build 0.1 · xai · 5 tok/s · 34% spreadLlama 4 Scout · deepinfra · 36 tok/s · 72% spreadGranite 4.2 8B · coreweave · 21 tok/s · 0% spreadGLM 5V Turbo · zai · 4 tok/s · 23% spreadClaude Haiku 5.5 · azure · 23 tok/s · 184% spreadMiMo-V2.6-Flash · ionet · 18 tok/s · 175% spreadQwen2.5 VL 72B Instruct · parasail · 26 tok/s · 23% spreadGemini 3.7 Flash · google · 5 tok/s · 19% spreadUnslopNemo 12B · parasail · 38 tok/s · 33% spreadMistral Medium 3.1 · mistral · 49 tok/s · 20% spreadLlama 3.1 70B Instruct · deepinfra · 25 tok/s · 0% spreadGrok 4.6 · xai · 2 tok/s · 38% spreadQwen3.8 Max (0902) · alibaba · 4 tok/s · 69% spreadGLM 4.5V · novita · 4 tok/s · 0% spreadGLM 4.6V · zai · 3 tok/s · 0% spreadDeepSeek V3 0324 · siliconflow · 18 tok/s · 0% spreadInkling Small · deepinfra · 38 tok/s · 184% spreadLlama 3 8B Lunaris · parasail · 43 tok/s · 0% spreadQwen3 14B · deepinfra · 13 tok/s · 0% spreadgpt-oss-safeguard-20b · groq · 46 tok/s · 0% spreadLlama 3.2 3B Instruct · parasail · 61 tok/s · 0% spreadDeepSeek V4 Flash 0423 · cloudflare · 16 tok/s · 92% spreadKimi K2.7 Code · streamlake · 8 tok/s · 69% spreadQwen3.5 397B A17B · streamlake · 6 tok/s · 139% spreadGLM 5.3 · alibaba · 2 tok/s · 1659% spreadNemotron 3.5 Super VL · darkbloom · 14 tok/s · 298% spreadNemotron 3.5 Lightning · deepinfra · 75 tok/s · 5% spreadLlama 3.3 70B Instruct · parasail · 24 tok/s · 114% spreadMiniMax M3 · venice · 20 tok/s · 187% spreadKimi K2.6 · parasail · 7 tok/s · 209% spreadQwen3 30B A3B Instruct 2507 · nebius · 86 tok/s · 0% spreadMistral Small 3.2 24B · venice · 19 tok/s · 62% spreadQwen3 VL 30B A3B Instruct · novita · 17 tok/s · 70% spreadClaude Sonnet 5 · claudeonaws · 27 tok/s · 0% spreadQwen3 VL 235B A22B Instruct · venice · 39 tok/s · 22% spreadClaude Opus 4.5 · claudeonaws · 23 tok/s · 0% spreadLlama 3.1 8B Instruct · coreweave · 71 tok/s · 8% spreadClaude Opus 4.8 · anthropic · 33 tok/s · 80% spreadMistral Nemo · dekallm · 13 tok/s · 0% spreadMythoMax 13B · mancer · 41 tok/s · 0% spreadQwen3.5-35B-A3B · deepinfra · 36 tok/s · 231% spreadClaude Opus 4.6 · claudeonaws · 24 tok/s · 2% spreadClaude Opus 4.7 · claudeonaws · 26 tok/s · 12% spreadClaude Sonnet 4.5 · claudeonaws · 23 tok/s · 6% spreadClaude Sonnet 4.6 · claudeonaws · 24 tok/s · 10% spreadQwen3 32B · deepinfra · 3 tok/s · 38% spreadGLM 4.5 Air · novita · 12 tok/s · 11% spreadR1 0528 · deepinfra · 4 tok/s · 11% spreadHy3 · phala · 3 tok/s · 18% spreadGLM 4.6 · venice · 1 tok/s · 0% spreadGemma 4 31B · siliconflow · 27 tok/s · 105% spreadNemotron 3 Super · deepinfra · 6 tok/s · 35% spreadDeepSeek V4.1 Flash 1017 · fireworks · 24 tok/s · 265% spreaddeepseek-v4.1-flash · openinference · 3 tok/s · 183% spreadDeepSeek V3.2 · phala · 23 tok/s · 14% spreadDeepSeek V4 Flash 0731 · gmicloud · 10 tok/s · 12% spreadBeam 1.0 501B A23B · together · 46 tok/s · 69% spreadGemma 4 26B A4B · parasail · 46 tok/s · 110% spreadDeepSeek V4 Flash 0731 · baseten · 46 tok/s · 95% spreadMiniMax M3 · streamlake · 4 tok/s · 0% spreadGLM 5.3 Prime · alibaba · 0 tok/s · 22% spreadMistral Medium 3.5 · mistral · 54 tok/s · 8% spreadReka Edge · reka · 65 tok/s · 4% spreadLlama 3.1 Euryale 70B v2.2 · deepinfra · 36 tok/s · 1% spreadGLM 5 · venice · 1 tok/s · 0% spreadDeepSeek V4 Flash 0423 · mancer · 10 tok/s · 274% spreadQwen3.5 397B A17B · digitalocean · 1 tok/s · 66% spreadStep 5 Preview · deepinfra · 19 tok/s · 0% spreadMiMo-V2.6-Flash · relace · 36 tok/s · 136% spreadclaude-opus-4.1 · bedrock · 9 tok/s · 75% spreadMiMo-V2.5 · venice · 15 tok/s · 66% spreadNemotron 3.5 Super VL · ionet · 59 tok/s · 111% spreadNova Micro 1.0 · bedrock · 50 tok/s · 124% spreadPalmyra X5 · bedrock · 41 tok/s · 21% spreadNova Lite 1.0 · bedrock · 48 tok/s · 37% spreadKimi K2.6 · siliconflow · 5 tok/s · 223% spreadNova Pro 1.0 · bedrock · 45 tok/s · 49% spreadNova 2 Lite · bedrock · 45 tok/s · 43% spreadDeepSeek V3.2 · digitalocean · 18 tok/s · 151% spreadGemma 4 26B A4B · coreweave · 33 tok/s · 88% spreaddeepseek-v4.1-flash · parasail · 5 tok/s · 26% spreadDeepSeek V4 Flash 0731 · streamlake · 7 tok/s · 58% spreadMiniMax M3 · parasail · 33 tok/s · 132% spreadGrok 4.20 · xai · 39 tok/s · 2% spreadDeepSeek V4 Flash 0423 · atlascloud · 5 tok/s · 73% spreadKimi K2.7 Code · alibaba · 15 tok/s · 196% spreadMiMo-V2.6-Flash · deepinfra · 15 tok/s · 156% spreadNemotron 3.5 Super VL · crusoe · 20 tok/s · 198% spreadKimi K2.6 · cloudflare · 13 tok/s · 264% spreadGLM 5.3 · baseten · 23 tok/s · 206% spreadGLM 5.2 · relace · 27 tok/s · 134% spreadGemma 4 31B · chutes · 16 tok/s · 37% spreadDeepSeek V3.2 · baidu · 20 tok/s · 48% spreadDeepSeek V4.1 Flash 1017 · gmicloud · 8 tok/s · 0% spreadGemma 4 26B A4B · dekallm · 51 tok/s · 42% spreadgpt-oss-120b · nearai · 18 tok/s · 142% spreaddeepseek-v4.1-flash · phala · 6 tok/s · 75% spreadDeepSeek V4 Flash 0731 · mancer · 9 tok/s · 115% spreadMiniMax M3 · together · 22 tok/s · 45% spreadDeepSeek V4.1 Flash 1017 · nebius · 38 tok/s · 211% spreadNemotron 3.5 Super VL · venice · 40 tok/s · 228% spreadQwen3 Coder 30B A3B Instruct · siliconflow · 26 tok/s · 42% spreadQwen3 30B A3B · deepinfra · 10 tok/s · 46% spreadQwen3 235B A22B Thinking 2507 · venice · 6 tok/s · 147% spreadMiMo-V2.6-Flash · novita · 8 tok/s · 13% spreadGLM 5.2 · parasail · 52 tok/s · 74% spreadKimi K2.6 · coreweave · 33 tok/s · 217% spreadNemotron 3.5 Super VL · deepinfra · 28 tok/s · 390% spreadPerceptron Mk1.5 · perceptron · 51 tok/s · 4% spreadGemma 4 31B · ionet · 21 tok/s · 122% spreadMuse Glimmer 30B · deepinfra · 11 tok/s · 80% spreadDeepSeek V4 Flash 0423 · crusoe · 25 tok/s · 8% spreadgpt-oss-120b · phala · 41 tok/s · 17% spreadDeepSeek V4 Pro 0423 · crusoe · 28 tok/s · 70% spreadGLM 5.2 · nebius · 47 tok/s · 58% spreadGLM 4.7 · zai · 1 tok/s · 0% spreadMiniMax M2.5 · venice · 4 tok/s · 0% spreadDeepSeek V4 Flash 0731 · deepinfra · 35 tok/s · 78% spreadGemma 4 31B · parasail · 23 tok/s · 99% spreadDeepSeek V4 Flash 0423 · azure · 53 tok/s · 38% spreadDeepSeek V4.1 Flash 1017 · ionstream · 17 tok/s · 98% spreadgpt-oss-120b · crusoe · 55 tok/s · 162% spreadDeepSeek V4 Flash 0731 · sailresearch · 15 tok/s · 64% spreaddeepseek-v4.1-flash · coreweave · 8 tok/s · 352% spreadDeepSeek V4 Pro 0423 · cloudflare · 3 tok/s · 23% spreadClaude Haiku 5.5 · anthropic · 19 tok/s · 115% spreadGPT-6.1 Terra · openai · 13 tok/s · 15% spreadMuse Spark Open · makora · 24 tok/s · 0% spreadDeepSeek V4 Pro 0813 · nebius · 7 tok/s · 171% spreadDeepSeek V3.2 · mara · 13 tok/s · 202% spreadDeepSeek V4.1 Flash 1017 · makora · 17 tok/s · 91% spreadGPT-6.1 Terra Pro · openai · 33 tok/s · 87% spreadGemma 4 26B A4B · primeintellect · 48 tok/s · 117% spreadgpt-oss-120b · sailresearch · 34 tok/s · 115% spreadDeepSeek V4 Flash 0731 · novita · 26 tok/s · 52% spreadDeepSeek V4 Pro 0423 · venice · 11 tok/s · 61% spreadMiniMax M3 · minimax · 5 tok/s · 0% spreadGLM 5.2 · baidu · 25 tok/s · 35% spreadMiMo-V2.6-Pro · gmicloud · 9 tok/s · 0% spreadDeepSeek V3.2 Exp · siliconflow · 11 tok/s · 0% spreadNemotron 3.5 Super VL · nebius · 19 tok/s · 274% spreadGemma 4 31B · novita · 14 tok/s · 143% spreadGemma 3 27B · parasail · 25 tok/s · 70% spreadQwen3.5-122B-A10B · siliconflow · 28 tok/s · 180% spreadQwen3.8 2.4T A95B · alibaba · 7 tok/s · 64% spreadMiniMax M2.7 · minimax · 3 tok/s · 0% spreadQwen3.5-9B · primeintellect · 17 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · modal · 28 tok/s · 0% spreadgpt-oss-120b · together · 47 tok/s · 91% spreadGemma 4 26B A4B · akashml · 44 tok/s · 141% spreaddeepseek-v4.1-flash · gmicloud · 11 tok/s · 198% spreadGLM 5.2 · atlascloud · 18 tok/s · 15% spreadKimi K2.5 · atlascloud · 6 tok/s · 28% spreaddeepseek-v4.1-flash · wafer · 45 tok/s · 172% spreadDeepSeek V3.1 Terminus · siliconflow · 12 tok/s · 0% spreadGPT-6.1 Terra · azure · 21 tok/s · 126% spreadGPT-6.1 Terra Pro · azure · 66 tok/s · 90% spreadTernary Bonsai 2 9B · darkbloom · 4 tok/s · 391% spreadDeepSeek V3.2 · venice · 17 tok/s · 0% spreadKimi K2.5 · venice · 18 tok/s · 115% spreadgpt-oss-120b · mancer · 38 tok/s · 122% spreaddeepseek-v4.1-flash · crusoe · 27 tok/s · 123% spreadMistral Large 3 2512 · mistral · 13 tok/s · 0% spreadGLM 5.2 · zai · 23 tok/s · 0% spreadQwen3.5-27B · deepinfra · 2 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · novita · 6 tok/s · 0% spreadgpt-oss-120b · coreweave · 33 tok/s · 89% spreaddeepseek-v4.1-flash · deepinfra · 3 tok/s · 33% spreadGLM 5.2 · venice · 22 tok/s · 32% spreadNemotron 3.5 Lightning · ionet · 1 tok/s · 0% spreadQwen3 30B A3B Instruct 2507 · siliconflow · 31 tok/s · 30% spreadMistral Small 3.2 24B · deepinfra · 23 tok/s · 69% spreadQwen3 VL 30B A3B Instruct · deepinfra · 26 tok/s · 50% spreadClaude Sonnet 5 · azure · 26 tok/s · 61% spreadLlama 3.1 8B Instruct · novita · 57 tok/s · 0% spreadClaude Opus 4.5 · azure · 24 tok/s · 5% spreadMistral Nemo · deepinfra · 20 tok/s · 0% spreadClaude Opus 4.8 · azure · 21 tok/s · 4% spreadMythoMax 13B · deepinfra · 34 tok/s · 0% spreadQwen3.5-35B-A3B · alibaba · 6 tok/s · 0% spreadClaude Opus 4.7 · anthropic · 23 tok/s · 23% spreadClaude Opus 4.6 · azure · 18 tok/s · 8% spreadClaude Sonnet 4.5 · anthropic · 24 tok/s · 12% spreadClaude Sonnet 4.6 · azure · 21 tok/s · 10% spreadGLM 4.5 Air · zai · 25 tok/s · 135% spreadR1 0528 · streamlake · 5 tok/s · 13% spreadHy3 · tencent · 4 tok/s · 0% spreadGLM 4.6 · deepinfra · 18 tok/s · 192% spreadNemotron 3 Super · crusoe · 11 tok/s · 156% spreadParticle-1 · particleai · 23 tok/s · 319% spreadgpt-oss-120b · venice · 13 tok/s · 11% spreadGLM 5 · streamlake · 5 tok/s · 0% spreadGLM 5.2 · deepinfra · 32 tok/s · 31% spreadDeepSeek V4.1 Flash 1017 · cohere · 13 tok/s · 59% spreadStep 5 Preview · featherless · 1 tok/s · 62% spreadGPT-6.1 Sol · azure · 13 tok/s · 71% spreadGemini 3.8 Flash · google · 6 tok/s · 0% spreadgpt-oss-120b · siliconflow · 19 tok/s · 32% spreadDeepSeek V4.1 Flash 1017 · mistral · 49 tok/s · 83% spreadDeepSeek V4 Flash 0423 · fireworks · 9 tok/s · 0% spreadMiMo-V2.6-Pro · novita · 9 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · modelrun · 8 tok/s · 0% spreadBeam 1.0 501B A23B · digitalocean · 41 tok/s · 104% spreadGLM 5.2 · streamlake · 21 tok/s · 0% spreaddeepseek-v4.1-flash · morph · 8 tok/s · 180% spreadDeepSeek V4.1 Flash 1017 · particleai · 20 tok/s · 151% spreadDeepSeek V4.1 Flash 1017 · primeintellect · 15 tok/s · 206% spreadLlama 4 Maverick · parasail · 53 tok/s · 0% spreadLing 3.1 Flash · deepinfra · 3 tok/s · 0% spreadClaude Sonnet 5.5 · anthropic · 12 tok/s · 0% spreadGLM 4.7 · deepinfra · 1 tok/s · 0% spreadGLM 5.2 · digitalocean · 35 tok/s · 20% spreadNemotron 3 Nano 30B A3B · nebius · 25 tok/s · 0% spreaddeepseek-v4.1-flash · relace · 14 tok/s · 281% spreadDeepSeek V4.1 Flash 1017 · parasail · 41 tok/s · 161% spreadGemma 3 27B · nextbit · 37 tok/s · 0% spreadQwen3.5-122B-A10B · alibaba · 8 tok/s · 0% spreadQwen3.8 2.4T A95B · venice · 13 tok/s · 130% spreadMiniMax M2.7 · groq · 20 tok/s · 0% spreadQwen3.5-9B · parasail · 4 tok/s · 0% spreadNemotron 3.5 Super VL · primeintellect · 32 tok/s · 209% spreadGLM 5.3 · relace · 20 tok/s · 0% spreadGrok 4.20 Multi-Agent · xai · 3 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · nearai · 3 tok/s · 0% spreadDeepSeek V3.1 · mara · 1 tok/s · 0% spreadQwen3 Next 80B A3B Instruct · deepinfra · 59 tok/s · 0% spreadKimi K2.5 · siliconflow · 9 tok/s · 130% spreadQwen3.5-27B · atlascloud · 4 tok/s · 0% spreadQwen3 Coder Next · parasail · 45 tok/s · 0% spreadMorph V3 Fast · morph · 34 tok/s · 0% spreadGLM 5.2 · friendli · 56 tok/s · 0% spreadMiMo-V2.5-Pro · digitalocean · 13 tok/s · 0% spreadQwen3.8 27B · primeintellect · 2 tok/s · 306% spreadDeepSeek V4 Flash 0731 · parasail · 43 tok/s · 62% spreadNemotron 3.5 Lightning · fireworks · 20 tok/s · 0% spreadMistral Small 3.2 24B · parasail · 28 tok/s · 0% spreadClaude Sonnet 5 · anthropic · 26 tok/s · 19% spreadLlama 3.1 8B Instruct · groq · 123 tok/s · 0% spreadQwen3 VL 235B A22B Instruct · deepinfra · 8 tok/s · 0% spreadMistral Nemo · ionet · 37 tok/s · 0% spreadClaude Opus 4.5 · anthropic · 23 tok/s · 19% spreadClaude Opus 4.7 · azure · 19 tok/s · 12% spreadClaude Opus 4.6 · anthropic · 15 tok/s · 65% spreadQwen3.5-35B-A3B · parasail · 11 tok/s · 0% spreadClaude Sonnet 4.5 · azure · 23 tok/s · 15% spreadClaude Sonnet 4.6 · anthropic · 25 tok/s · 0% spreadR1 0528 · siliconflow · 2 tok/s · 19% spreadNemotron 3 Super · dekallm · 8 tok/s · 0% spreadGLM 4.7 Flash · cloudflare · 2 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · phala · 9 tok/s · 0% spreadQwen3 VL 30B A3B Instruct · siliconflow · 18 tok/s · 50% spreadQwen3 32B · tenstorrent · 21 tok/s · 134% spreadGLM 5.2 · alibaba · 21 tok/s · 40% spreadGLM 5 · novita · 16 tok/s · 0% spreadStep 5 Preview · gmicloud · 7 tok/s · 0% spreadgpt-oss-120b · primeintellect · 53 tok/s · 12% spreadDeepSeek V4.1 Flash 1017 · reka · 16 tok/s · 0% spreadgpt-oss-20b · primeintellect · 80 tok/s · 81% spreadGemma 4 31B · primeintellect · 30 tok/s · 156% spreadDeepSeek V4 Flash 0731 · chutes · 30 tok/s · 0% spreadQwen3.6 35B A3B · primeintellect · 23 tok/s · 238% spreadMiMo-V2.6-Pro · xiaomi · 9 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · sailresearch · 48 tok/s · 99% spreadGLM 5.2 · gmicloud · 19 tok/s · 0% spreadDeepSeek V4 Flash 0731 · primeintellect · 61 tok/s · 50% spreadGLM 5.2 · inceptron · 63 tok/s · 0% spreadGLM 5.3 FlashX Legal · zai · 21 tok/s · 188% spreadMiniMax M2.5 · streamlake · 23 tok/s · 0% spreadQwen3 235B A22B Instruct 2507 · parasail · 24 tok/s · 0% spreadClaude Sonnet 5.5 · claudeonaws · 10 tok/s · 0% spreadGLM 4.7 · mancer · 1 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · siliconflow · 12 tok/s · 0% spreadGemma 4 31B · nextbit · 22 tok/s · 120% spreadClaude Haiku 4.5 · azure · 47 tok/s · 0% spreadLlama Guard 4 12B · deepinfra · 3 tok/s · 0% spreadLing 3.0 Flash · deepinfra · 28 tok/s · 169% spreadMixtral 8x22B Instruct · mistral · 45 tok/s · 0% spreadNemotron 3 Ultra · deepinfra · 38 tok/s · 113% spreadGemma 3 27B · deepinfra · 30 tok/s · 0% spreadQwen3.5-122B-A10B · atlascloud · 5 tok/s · 0% spreadQwen3.8 2.4T A95B · novita · 8 tok/s · 0% spreadMiniMax M2.7 · novita · 4 tok/s · 0% spreadQwen3.5-9B · siliconflow · 3 tok/s · 0% spreadDeepSeek V3 · streamlake · 16 tok/s · 0% spreadGemma 3 4B · deepinfra · 24 tok/s · 0% spreaddeepseek-v4.1-flash · baidu · 12 tok/s · 0% spreadBeam 1.0 501B A23B · coreweave · 25 tok/s · 0% spreadDeepSeek V3.1 · siliconflow · 16 tok/s · 0% spreadQwen3.5-27B · siliconflow · 3 tok/s · 0% spreadQwen3 Coder 480B A35B · venice · 27 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · stepfun · 46 tok/s · 116% spreadDeepSeek V4 Pro 0423 · nebius · 40 tok/s · 49% spreadNemotron 3.5 Lightning · darkbloom · 5 tok/s · 0% spreadLlama 3.1 8B Instruct · cloudflare · 15 tok/s · 0% spreadQwen3 VL 235B A22B Instruct · parasail · 25 tok/s · 0% spreadQwen3.5-35B-A3B · atlascloud · 4 tok/s · 0% spreadGLM 4.6 · novita · 1 tok/s · 0% spreadQwen3 32B · siliconflow · 2 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · dekallm · 15 tok/s · 0% spreadGemma 4 31B · modal · 64 tok/s · 66% spreadGLM 5 · gmicloud · 13 tok/s · 0% spreadGranite 4.2 8B · deepinfra · 22 tok/s · 0% spreadStep 5 Preview · stepfun · 6 tok/s · 0% spreadDeepSeek V3 0324 · gmicloud · 17 tok/s · 0% spreadGLM 4.5V · zai · 3 tok/s · 0% spreadGLM 4.6V · novita · 2 tok/s · 0% spreadLlama 3 8B Lunaris · deepinfra · 58 tok/s · 0% spreadQwen3 14B · nextbit · 12 tok/s · 0% spreadLlama 3.2 3B Instruct · cloudflare · 69 tok/s · 0% spreadHy4 · tencent · 3 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · streamlake · 4 tok/s · 0% spreadRipple 65B Preview · gmicloud · 3 tok/s · 78% spreadDeepSeek V4.1 Flash 1017 · coreweave · 46 tok/s · 192% spreadQwen3.8 27B · nebius · 20 tok/s · 174% spreadGLM 5.2 · novita · 14 tok/s · 0% spreadMuse Spark Open · nebius · 37 tok/s · 0% spreadLing 3.0 Tiny · antdigital · 29 tok/s · 217% spreadDeepSeek V4 Pro 0813 · parasail · 11 tok/s · 88% spreadDeepSeek V4 Flash 0731 · morph · 8 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · crusoe · 38 tok/s · 155% spreadGLM 5.2 · siliconflow · 23 tok/s · 64% spreadQwen3.8 27B · tenstorrent · 22 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · baseten · 71 tok/s · 168% spreadDeepSeek V4 Flash 0731 · nebius · 3 tok/s · 0% spreadCommand A+ · cohere · 44 tok/s · 0% spreadLFM3-1.7B · liquid · 17 tok/s · 241% spreadMiniMax M2.5 · digitalocean · 4 tok/s · 0% spreadGLM 5.2 · together · 46 tok/s · 99% spreadMiMo-V2.6-Flash · tenstorrent · 22 tok/s · 135% spreadGemini Omni 1.1 Flash · google · 9 tok/s · 0% spreadMiniMax M2.7 · gmicloud · 6 tok/s · 0% spreadQwen3.5-9B · together · 7 tok/s · 0% spreadDeepSeek V3.1 · coreweave · 32 tok/s · 0% spreadQwen3.5-27B · novita · 4 tok/s · 0% spreadNemotron 3.5 Lightning · coreweave · 10 tok/s · 0% spreadMistral Nemo · parasail · 77 tok/s · 0% spreadLlama 3.1 8B Instruct · deepinfra · 21 tok/s · 0% spreadClaude Opus 4.8 · claudeonaws · 24 tok/s · 0% spreadQwen3.5-35B-A3B · venice · 11 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · primalabs · 13 tok/s · 0% spreadGLM 4.6 · zai · 2 tok/s · 0% spreadGLM 5 · baidu · 14 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · venice · 11 tok/s · 0% spreadQwen3.8 27B · darkbloom · 3 tok/s · 141% spreadGemma 3 12B · nextbit · 28 tok/s · 0% spreadDeepSeek V4.1 Flash 1017 · wafer · 85 tok/s · 85% spreadRipple 65B Preview · primeintellect · 33 tok/s · 18% spreadMuse Ember · meta · 43 tok/s · 139% spreadNex-N2.6 · nexagi · 12 tok/s · 165% spreadDeepSeek V4.1 Flash 1017 · river · 6 tok/s · 0% spreaddeepseek-v4.1-flash · river · 5 tok/s · 0% spreadRipple 65B Preview · together · 7 tok/s · 232% spreaddeepseek-v4.1-flash · primeintellect · 4 tok/s · 0% spreadMythoMax 13B · parasail · 55 tok/s · 0% spreadQwen3.8 27B · gmicloud · 18 tok/s · 157% spreadERNIE-5.5-Flash-Preview (free) · baidu · 96 tok/s · 0% spreadGemini 4 Carbon · google · 13 tok/s · 178% spreadNemotron 3 Ultra · kt · 22 tok/s · 0% spreadERNIE-Light-DT-1.0 · baidu · 28 tok/s · 123% spreadGemma 4 31B · kt · 92 tok/s · 0% spreadMi:dm K 3.0 Pro · kt · 57 tok/s · 118% spreadMotif 3 · kt · 43 tok/s · 142% spreadMiMo-V2.6-Pro · primalabs · 29 tok/s · 0% spreadGPT-5.4 Nano · openai · 47 tok/s · 0% spreadGPT-5.4 Mini · openai · 39 tok/s · 0% spreadGPT-5.4 · openai · 25 tok/s · 0% spreadGPT-5.5 · openai · 19 tok/s · 0% spreadGPT-4.1 Mini · openai · 54 tok/s · 0% spreadGPT-5.6 Terra · openai · 20 tok/s · 0% spreadGPT-5.1 · openai · 38 tok/s · 0% spreadGPT-4.1 · openai · 41 tok/s · 0% spreadGPT-4o-mini · openai · 36 tok/s · 0% spreadGPT-5.2 Pro · openai · 1 tok/s · 43% spreadKimi K3 · kt · 38 tok/s · 106% spreadDeepSeek V4.1 Flash 1017 · cloudflare · 43 tok/s · 0% spreadGPT-4.1 · azure · 41 tok/s · 0% spreadGPT-4.1 Mini · azure · 44 tok/s · 0% spreadGPT-4o · azure · 39 tok/s · 0% spreadGPT-4o-mini · azure · 37 tok/s · 0% spreadGPT-5 Mini · azure · 37 tok/s · 0% spreadGPT-5 · azure · 16 tok/s · 0% spreadGPT-5 Nano · azure · 58 tok/s · 0% spreadGPT-5.1 · azure · 32 tok/s · 0% spreadGPT-5.2 · azure · 27 tok/s · 0% spreadGPT-5.4 · azure · 40 tok/s · 0% spreadGPT-5.4 Mini · azure · 42 tok/s · 0% spreadGPT-5.3-Codex · azure · 29 tok/s · 0% spreadGPT-5.4 Nano · azure · 42 tok/s · 0% spreadGPT-5.5 · azure · 26 tok/s · 0% spreadGPT-5.6 Luna · azure · 26 tok/s · 0% spreadGPT-5.6 Terra · azure · 26 tok/s · 0% spreadGPT-5.6 Sol · azure · 21 tok/s · 0% spreadGLM 5.3 · sambanova · 54 tok/s · 0% spreadLing 3.1 Flash · novita · 31 tok/s · 0% spreadClaude Fable 5.2 · google · 8 tok/s · 59% spreadDeepSeek V4.1 Flash 1017 · alibaba · 38 tok/s · 0% spreaddeepseek-v4.1-flash · venice · 62 tok/s · 115% spreadGLM 5.3 FlashX · novita · 31 tok/s · 0% spreadGemini 4 Hydrogen · google · 22 tok/s · 113% spreadDeepSeek V4.1 Flash 1017 · atlascloud · 33 tok/s · 0% spreadGLM 5.3 · cohere · 42 tok/s · 86% spreadGLM 5.3 · doubleword · 47 tok/s · 52% spreadgpt-oss-120b · ionet · 36 tok/s · 0% spreadKimi K3 · nebius · 50 tok/s · 52% spreadMiniMax M2.5 · atlascloud · 7 tok/s · 0% spreadGLM 4.7 · novita · 16 tok/s · 0% spreadKimi K3 · river · 61 tok/s · 77% spreadQwen3.5-27B · chutes · 25 tok/s · 0% spreadGLM 5.3 · featherless · 68 tok/s · 0% spreadQwen3 30B A3B Instruct 2507 · dekallm · 48 tok/s · 0% spreadQwen3.5-35B-A3B · siliconflow · 35 tok/s · 0% spreadQwen3.6 27B · deepinfra · 39 tok/s · 0% spreadGLM 5 · siliconflow · 13 tok/s · 0% spreadDeepSeek V4 Pro 0813 · deepinfra · 28 tok/s · 113% spreadDeepSeek V4 Pro 0423 · deepinfra · 26 tok/s · 143% spreadgpt-oss-20b · deepinfra · 37 tok/s · 5% spreadDeepSeek V4 Flash 0423 · deepinfra · 20 tok/s · 96% spreadGLM 5.3 · deepinfra · 39 tok/s · 0% spreadQwen3 Coder 30B A3B Instruct · bedrock · 18 tok/s · 0% spreadGLM 5.3 · parasail · 131 tok/s · 0% spreadQwen4 Max · alibaba · 20 tok/s · 78% spreadMuse Spark Open · baseten · 70 tok/s · 0% spreadHy4 flash · tencent · 33 tok/s · 99% spreadQwen3.8 27B · siliconflow · 19 tok/s · 5% spreadDeepSeek V4.1 Flash 1017 · ambient · 41 tok/s · 0% spreadGPT-6.2 Sol · openai · 24 tok/s · 0% spreadGPT-6.2 Astra · openai · 13 tok/s · 0% spreadGPT-6.2 Astra Pro · openai · 12 tok/s · 0% spreadGPT-6.2 Sol Pro · openai · 36 tok/s · 52% spreadGPT-6.2 Sol · azure · 35 tok/s · 56% spreadGPT-6.2 Astra · azure · 20 tok/s · 51% spreadGPT-6.2 Astra Pro · azure · 18 tok/s · 38% spreadGPT-6.2 Sol Pro · azure · 58 tok/s · 43% spreadDeepSeek V4.1 Flash 1017 · antdigital · 29 tok/s · 0% spreadMuse Glimmer 30B · modelrun · 11 tok/s · 0% spreadKimi K3 · relace · 34 tok/s · 0% spreadQwen3.8 27B · deepinfra · 45 tok/s · 0% spread
mean tok/s →↑ spread %
  • steady ≤110% 511
  • variable 110–180% 127
  • unstable >180% 91
  • 7 above 436% drawn at the ceiling

By provider

legacy · not comparable
ProviderModelsMedianp90BestSpreadTTFT
aionlabs4821219%7.16
akashml4224444108%1.66
alibaba256385525%10.80
ambient22941410%0.68
antdigital22929290%1.68
anthropic1023333619%1.11
atlascloud167203315%9.42
azure412653845%1.33
baidu1119289635%3.32
baseten9568080113%0.93
bedrock20509510486%0.40
cerebras1898989217%0.89
chutes516303037%2.05
claudeonaws92427272%1.14
cloudflare1527556953%1.39
cohere1025515159%1.09
coreweave19335571131%2.69
crusoe9275555155%2.21
darkbloom7143939141%12.00
decart29767671%0.84
deepinfra6221387533%1.68
deepseek17770%8.25
dekallm916515142%4.28
digitalocean1118415066%2.82
doubleword147474752%0.87
featherless2168680%0.66
fireworks514242495%6.36
friendli356666688%0.85
gmicloud181119310%5.27
google2222738120%3.07
groq6611231230%0.88
inceptron21663630%0.79
inferencenet417888832%0.67
ionet736595982%1.00
ionstream217333398%1.01
kt5439292106%1.46
liquid217181885%3.51
makora424646491%1.58
mancer81443434%2.18
mara413373746%2.59
meta1434343139%1.89
minimax35550%14.20
mistral1549617914%0.85
modal428646466%2.07
modelrun41171710%2.03
moonshotai241818144%3.84
morph61848485%1.05
nearai3101818111%8.03
nebius1538548652%1.25
nexagi1121212165%6.05
nextbit62844440%0.75
novita32931570%5.87
openai182447540%1.62
openinference23990%7.80
parasail35285913133%0.97
particleai2202323151%3.18
perceptron21251514%1.00
perplexity330404011%1.80
phala86414117%7.02
primalabs21329290%1.96
primeintellect1432859081%0.95
reka41665650%3.05
relace9274545104%1.75
river3661610%10.40
sailresearch334484899%1.76
sakanaai1555117%10.80
sambanova525585863%2.64
sambanovaturbo1424242143%2.40
scaledown1333333168%0.95
siliconflow2913313530%2.85
stepfun2646460%1.66
streamlake14721232%11.30
tencent3433330%15.40
tenstorrent3222222134%3.21
together1223464769%2.11
unbiased22330%30.50
upstage23941411%0.77
venice3015396261%4.20
wafer9458585167%1.46
xai77393938%7.97
xiaomi314424236%3.25
zai9325250%20.60

Full results

legacy · not comparable729 models of 866 lanes · 89 folded behind their current lane
State
min·mean·max
Trend

Throughput over time · shared scale

legacy · not comparable

Method. A cron job calls each model's live API endpoint on a schedule and records what came back. Mean, min and max are over completed samples in the selected window, and n is how many there were. A missing value means the endpoint returned an error or the model was not yet in the catalogue.

Lanes. A lane is one way of reaching a model: a provider, a catalogue id and a transport (a direct key, or served through OpenRouter). Since 2026-08-16 most measurement runs through OpenRouter; the direct lanes it replaced are retired, not deleted. By default the page shows live lanes and one row per model at each provider, spoken for by the lane measured most recently; All shows every lane in the window, retired ones tagged off.

Spread is (max − min) ÷ mean, so it measures run-to-run variation rather than absolute speed. TTFT is seconds to the first visible token; runs that emit only reasoning tokens are left out of that average. Mean counts visible output tokens where a provider reports them and falls back to generated throughput where it does not, which is why Gen is higher for models that think before answering. Decode is the generation rate once tokens are flowing, with time to first token and reasoning excluded; only streams that deliver a few tokens per chunk can carry it, so a dash means the stream was too coarse to time.