overclock benchmark
Benchmark dos Vibecoders
Não toleramos número inflado pra ganhar benchmark. Aqui cada modelo roda a mesma bateria de pedidos reais de vibe coding — verbatim, com custo em dinheiro de verdade — e o veredito é simples: entregou, entregou com defeitos ou quebrou. Sem nota abstrata, sem cherry-picking.
trilha 01
Benchmark
prompt único, one-shot — a mesma tarefa, verbatim, pra cada modelo
3D interativoclone de sitefísica/canvasjogo 3D
4 testestrilha 02
Dia a dia
atividades reais do dia a dia do vibe coder
debugfeature em código existenteCSS responsivocode reviewdados
5 testestrilha 03
Harness com Squad
squad barato bem orquestrado bate modelo caro? Haiku + Sonnet orquestrados contra o frontier solo
squads recomendados →Placar por modelo
posição no ranking sai do julgamento cego — sem veredito, sem número. A ordem abaixo é a ordem de inscrição da bateria.
| # | Modelo | Preço 1M in/out | Runs | Vereditos | Tokens out | Custo medido |
|---|---|---|---|---|---|---|
| — | Sonnet 5Anthropic | $2 / $10preço promocional até 31/08/2026 (depois $3/$15) | 9/9 | ✅6 ⚠️3 ❌0 | 106.539 | $3,22em 9 de 9 runs |
| — | Sonnet 4.6Anthropic | $3 / $15 | 9/9 | ✅7 ⚠️2 ❌0 | 150.684 | $3,49em 9 de 9 runs |
| — | Opus 4.8Anthropic | $5 / $25 | 9/9 | ✅7 ⚠️2 ❌0 | 81.830 | $3,86em 9 de 9 runs |
| — | Fable 5Anthropic | $10 / $50 | 9/9 | ✅8 ⚠️1 ❌0 | 85.394 | $7,43em 9 de 9 runs |
| — | GPT-5.6 LunaOpenAI | $1 / $6 | 9/9 | ✅6 ⚠️3 ❌0 | 123.277 | $1,20em 9 de 9 runs |
| — | GPT-5.6 TerraOpenAI | $2,50 / $15 | 9/9 | ✅7 ⚠️2 ❌0 | 136.433 | $6,22em 9 de 9 runs |
| — | GPT-5.6 SolOpenAI | $5 / $30 | 9/9 | ✅6 ⚠️3 ❌0 | 186.694 | $14,50em 9 de 9 runs |
| — | Grok 4.5xAI | $2 / $6 | 9/9 | ✅8 ⚠️1 ❌0 | 73.411 | $1,40em 9 de 9 runs |
| — | Haiku 4.5Anthropic | $1 / $5 | 9/9 | ✅6 ⚠️1 ❌2 | 37.741 | $0,53em 9 de 9 runs |
| — | GPT-5.5OpenAI | $5 / $30 | 9/9 | ✅5 ⚠️4 ❌0 | 151.269 | $13,40em 9 de 9 runs |
| — | GPT-5.4OpenAI | $2,50 / $15 | 9/9 | ✅6 ⚠️3 ❌0 | 121.958 | $3,64em 9 de 9 runs |
| — | GPT-5.4 MiniOpenAI | $0,75 / $4,50 | 9/9 | ✅7 ⚠️1 ❌1 | 189.796 | $1,23em 9 de 9 runs |
| — | GPT-5.3 Codex SparkOpenAI | $1,75 / $14 | 8/9 | ✅6 ⚠️1 ❌1 | 51.402 | $0,95em 8 de 8 runs |
| — | Grok Composer 2.5 FastxAI | $0,50 / $2,50 | 9/9 | ✅7 ⚠️2 ❌0 | 56.510 | $0,28em 9 de 9 runs |
| — | GLM 5.2Zhipu | $1,40 / $4,40 | 9/9 | ✅6 ⚠️3 ❌0 | 106.605 | $1,21em 9 de 9 runs |
| — | GLM 5 TurboZhipu | $1,20 / $4 | 9/9 | ✅7 ⚠️1 ❌1 | 56.990 | $0,56em 9 de 9 runs |
| — | Gemini 3.5 FlashGoogle | $1,50 / $9 | 9/9 | ✅6 ⚠️2 ❌1 | 79.106 | $0,71em 9 de 9 runs |
Custo por teste
Cada célula é o custo medido do run daquele modelo naquele teste. Ponto (·) = run feito, custo ainda não medido; travessão (—) = sem run.
| Modelo | 001sistema-solar-3d | 002site-apple | 003fisica-mouse | 004fps | 101caca-bug | 103feature-alheia | 104css-mobile | 105revisar-codigo | 108dado-sujo |
|---|---|---|---|---|---|---|---|---|---|
| Sonnet 5 | $0,25 | $0,22 | $0,18 | $0,28 | $0,18 | $0,18 | $1,28 | $0,25 | $0,40 |
| Sonnet 4.6 | $0,69 | $0,92 | $0,13 | $0,82 | $0,12 | $0,11 | $0,10 | $0,18 | $0,42 |
| Opus 4.8 | $0,48 | $0,67 | $0,29 | $0,59 | $0,30 | $0,20 | $0,25 | $0,34 | $0,75 |
| Fable 5 | $0,78 | $0,94 | $0,59 | $2,11 | $0,31 | $0,49 | $0,70 | $0,69 | $0,83 |
| GPT-5.6 Luna | $0,31 | $0,22 | $0,13 | $0,25 | $0,02 | $0,03 | $0,04 | $0,09 | $0,11 |
| GPT-5.6 Terra | $1,65 | $0,91 | $0,63 | $2,43 | $0,04 | $0,07 | $0,09 | $0,13 | $0,27 |
| GPT-5.6 Sol | $4,02 | $3,99 | $2,12 | $3,15 | $0,08 | $0,11 | $0,18 | $0,30 | $0,56 |
| Grok 4.5 | $0,20 | $0,18 | $0,20 | $0,20 | $0,10 | $0,09 | $0,10 | $0,11 | $0,24 |
| Haiku 4.5 | $0,06 | $0,07 | $0,04 | $0,06 | $0,05 | $0,06 | $0,03 | $0,07 | $0,10 |
| GPT-5.5 | $3,29 | $1,15 | $0,79 | $6,13 | $0,17 | $0,20 | $0,77 | $0,30 | $0,59 |
| GPT-5.4 | $0,98 | $0,32 | $0,30 | $0,77 | $0,11 | $0,10 | $0,43 | $0,13 | $0,51 |
| GPT-5.4 Mini | $0,38 | $0,22 | $0,16 | $0,03 | $0,03 | $0,05 | $0,11 | $0,09 | $0,17 |
| GPT-5.3 Codex Spark | $0,20 | $0,19 | $0,17 | — | $0,04 | $0,06 | $0,05 | $0,08 | $0,16 |
| Grok Composer 2.5 Fast | $0,04 | $0,05 | $0,02 | $0,04 | $0,01 | $0,02 | $0,02 | $0,02 | $0,07 |
| GLM 5.2 | $0,11 | $0,10 | $0,14 | $0,19 | $0,04 | $0,09 | $0,08 | $0,09 | $0,37 |
| GLM 5 Turbo | $0,11 | $0,09 | $0,04 | $0,07 | $0,03 | $0,03 | $0,04 | $0,05 | $0,10 |
| Gemini 3.5 Flash | $0,15est | $0,11est | $0,11est | $0,18est | $0,01est | $0,02est | $0,01est | $0,03est | $0,10est |
A bateria
Nada de benchmark de engenheiro. São pedidos que um vibe coder faz de verdade:
| Teste | Pedido | Trilha | Categoria | Slug | Runs | |
|---|---|---|---|---|---|---|
| 001 | “Quero um app 3D interativo” | Benchmark | 3D interativo | sistema-solar-3d | 17 runs | ver o duelo → |
| 002 | “Clona esse site” | Benchmark | clone de site | site-apple | 17 runs | ver o duelo → |
| 003 | “Brinquedo de física” | Benchmark | física/canvas | fisica-mouse | 17 runs | ver o duelo → |
| 004 | “Faz um jogo” | Benchmark | jogo 3D | fps | 16 runs | ver o duelo → |
| 101 | “Acha esse bug pra mim” | Dia a dia | debug | caca-bug | 17 runs | ver o duelo → |
| 103 | “Adiciona um filtro no meu app” | Dia a dia | feature em código existente | feature-alheia | 17 runs | ver o duelo → |
| 104 | “Conserta o mobile sem mexer no desktop” | Dia a dia | CSS responsivo | css-mobile | 17 runs | ver o duelo → |
| 105 | “Revisa esse código antes de eu subir” | Dia a dia | code review | revisar-codigo | 17 runs | ver o duelo → |
| 108 | “Gera um relatório desse CSV zoado” | Dia a dia | dados | dado-sujo | 17 runs | ver o duelo → |