Percebeu essa estratégia bem interessante da NVIDIA? Eles adquiriram o negócio de chips de inferência da Groq por 200 bilhões de dólares, e agora começa a fazer muito mais sentido por que fizeram isso.

O que chamou minha atenção foi a explicação do Huang Renxun sobre a lógica por trás dessa aquisição. Basicamente, o mercado de inferência está se segmentando. Antes, todo mundo estava focado em uma coisa só: aumentar o throughput. Mas aí o valor comercial dos tokens mudou bastante, e diferentes usuários estão dispostos a pagar preços diferentes dependendo da velocidade de resposta.

É tipo assim: se eu consigo fornecer respostas mais rápidas aos engenheiros, permitindo que eles trabalhem com mais eficiência, eles vão estar dispostos a pagar mais por isso. E essa demanda por baixa latência é relativamente nova no mercado.

Aí entra a Groq. A arquitetura LPU deles é conhecida justamente pela latência determinística baixa, o que complementa perfeitamente a abordagem de alto throughput das GPUs da NVIDIA. Quando lançaram o Groq 3 LPU em 4nm, mostraram que a capacidade de inferência por megawatt em modelos de trilhões de parâmetros é 35 vezes superior ao Blackwell NVL72. Isso não é pouco.

Ou seja, a NVIDIA preencheu uma lacuna importante na sua linha de produtos. Agora eles cobrem tanto o segmento de alto throughput quanto o de baixa latência e alto valor unitário. Pareto expansion, como alguns chamam. Mesmo modelo, preços diferentes conforme o tempo de resposta. Throughput menor, mas o preço unitário compensa.

Essa é a estratégia: não é competição, é complementação. E faz bastante sentido considerando como o mercado de IA está evoluindo.