Data Panda brengt je bedrijfsdata samen in één warehouse en stuurt ze door naar GroqCloud voor inference. Llama, Mistral, GPT-OSS, Qwen en Whisper draaien op de eigen LPU-chip van Groq aan honderden tokens per seconde, zodat batchclassificatie, RAG en agent-loops klaar zijn voor de gebruiker doorheeft dat ze gestart zijn.
Groq werd in 2016 opgericht in Mountain View, Californië, door Jonathan Ross, die bij Google de oorspronkelijke Tensor Processing Unit ontwierp voor hij het bedrijf startte. De architectuur begon haar leven als de Tensor Streaming Processor en werd omgedoopt tot LPU (Language Processing Unit) toen grote taalmodellen de workload overnamen. De hoofdzetel zit in Mountain View, met kantoren in San Jose, Liberty Lake, Toronto en Londen. Voor de duidelijkheid: Groq, het inference-bedrijf, is niet hetzelfde als Grok, de chatbot van xAI; de namen klinken gelijk, de producten staan los van elkaar.
Het product is GroqCloud, een pay-per-token-API die open-weight modellen host op LPU-hardware in plaats van op GPU's. De huidige line-up telt Llama 3.1 8B Instant aan ongeveer 560 tokens per seconde, Llama 3.3 70B Versatile aan ongeveer 280, Llama 4 Scout 17B in preview aan ongeveer 750, GPT-OSS 120B en 20B van OpenAI aan respectievelijk 500 en 1000, Qwen3-32B aan ongeveer 400, plus Whisper Large V3 en V3 Turbo voor spraakherkenning. Groq Compound bundelt een model met ingebouwde tools (web search, code execution) aan ongeveer 450 tokens per seconde voor agent-workloads. De LPU is single-architecture, deterministisch en uitsluitend voor inference gebouwd, en daar komen de doorgaans geciteerde tokens-per-seconde-cijfers vandaan. Het bedrijf licentieerde zijn inference-technologie eind 2025 aan Nvidia, waarbij Jonathan Ross overstapte om de inference-tak van Nvidia te leiden.
Tokens per seconde, end-to-end-latency en spend per workflow bovenop GroqCloud, gekoppeld aan de warehouse-inhoud die de prompts lezen.
Stuur Groq-output rechtstreeks naar de systemen waar het werk gebeurt, terwijl de gebruiker nog op de pagina staat.
Open-weight modellen op LPU lezen wat in het warehouse staat, beslissen en antwoorden snel genoeg om een mens in de loop te houden.
Interne tools die op warehouse-data zitten en Groq aanspreken voor het taalwerk zonder de gebruiker te laten wachten.
Een lijst van concrete rapporten, automatisaties en AI-toepassingen die we op Groq-data hebben gebouwd. Kies er een die bij je situatie past.
Zijn onze agent-loops snel genoeg om een gebruiker op de pagina te houden?
End-to-end-latency per agent-taak gesplitst in modeltijd, tool-call-tijd en warehouse-fetch-tijd, met de tokens-per-seconde-curve per call eronder. Vangt de agent die na een release een extra retrieval-stap opnam en nu tussen elk Groq-antwoord drie seconden in tool-calls zit, zodat de snelheidswinst op de LPU aan de orkestratiekant opgegeten wordt in plaats van door het model.
Welk model op Groq is het juiste voor deze workflow?
Tokens per seconde, output-tokenspend en kwaliteitsfeedback per model en per workflow naast elkaar. Toont de support-bot-workflow die prima draait op Llama 3.1 8B aan 560 tokens per seconde en de contract-analyse-workflow die Llama 3.3 70B aan 280 tokens per seconde nodig heeft om zijn antwoordkwaliteit te halen, zodat de keuze geen buikgevoel meer is.
Levert het snelheidsvoordeel iets op dat het bedrijf merkt?
Tijd-tot-antwoord per gebruikersgerichte workflow voor en na de overstap naar Groq, gekoppeld aan de engagement-meetwaarde van die workflow (ticket-time-to-first-response, deal-update-latency, zoekabandonnement). Brengt de workflows naar boven waar vier seconden sneller een feature die mensen verdroegen verandert in een die ze ook echt gebruiken, en de workflows waar snelheid nooit het knelpunt was.
Tokenspend per Groq-endpoint, per workflow en per business unit, gekoppeld aan het meetbare resultaat van die workflow. Snelheid op zich is geen P&L-lijn; snelheid plus de uitgespaarde supporttijd of geleverde offertes is dat wel.
Real-time deal-voorbereidings- en gespreksamenvattings-copilot op Whisper plus Llama 3.3 70B die de briefing klaarmaakt vóór de volgende meeting start. Account managers verschijnen niet langer met notities van vorig kwartaal omdat het warehouse de actuele net op tijd aanleverde.
Tokens per seconde, end-to-end-latency en antwoord-feedback per workflow op één scherm, dagelijks ververst. De Groq-pipeline wordt gevolgd als een curve, niet pas opgemerkt de ochtend dat een deploy een retrieval-stap toevoegde die het snelheidsvoordeel opat.
Je houdt de rapporteringstool die je al hebt. Wij koppelen hem aan het warehouse waar je Groq-data staat.
OAuth-authenticatie. Standaard read-only. Wij tekenen een DPA en je admin houdt de sleutels.
Data stroomt naar je warehouse op het schema dat jij kiest. Bijna real-time of 's nachts, aan jou. Jij bent eigenaar.
We bouwen het eerste dashboard, de eerste workflow of AI-toepassing samen met jou, en geven de sleutels over. Of we blijven erbij voor doorlopende levering.
Wij zetten de basis op. Jouw team bouwt erop verder.
Beste match Teams die al een BI-analist of data engineer in huis hebben en zelf willen bouwen.
Wij bouwen het geheel, van A tot Z.
Beste match Teams zonder BI- of dev-capaciteit in huis. Jij zegt wat je nodig hebt en wij leveren het.
Jij. Ze komt in jouw warehouse terecht, op jouw cloud-account. Wij verkopen ze niet door en aggregeren ze niet. Stop je met ons, dan blijft het warehouse van jou en blijft het draaien.
Bijna real-time voor de meeste operationele systemen. Voor zwaardere bronnen plannen we per uur of per nacht. Je kiest op basis van wat de rapporten nodig hebben.
Nee. Heb je er geen, dan helpen we je er een kiezen en zetten we het op als deel van de eerste levering. Gangbare startpunten zijn Snowflake, Microsoft Fabric of een kleine Postgres-start.
Nee. Groq (met een q) is het AI-inference-bedrijf dat in 2016 door Jonathan Ross werd opgericht en de LPU-chip bouwt en GroqCloud uitbaat. Grok (met een k) is een chatbotproduct van xAI, het bedrijf van Elon Musk. De namen klinken gelijk, de producten staan los van elkaar, en Groq bestond al meerdere jaren voor de Grok-chatbot.
De LPU (Language Processing Unit) is custom silicon dat Groq specifiek voor LLM-inference ontwierp. De architectuur werd oorspronkelijk geïntroduceerd als de Tensor Streaming Processor en kreeg de naam LPU toen grote taalmodellen de workload overnamen. Het ontwerp is single-architecture en deterministisch, zonder de geheugenhiërarchie van een GPU, en dat is waar de doorgaans geciteerde tokens-per-seconde-cijfers van GroqCloud op modellen zoals Llama 3.3 70B vandaan komen. Praktisch gezien is de LPU enkel voor inference gebouwd; training gebeurt nog steeds op GPU-clusters elders.
Productiemodellen zijn onder meer Llama 3.1 8B Instant (ongeveer 560 tokens per seconde), Llama 3.3 70B Versatile (ongeveer 280), GPT-OSS 120B en 20B van OpenAI (ongeveer 500 en 1000) en Qwen3-32B (ongeveer 400). Llama 4 Scout 17B zit in preview aan ongeveer 750 tokens per seconde. Whisper Large V3 en V3 Turbo dekken spraakherkenning. Groq Compound bundelt een model met ingebouwde web search en code execution aan ongeveer 450 tokens per seconde voor agent-workloads. De catalogus beweegt; actuele snelheden en beschikbaarheid staan op console.groq.com/docs/models.
Groq is geen vervanger voor de gesloten frontier-modellen op elke taak. De fit zit bij de workloads waar snelheid en open-weight-toegang meer wegen dan het absolute top-of-the-leaderboard-antwoord: bulkclassificatie, real-time agent-loops, RAG met lang-context-Llama of -Qwen, codevoorstellen in een IDE, real-time meeting-transcriptie met Whisper. Veel teams houden een frontier-provider voor het zwaarste open generatiewerk en sturen het hoog-volume of latency-gevoelige werk naar Groq, met het warehouse dat rapporteert welke workflow op welke provider draait en waarom.
We bekijken je Groq-opzet en de systemen eromheen. Samen kiezen we wat we als eerste bouwen.