Message queue

Wat is een message queue?

Een message queue is een wachtrij voor berichten tussen systemen. Het ene systeem zet een bericht in de queue, het andere haalt het eruit wanneer het klaar is om te verwerken.

Dat lijkt simpel, maar het lost een groot integratieprobleem op. De verzender en ontvanger hoeven niet tegelijk beschikbaar te zijn. Als het ERP even traag is, blijven orders in de queue staan in plaats van verloren te gaan.

Een message queue is de buffer tussen "er gebeurt iets" en "het volgende systeem kan het verwerken".

Wanneer gebruik je een message queue?

• Bij pieken
  Een webshop krijgt veel orders tegelijk, maar het ERP kan ze rustiger verwerken.

• Bij onbetrouwbare verbindingen
  Berichten blijven bewaard tot de ontvanger terug beschikbaar is.

• Bij lange verwerking
  Een gebruiker hoeft niet te wachten tot alle achtergrondtaken klaar zijn.

• Bij meerdere consumers
  Verschillende processen kunnen op hetzelfde soort bericht reageren.

Hoe werkt een queue?

Een producer schrijft een bericht naar de queue. Een consumer leest het bericht, verwerkt het en bevestigt daarna dat het weg mag. Als de verwerking faalt, kan het bericht opnieuw aangeboden worden.

Veel queues werken met visibility timeouts of locks. Zolang een consumer het bericht verwerkt, ziet niemand anders het. Komt er geen bevestiging, dan verschijnt het bericht opnieuw.

Na te veel mislukkingen kan een bericht naar een dead-letter queue verhuizen. Zo blokkeert één probleemgeval niet de hele stroom.

Queue versus stream

Een queue is meestal gericht op werkverdeling: één bericht wordt door één consumer verwerkt. Een stream bewaart een reeks gebeurtenissen waar meerdere consumers onafhankelijk doorheen kunnen lezen.

Voor "verwerk deze order" past een queue goed. Voor "analyseer alle klik-events in volgorde" past een stream beter.

Waar moet je op letten bij queues?

Berichten kunnen dubbel komen
Ontwerp consumers idempotent. Twee keer hetzelfde bericht mag geen dubbele factuur maken.

Volg wachttijd op
Een queue kan groeien terwijl alles technisch "werkt". Meet hoe oud het oudste bericht is.

Kies wat in het bericht zit
Stuur je alle data mee, of alleen een ID waarmee de consumer details ophaalt? Beide keuzes hebben gevolgen.

FAQ over message queues

1. Is een queue nodig voor elke koppeling?
Nee. Voor simpele vraag-antwoord API's kan directe communicatie volstaan. Queues helpen vooral bij pieken, fouten en achtergrondwerk.

2. Maakt een queue alles trager?
Ze voegt een stap toe, maar maakt processen vaak betrouwbaarder. Voor veel backofficewerk is dat belangrijker dan milliseconden.