Work queue

Wat is een work queue?

Een work queue is een beheerde verzameling afzonderlijke werkitems die door een automatisering worden opgehaald en verwerkt. Ieder item stelt een businessopdracht voor, zoals één factuur, claim of klantmutatie.

De queue scheidt aanbod van uitvoering. Producenten kunnen werk toevoegen terwijl één of meer runners op hun eigen tempo items claimen.

Status, prioriteit, pogingenteller en exceptiongegevens maken zichtbaar wat wacht, actief is, slaagt of handmatige aandacht vraagt.

Werkitem en payload

Een item heeft een unieke sleutel en de minimale gegevens om het werk te vinden of uit te voeren. Grote documenten en gevoelige payloads worden vaak via een beveiligde referentie gekoppeld.

Gebruik een businesssleutel om duplicaten te herkennen, bijvoorbeeld leverancier plus factuurnummer. De queue-ID alleen voorkomt niet dat dezelfde opdracht tweemaal wordt toegevoegd.

Leg bron, aanmaaktijd, deadline en eventueel prioriteit vast. Vermijd vrije payloads zonder versie of schema.

Lifecycle van een item

Een nieuw item staat in de wachtrij. Een runner claimt of lease't het item, waarna het in verwerking gaat.

Bij succes wordt het item voltooid met resultaatreferentie. Bij een tijdelijke technische fout kan een gecontroleerde retry volgen. Een business exception gaat naar review of een aparte status.

Een lease voorkomt dat twee runners tegelijk hetzelfde item verwerken. Bij een gecrashte runner moet de lease na een veilige termijn kunnen verlopen.

Technische fout versus business exception

Een time-out, tijdelijk onbereikbare applicatie of vergrendelde sessie is doorgaans technisch. Retry kan zinvol zijn.

Een onbekende leverancier, ontbrekende goedkeuring of inhoudelijk afgewezen aanvraag verandert niet door dezelfde stap opnieuw uit te voeren. Dat is een business exception.

Classificeer fouten expliciet. Een eindeloze retry op ongeldige data blokkeert capaciteit en verbergt werk dat een beslissing vraagt.

Voorbeeld: factuurqueue

Elke ontvangen factuur wordt na duplicatecontrole één item. De payload verwijst naar document en leverancier en bevat een deadline.

Runners verwerken items met hogere betalingsurgentie eerst. Een transient ERP-fout krijgt maximaal drie pogingen met backoff. Een ontbrekende bestelbon gaat naar de inkoopqueue.

Na boeking bewaart het item de ERP-referentie. Een retry controleert die referentie en businesssleutel voordat hij een nieuwe boeking probeert.

Work queue versus run queue

Een work queue bevat businessitems. Een desktop-flow run queue bevat uitvoeringsaanvragen die op een beschikbare machine of sessie wachten.

Eén desktopflowrun kan meerdere work items verwerken. Omgekeerd kan ieder item ook een aparte run starten, maar dat heeft overhead en andere foutsemantiek.

Monitor beide lagen afzonderlijk. Een lege machinequeue betekent niet dat alle facturen verwerkt zijn.

Work queue versus message queue

Een message queue transporteert berichten tussen systemen en biedt deliverysemantiek zoals at-least-once. Een work queue voegt vaak businessstatus, handmatige review en operationele zoekmogelijkheden toe.

Een bericht kan een work item creëren. De technologieën kunnen op dezelfde broker steunen, maar hun contract en beheerdoel verschillen.

Veronderstel bij at-least-oncelevering dat een bericht of item opnieuw kan verschijnen. Ontwerp consumers idempotent.

Prioriteit en fairness

Prioriteit helpt deadlines en risico sturen. Zonder grenzen kan continu spoedwerk gewone items laten verhongeren.

Combineer prioriteit met leeftijd, service level en capaciteit. Leg vast wie prioriteit mag verhogen en waarom.

Meet wachttijd per klasse, niet alleen gemiddeld. Een kleine groep oude items kan achter een goed gemiddelde verdwijnen.

Monitoring en beheer

Volg instroom, backlog, leeftijd, verwerkingstijd, succes, retries en exceptionredenen. Alarmeer op groei en items zonder voortgang.

Beperk toegang tot payload en herverwerking. Een handmatige retry kan een financiële actie opnieuw uitvoeren.

Definieer retentie en verwijdering voor voltooide items. De queue is een operationeel systeem, geen onbeperkt data-archief.