Data Panda haalt records uit je CRM, ERP, webshop, productsystemen en logbronnen en zet ze op een vast schema in Elasticsearch. Eens alles in één cluster zit, lezen je zoekervaringen, je Kibana-dashboards en je vector-queries indices die met de rest van de zaak overeenstemmen, in plaats van dat elke app zijn eigen crawler stuurt.
Elasticsearch is in 2010 gestart door Shay Banon, gebouwd op de Apache Lucene-zoekbibliotheek en aangeboden via een JSON-over-HTTP-API. Het bedrijf erachter, Elastic NV, ging in oktober 2018 naar de NYSE onder het ticker $ESTC en heeft zijn hoofdkantoor in Mountain View. De engine is de kern van de Elastic Stack, waar Logstash en Beats de ingest verzorgen en Kibana de UI, de combinatie die de meesten nog steeds ELK noemen.
Binnen het cluster zit data in indices, die opgesplitst worden in shards en gekopieerd in replicas over de nodes. Documenten zijn JSON, mappings bepalen hoe velden geanalyseerd worden, en de Query DSL dekt alles van een eenvoudige match tot fuzzy-, geo- en nested-queries. Aggregations maken van diezelfde indices een analytics-laag voor log-, metric- en event-data, en dat is de reden waarom de ELK-stack voor een hele generatie engineering-teams het standaard observability-patroon werd. Sinds 8.x maken dense-vector-velden en een kNN search-API van Elasticsearch ook een geloofwaardige opslag voor semantic en hybrid search naast BM25. De licentiekwestie om te kennen: in 2021 stapte Elastic van Apache 2.0 over naar een duale SSPL plus Elastic License v2, wat AWS deed forken als OpenSearch, en in 2024 voegde Elastic AGPLv3 als derde optie toe om de broncode opnieuw open-source te maken onder OSI-voorwaarden. Wij behandelen het cluster als bestemming, landen de data op een ritme dat het cluster aankan, en stemmen mappings en shards af op de werklast in plaats van op de default.
Kibana-dashboards lezen indices die met de rest van de zaak overeenstemmen, niet een neven-kopie ervan.
Operationele records landen in Elasticsearch op een schema dat het cluster aankan zonder queue-achterstand.
Dense vectors staan naast tekstvelden, zodat hybrid retrieval op dezelfde indices draait als een zoekvenster.
Interne apps, klantportalen en backoffice-tools bevragen één Elasticsearch-cluster in plaats van drie.
Een lijst van concrete rapporten, automatisaties en AI-toepassingen die we op Elasticsearch-data hebben gebouwd. Kies er een die bij je situatie past.
Waarom is ons Elasticsearch-cluster traag, ook al voegen we nodes toe?
Bijna altijd shard-sizing of mapping. Default mappings analyseren vaak velden die niemand bevraagt en maken duizenden kleine shards die heap vasthouden. Mappings nakijken tegen de echte queries, shards consolideren richting de aanbevolen grootte en een ILM-policy op time-series-indices zetten geeft meestal meer ruimte dan een grotere node.
Draaien we Elasticsearch zelf, gaan we naar Elastic Cloud of stappen we naar OpenSearch?
Self-hosted past bij teams met platform-engineering-capaciteit en een residency-argument om het cluster op eigen infrastructuur te houden. Elastic Cloud neemt de ops-kost weg en volgt nieuwe releases het snelst. OpenSearch is een optie als AWS-lock-in en het AGPL/SSPL-gesprek zwaarder weegt dan de nieuwste Elastic-features. De meeste BE/NL-klanten kiezen op basis van residency, ops-appetijt en welke AI-roadmap ze willen volgen.
Kunnen we Elasticsearch als retrieval-laag voor RAG of AI-zoek inzetten?
Ja, en het hybride verhaal is een van de sterkere argumenten. Dense-vector-velden met kNN search staan naast BM25 in dezelfde index, dus RAG en AI-zoek geven resultaten terug die al door dezelfde filters zijn als de keyword-query. Wij zorgen dat embeddings in pas verversen met de bronrecords, zodat het model dezelfde versie van het record leest als de zaak.
Finance krijgt een stabiele kijk op cluster-spend per index-familie, zodat observability, app-search en AI-retrieval elk hun eigen kostlijn dragen. Tier-overgangen en shard-opkuis komen in de factuur in plaats van in verrassings-overage.
Sales en klant-facing teams krijgen één zoekbalk die product-, klant- en ticket-records op dezelfde ranking teruggeeft. Catalogus-zoek op de webshop, interne lookup in de backoffice en de support agent-view lezen dezelfde indices.
Platform- en SRE-leads volgen shard-count, heap-druk, refresh interval en ILM-overgangen in één Kibana-view. Elasticsearch is niet langer het cluster dat niemand begrijpt, maar een geschaald, getiered systeem met een gekende kost per index.
Dit zijn de 1 tabellen die we vandaag uit Elasticsearch naar je warehouse halen. Je bevraagt ze rechtstreeks in SQL, koppelt ze aan de rest van je stack, of bouwt er rapporten op.
Mis je een tabel? We kunnen de sync uitbreiden. Laat ons weten wat je mist en we bouwen het erbij.
Je houdt de rapporteringstool die je al hebt. Wij koppelen hem aan het warehouse waar je Elasticsearch-data staat.
OAuth-authenticatie. Standaard read-only. Wij tekenen een DPA en je admin houdt de sleutels.
Data stroomt naar je warehouse op het schema dat jij kiest. Bijna real-time of 's nachts, aan jou. Jij bent eigenaar.
We bouwen het eerste dashboard, de eerste workflow of AI-toepassing samen met jou, en geven de sleutels over. Of we blijven erbij voor doorlopende levering.
Wij zetten de basis op. Jouw team bouwt erop verder.
Beste match Teams die al een BI-analist of data engineer in huis hebben en zelf willen bouwen.
Wij bouwen het geheel, van A tot Z.
Beste match Teams zonder BI- of dev-capaciteit in huis. Jij zegt wat je nodig hebt en wij leveren het.
Jij. Ze komt in jouw warehouse terecht, op jouw cloud-account. Wij verkopen ze niet door en aggregeren ze niet. Stop je met ons, dan blijft het warehouse van jou en blijft het draaien.
Bijna real-time voor de meeste operationele systemen. Voor zwaardere bronnen plannen we per uur of per nacht. Je kiest op basis van wat de rapporten nodig hebben.
Nee. Heb je er geen, dan helpen we je er een kiezen en zetten we het op als deel van de eerste levering. Gangbare startpunten zijn Snowflake, Microsoft Fabric of een kleine Postgres-start.
Wij sturen shards richting de praktische 10 tot 50 GB die Elastic zelf aanbeveelt, consolideren de kleine en zetten een ILM-policy op time-series-indices zodat oude data tijdig naar warm of cold tiers gaat. Mappings worden nagekeken tegen de queries die echt draaien, zodat analysers en stored fields niet voor niets meelopen. De meeste clusters die al een jaar of twee groeien zien de heap-druk in de eerste opkuiscyclus zakken, zonder dat er een node bij komt.
Beide zijn geloofwaardig. Elasticsearch onder SSPL of AGPLv3 houdt je op de engine die Elastic eerst uitbrengt, met de nieuwste vector- en AI-search-features. OpenSearch onder Apache 2.0 past bij teams die het AWS-managed pad willen of die een aankoopreden hebben om bij een OSI-achtige permissive licentie te blijven. Wij hebben klanten op beide, en de migratie in elke richting is haalbaar als je de indices en ingest van bij het begin behoorlijk hebt gevormd.
Voor de meeste BE/NL-werklasten lukt dat. Dense-vector-velden met de kNN search-API laten je embeddings naast tekst opslaan en hybrid queries in één round trip draaien. Een aparte vector-database verdient zijn plaats wanneer indices richting miljarden vectoren gaan met heel strakke latency-budgetten. Daaronder wint de operationele winst van één cluster, één auth-model en één Kibana meestal.
We bekijken je Elasticsearch-opzet en de systemen eromheen. Samen kiezen we wat we als eerste bouwen.