OneLake-snelkoppeling (OneLake shortcut)

Wat is een OneLake-snelkoppeling?

Een OneLake-snelkoppeling is een verwijzing naar data die ergens anders staat. In je lakehouse of KQL-database zie je een mapje alsof de data lokaal is, maar de bestanden zelf blijven in de oorspronkelijke opslag: in een andere werkruimte, in een ADLS Gen2-account, in een S3-bucket, in Dataverse, of op een on-premises bron via de Fabric-gateway.

Technisch werkt het als een symlink in een bestandssysteem. OneLake onthoudt waar de data echt staat, vraagt ze bij elke lees-actie op en legt ze zonodig even in de cache. Je kopieert niks, je verbruikt geen dubbele opslag en je hoeft geen ETL-job op te zetten om de data in OneLake te trekken.

Je kan een snelkoppeling vergelijken met een bladwijzer in een bibliotheek. Het boek staat nog steeds in zijn eigen kast, misschien zelfs in een andere bibliotheek, maar je kan vanaf je werkplek rechtstreeks erin lezen.

Waarvoor is een snelkoppeling gemaakt?

Het lakehouse-model van Fabric staat of valt met het idee van één logische opslagplaats. In de praktijk ligt bedrijfsdata verspreid: verkoopdata in Dataverse, productlogs in een S3-bucket van het engineering-team, externe datasets bij een partner in ADLS Gen2, operationele data in een andere Fabric-werkruimte.

Alles kopiëren naar OneLake via pipelines is duur en traag. Een snelkoppeling lost dat op zonder kopie. Analytics-engines (Spark, SQL, Direct Lake, KQL) zien de data alsof ze in OneLake ligt, maar de authoritative bron blijft waar ze is.

Voor cross-cloud-scenario's is dit het stuk technologie waar Fabric het meeste mee adverteert. Een rapport in Power BI dat Delta-tabellen combineert uit een AWS-S3-bucket en een Azure-lakehouse, zonder één CSV of Parquet-bestand te dupliceren, is sinds snelkoppelingen mogelijk.

Waar kan je snelkoppelingen maken?

Op twee plaatsen: in een lakehouse en in een KQL-database.

In een lakehouse heb je twee zones: Tables en Files.

In Tables
Alleen op het bovenste niveau, geen subfolders. Staat er aan het einde van de snelkoppeling een Delta-tabel, dan pikt Fabric automatisch de metadata op en toont ze als een gewone tabel in je lakehouse. SQL-endpoint, Spark-notebook en Direct Lake-model kunnen er meteen op bevragen.

In Files
Overal in de boomstructuur. Het formaat mag eender wat zijn: Parquet, CSV, JSON, ruwe logs. Je krijgt geen automatische tabel-detectie, maar je kan Spark- of SQL-queries over de bestanden schrijven.

In een KQL-database verschijnt een snelkoppeling in het Shortcuts-mapje en gedraagt ze zich als een externe tabel. Je queryt hem met de external_table-functie in Kusto Query Language.

Soorten snelkoppelingen

Intern (OneLake naar OneLake)
Naar een ander Fabric-item in dezelfde of een andere werkruimte. Gebruik dit om één gouden tabel één keer te bouwen in een centraal lakehouse en ze in tien andere werkruimtes beschikbaar te maken zonder kopie.

Azure Data Lake Storage Gen2
Klassiek voor organisaties die al jaren ADLS gebruiken als enterprise-opslag en niet alles willen migreren naar OneLake.

Amazon S3 en S3-compatibel
Inclusief object stores van derden die de S3-API ondersteunen. Cross-cloud-analytics wordt hiermee reëel.

Google Cloud Storage
Zelfde logica als S3, aan de GCP-kant.

Dataverse
Voor data uit Dynamics 365 of Power Platform-toepassingen, als alternatief voor Synapse Link.

Iceberg
Naar tabellen in Apache Iceberg-formaat, handig in omgevingen waar Snowflake en Databricks al Iceberg hebben aangenomen.

OneDrive en SharePoint
Voor bronbestanden die business-teams beheren in Microsoft 365.

On-premises via de Fabric-gateway
SMB- en NFS-shares in je datacenter worden bereikbaar zonder migratie naar de cloud.

Caching voor externe snelkoppelingen

Data uit S3, GCS of een on-premises gateway bij elke query opnieuw ophalen is duur qua egress-kosten en latentie. OneLake kan per werkruimte een cache inschakelen: eenmaal opgevraagde bestanden blijven 1 tot 28 dagen bewaard. Een herhaalde query leest uit de cache; verandert de bron, dan haalt OneLake de nieuwe versie op en vervangt de gecachete kopie.

Individuele bestanden groter dan 1 GB worden niet gecached. Cache voor interne OneLake-snelkoppelingen is niet nodig, omdat de data al binnen het Fabric-storage-netwerk ligt.

Valkuilen

Snelkoppeling is geen eigendom
Verwijder je de snelkoppeling, dan blijft de bron intact. Verwijder je een bestand in de snelkoppeling met write-rechten op de bron, dan verdwijnt het echt. Gedraag je richting de snelkoppeling zoals richting de bron zelf.

Identiteit wordt niet altijd doorgegeven
Bij Direct Lake op SQL-endpoint met delegated identity geeft Fabric de identiteit van de eigenaar door, niet die van de eindgebruiker. Row-level security op de bronkant slaat dan niet aan. Voor scenario's waar elke kijker andere rijen moet zien, werkt Direct Lake op OneLake of T-SQL in user identity mode beter.

Grenzen per item
Maximaal 100.000 snelkoppelingen per Fabric-item, 10 per OneLake-pad en maximaal 5 lagen diep via shortcut-naar-shortcut-keten. Niet kleinzielig, maar wel een plafond als je per klant of per kind-tenant een aparte snelkoppeling wil.

Naamgeving
Geen spaties in Delta-snelkoppelingen (anders herkent OneLake ze niet als tabel). Geen % of + in namen of paden. Geen niet-Latijnse karakters.

Lineage stopt op een snelkoppeling
De Fabric-lineage-view toont relaties binnen dezelfde werkruimte. Snelkoppelingen naar externe bronnen verdwijnen uit de grafiek. Documenteer dat elders voor governance.