Introducción a la analítica end-to-end con Microsoft Fabric

¿Qué te enseña este módulo?

Es la puerta de entrada a Fabric y sienta las bases arquitectónicas sobre las que se construye todo lo demás. La documentación oficial marca tres objetivos:

1. Identificar las capacidades de Microsoft Fabric.
2. Implementar Fabric para cubrir necesidades analíticas empresariales.
3. Describir cómo Fabric soporta capacidades de IA a través de Copilot, data agents y Fabric IQ.

¿Qué peso tiene en el examen?

No es "un dominio" por sí mismo, pero es transversal: OneLake, shortcuts, workspaces, roles y capacidades se cruzan con los tres dominios oficiales.

Diferencia respecto a la DP-600

• DP-600: "cómo consumes datos desde OneLake" 🍵
• DP-700: "cómo diseñas la arquitectura de OneLake, gestionas shortcuts, mirroring, capacidad y seguridad end-to-end" 🏗️

¿Qué es OneLake exactamente?

OneLake es el data lake unificado, lógico y a nivel de tenant que sirve como almacenamiento único para todos los workloads de Fabric.

Frases clave que te pueden preguntar textualmente:

• ✅ "Single logical data lake for the entire organization"
• ✅ "Provisioned automatically with every Fabric tenant"
• ✅ "Built on Azure Data Lake Storage Gen2 (ADLS Gen2)"
• ✅ "One copy of data"

Arquitectura técnica

• Storage layer: ADLS Gen2
• Formato por defecto para datos tabulares: Delta Lake
• Formatos soportados: Delta, Parquet, CSV, JSON y cualquier tipo de fichero
• APIs: soporta las APIs de ADLS Gen2 y Azure Blob Storage (SDKs, Storage Explorer, incluso Azure Databricks)

Jerarquía de OneLake

Este esquema es CLAVE para entender permisos, dominios y organización:

Tenant (uno por organización, es la raíz de OneLake)
 └── Workspace 1
      ├── Lakehouse A
      │    ├── Tables (datos estructurados en Delta)
      │    └── Files (datos no estructurados)
      ├── Warehouse B
      ├── Notebook C
      └── ...
 └── Workspace 2
      └── ...

• Un tenant = una organización de Microsoft Entra
• Un workspace = contenedor lógico con su propia seguridad
• Un item = lakehouse, warehouse, notebook, pipeline, semantic model, report…

Cross-tenant data sharing

Fabric soporta compartir datos entre tenants sin copiar (external data sharing): el propietario concede permisos OneLake a identidades externas y el receptor crea un shortcut al dato compartido. Las políticas de gobierno se aplican en el origen.

Uno de los temas estrella del examen ⭐

Un shortcut es una referencia lógica (un puntero) a datos que están en otra ubicación. Hacen que los datos aparezcan como si estuvieran en tu workspace local, sin copiarlos. Cualquier engine de Fabric (Spark, SQL, Power BI, KQL) puede leer un shortcut como si fuera local.

🎯 Tipos de shortcuts

Internos (dentro de Fabric): Lakehouses, Warehouses, KQL databases, Mirrored databases, Mirrored Azure Databricks Catalogs, SQL databases, Semantic models. Autorización: identidad del usuario que llama.

Externos (fuera de Fabric): ADLS Gen2, Azure Blob Storage, Amazon S3, S3 compatible (MinIO, Wasabi), Google Cloud Storage, Dataverse, OneDrive/SharePoint, Iceberg tables, on-premises (vía gateway). Autorización: cloud connection con credenciales guardadas.

🎯 Shortcuts en Tables vs Files

• New table shortcut: apunta a una única tabla Delta
• New schema shortcut: apunta a una carpeta con varias tablas Delta → aparece como schema
• New shortcut (Files): para cualquier formato y estructura

🎯 Consumo de capacidad con shortcuts

• El acceso consume CU en la capacidad del workspace donde vive el shortcut (el consumidor), NO la del origen.
• Si apunta a un origen externo (ADLS, S3…), OneLake NO cuenta CU para esa petición externa → la factura el proveedor externo.
• Si pausas la capacidad donde vive el dato, los shortcuts en otras capacidades siguen funcionando.

Cómo se leen los shortcuts

# PySpark: un shortcut a una tabla Delta en Tables se lee como una tabla más
df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

# Con Spark SQL
df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

-- T-SQL (SQL analytics endpoint): los shortcuts en Tables aparecen como tablas normales
SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

// KQL (Eventhouse): los shortcuts se ven como external tables
external_table('MyShortcut')
| take 100

Shortcut security (modelo simplificado)

Para acceder a datos vía un shortcut externo se requieren dos niveles de permisos: (1) la cloud connection autoriza al usuario que creó el shortcut, y (2) OneLake security autoriza al usuario que consulta. Los permisos de carpeta heredan recursivamente. Además, el usuario necesita Fabric Read sobre el item que contiene el shortcut.

¿Qué es Mirroring?

Mirroring replica continuamente datos de una base de datos operacional externa a OneLake, sin pipelines ETL tradicionales. Bases soportadas: Azure SQL Database, SQL Server, Azure Cosmos DB, Snowflake. El dato replicado se guarda como Delta Lake.

🎯 Mirroring vs Shortcuts (te lo preguntan seguro)

¿Qué son?

Los workspaces son entidades lógicas que agrupan items y dividen OneLake en contenedores securizables independientemente. Un workspace tiene su propio conjunto de permisos (roles), está asignado a una capacidad, puede tener Git integration y configuraciones específicas (Spark, OneLake, Dataflows Gen2, dominio).

¿Qué NO es un workspace?

• ❌ NO es un tenant (el tenant es la organización entera)
• ❌ NO es una capacidad (la capacidad es el poder de cómputo)
• ❌ NO tiene su propio OneLake (todo vive en el OneLake único del tenant)

Herencia y agrupación

• Puedes asignar roles a individuos, grupos de seguridad de Entra o service principals.
• Si alguien está en varios grupos con distintos roles → hereda el rol de mayor permiso.
• Los grupos anidados también heredan permisos.

Los 4 roles (casi de memoria)

1. Admin: ver, modificar, compartir y gestionar todo, incluyendo permisos.
2. Member: ver, modificar y compartir. Puede añadir contributors/viewers.
3. Contributor: ver y modificar. NO puede compartir.
4. Viewer: solo lectura.

Detalles operacionales

• El creador de un workspace es automáticamente Admin.
• Los cambios de permisos surten efecto la próxima vez que el usuario inicie sesión.
• Para RLS en Power BI, los usuarios Pro deben tener el rol Viewer (los otros roles bypasean RLS por diseño).

Es un objetivo oficial del examen

Se establecen a nivel workspace: License type, OneDrive access, ADLS Gen2 connection, Git integration, Spark settings, OneLake settings (incluye shortcut caching), Dataflows Gen2 settings y Domain assignment.

🎯 Cuatro sub-tareas oficiales del DP-700

1. Configure Spark workspace settings → pools, runtime, entorno
2. Configure domain workspace settings → asignar workspace a un dominio
3. Configure OneLake workspace settings → caching de shortcuts, storage
4. Configure Dataflows Gen2 workspace settings → engine settings

¿Qué es?

La interfaz de descubrimiento y gobierno de Fabric. Permite encontrar y conectar a data sources (respetando permisos), filtrar por workspace/dominio/tipo/keyword, y ver sensitivity labels, metadata y refresh status.

List Shortcuts API

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}/shortcuts

Cada shortcut trae: path, target type (OneLake, ADLS Gen2, S3, GCS, S3 Compatible, Dataverse, External Data Share) y detalles de la ubicación destino.

Experiencias organizadas en workloads

Storage vs Compute items

• Storage (guardan datos en OneLake): Lakehouse, Warehouse, Eventhouse, SQL Database, Mirrored Database, Semantic Model.
• Compute/orquestación (procesan pero no almacenan): Notebook, Pipeline, Dataflow, Eventstream, Spark Job Definition.

🎯 Lakehouse vs Warehouse vs Eventhouse vs SQL Database

Nuevo respecto a la DP-600 (features 2025-2026)

Fabric IQ (preview): workload cuyo item central es la ontología, que define conceptos de negocio, sus relaciones y reglas, para que los AI agents razonen usando el lenguaje del negocio.

Fabric Data Agents: interfaces conversacionales que traducen preguntas en NL a queries y consultan lakehouses, warehouses y semantic models. Con una ontología entienden el lenguaje del negocio.

Copilot: asistente generativo transversal (code gen en notebooks, guía de transformación en Data Factory, generación de reports en Power BI).

¿Qué es una capacity?

Un pool de recursos computacionales que da servicio a workspaces. Todas las experiencias consumen de la misma capacity unificada. La unidad de medida es la Capacity Unit (CU).

🎯 Tabla de SKUs (memorízala)

🎯 Bursting, Smoothing, Throttling

• Bursting: un job puede exceder temporalmente la CU disponible; los extras quedan como deuda.
• Smoothing: la deuda se distribuye en el tiempo (hasta 24h background, 5 min interactivos).
• Throttling: si la deuda excede límites, Fabric ralentiza o rechaza operaciones (3 niveles progresivos).

F SKU vs P SKU

Al pausar una F SKU: el storage se sigue facturando (per GB) y las transacciones se rechazan, pero los shortcuts en otras capacidades siguen funcionando.

Contexto útil (menos "examinable")

• Data Engineer 👩‍🔧, ingiere/transforma/carga a OneLake, usa Pipelines, Lakehouses y Notebooks. ¡Tú, ahora mismo! 💕
• Analytics Engineer, bridge entre engineering y analysis, cura data assets y crea semantic models.
• Data Analyst, Dataflows, Direct Lake y reports en Power BI.
• Data Scientist, Notebooks (Python, Spark), modelos ML, Azure ML.
• Citizen developers, descubren datasets vía OneLake catalog y usan Copilot.

Los errores clásicos del examen

• ¿Cuántos OneLakes tengo? → Uno por tenant. Múltiples workspaces e items, un solo OneLake.
• "Los shortcuts copian datos" → ❌ NO copian, son referencias (salvo el caché, que no es copia persistente).
• Shortcut vs Mirroring → Shortcut = referencia a storage; Mirroring = replicación desde BBDD operacional.
• "Los Viewers leen datos vía Spark" → ❌ NO. Viewer solo tiene ReadData (TDS), no ReadAll (Spark/OneLake API).
• "Contributor puede añadir usuarios" → ❌ NO. Solo Admin añade Admins; Admin y Member añaden Contributors/Viewers.
• "Copilot se desactiva a nivel workspace" → ❌ NO. Es a nivel tenant (Admin portal).
• "F32 para Fabric Free" → ❌ Necesitas F64+.
• "El caching funciona para cualquier tipo" → ❌ Solo GCS, S3, S3 compatible y on-prem gateway.
• "Un shortcut consume CU de la capacidad origen" → ❌ Consume de la del consumidor.
• "Ficheros grandes se cachean" → ❌ Los > 1 GB no se cachean.

Tablas rápidas para repasar