DBCONSULTING

Infrastruttura cloud, S3 storage e integrazione servizi nativi.

Estrazione e integrazione dati enterprise da ambienti SAP.

Fivetran

Piattaforma automatizzata per l'integrazione dati ELT. Centralizza dati da centinaia di fonti verso il Lakehouse in modo zero-maintenance.

Fai il Quiz Fivetran

Medallion Stack Portfolio Contatto

Data Engineering
Enterprise Ready.

Consulente Certificato Databricks specializzato nella costruzione di piattaforme dati scalabili, sicure e ottimizzate per i costi.


                    # Implementazione Delta Lake

                    df.writeStream \

                      .format("delta") \

                      .outputMode("append") \

                      .option("checkpointLocation", path) \

                      .toTable("silver_events")

L'Approccio Medallion

01. Bronze

Raw Ingestion

Ingestione dati grezzi in formato Delta. Utilizzo di Auto Loader per gestire stream di file da S3/Azure Blob Storage in modo incrementale.

02. Silver

Refined Data

Filtering, cleaning e join. Implementazione di Schema Enforcement e validazione della qualità del dato per garantire affidabilità.

03. Gold

Business Ready

Tabelle aggregate e ottimizzate per BI/ML. Utilizzo di Liquid Clustering e Z-Order per query ultra-veloci.

Governance & FinOps

Unity Catalog: Setup di governance centralizzata, Data Lineage e controllo accessi fine-grained.
Cost Control: Analisi del consumo dei DBU, ottimizzazione dei cluster policies e utilizzo di Serverless SQL.
CI/CD: Deployment automatizzato tramite Databricks Asset Bundles (DABs) e GitHub Actions.

Expertise Stack

PySpark Delta Live Tables SQL Warehouse Unity Catalog Photon Engine Terraform

Guarda il mio codice

Anche se i progetti aziendali sono sotto NDA, mantengo repository pubblici dove implemento architetture di test, ottimizzazione Spark e benchmark.

Visita il mio GitHub Portfolio