Explorando as Lineage Tables do Unity Catalog no Databricks 🚀As Lineage Tables do Unity Catalog são uma das funcionalidades mais aguardadas pelos…

Eu sempre tive um grande contato com banco de dados relacional e posteriormente com sistemas distribuídos como o Apache Spark. Inicialmente me aprofundei…

Neste artigo vou trazer um cenário de ingestão de dados e inserção de multiplos arquivos no minIO utilização o Apache nifi com o nifi-registry, a idéia é…

Neste artigo vou ensinar como se conectar a um cluster serverless do SQL Warehouse do Databricks utilizando credenciais de um SP do Databricks.

Hoje vamos explorar o Atlas, uma ferramenta que vai revolucionar a forma como você lida com bancos de dados. Vamos mergulhar nos comandos…

Neste tutorial, vamos explorar como usar a técnica RAG (Retrieval-Augmented Generation) com a biblioteca LangChain para integrar dados proprietários…

No mundo dinâmico … a manipulação de dados são cruciais … a complexidade inerente ao …SQL pode representar uma barreira significativa para muitos…

LLM – Modelos de Linguagem de Grande Escala como GPT (Generative Pre-trained Transformer) têm revolucionado a interação entre humanos e máquinas…

Implementa Lambda com GitLab CI/CD e Terraform para Integração SFTP, S3 e Databricks em Go. Tive uma necessidade em um cliente de reduzi…

Com o aumento da demanda por maior autonomia em pipelines de dados, a plataforma de análise de dados Databricks tornou-se uma solução popular para empresas que desejam desenvolver pipelines escaláveis e eficientes. Durante um projeto freelancer no qual me foi solicitado uma maior autonomia sobre o core da empresa, que basicamente é definido por uma…