Projeto de Engenharia de Dados - Azure & Databricks

Este projeto foi criado para desenvolver habilidades de engenharia de dados no contexto do Azure e Databricks.

🏗️ Estrutura do Projeto

azure-data-engineering-project/
├── docs/                    # Documentação do projeto
├── infrastructure/          # Infraestrutura como Código (IaC)
├── scripts/                # Scripts de automação
├── src/                    # Código fonte dos pipelines
└── tests/                  # Testes automatizados

🚀 Tecnologias Utilizadas

• Azure Data Factory - Orquestração de pipelines
• Azure Databricks - Processamento de dados
• Azure Data Lake Storage - Armazenamento de dados
• Azure SQL Database - Data warehouse
• Terraform - Infraestrutura como Código
• Python - Scripts e notebooks
• PySpark - Processamento distribuído

📋 Pré-requisitos

• Azure CLI instalado e configurado
• Terraform instalado
• Python 3.8+
• Databricks CLI

🛠️ Configuração Inicial

1. Clone o repositório
2. Configure as variáveis de ambiente
3. Execute os scripts de infraestrutura
4. Configure os pipelines de dados

📚 Documentação

Consulte a pasta docs/ para documentação detalhada de cada componente.

🤝 Contribuição

Este é um projeto de aprendizado. Sinta-se à vontade para contribuir com melhorias e novas funcionalidades.