Diego Botelho de Souza

Atuação como Data Engineer em ambiente B2B, focado no desenvolvimento e sustentação de plataformas analíticas estratégicas, com forte orientação a impacto no negócio, qualidade dos dados e escalabilidade. Principais responsabilidades e entregas: - Desenvolvimento e manutenção de pipelines de dados escaláveis em Databricks (PySpark), seguindo arquitetura multicamadas (bronze, silver, gold e platinum). - Implementação de práticas avançadas de data quality e observabilidade, com monitoramento contínuo de tabelas críticas e modelo de maturidade baseado em badges, elevando a confiabilidade dos dados e reduzindo riscos operacionais. - Construção de datasets analíticos governados para consolidação de métricas de experiência do cliente B2B, habilitando análises proativas e melhoria contínua do relacionamento com parceiros. - Criação de soluções analíticas para otimização da alocação de recursos físicos, integrando múltiplas fontes de dados e mensurando uplift real em vendas e performance comercial, apoiando decisões estratégicas de crescimento. - Estruturação de backends e Data Products, incluindo exposição de dados via APIs, para disponibilização de insights acionáveis em tempo real às equipes de campo. - Desenvolvimento e aplicação de AI Agents (CrewAI) para automação de interações com parceiros, promovendo eficiência operacional, agilidade no atendimento e escalabilidade. Tecnologias: Databricks, PySpark, Azure Data Factory, Airflow, FastAPI, Pytest, CrewAI

Atuação como Data Engineer em projetos de dados e analytics em ambientes cloud, com foco em migração de dados, construção de pipelines escaláveis e integração de múltiplas fontes para suportar iniciativas analíticas e operacionais. Principais projetos e responsabilidades: - Desenvolvimento e implementação de pipelines de dados em Azure Databricks (PySpark), atuando em processos de ETL/ELT e migração de dados para ambientes analíticos em cloud. - Projeto Asset Performance Management (APM): Migração e processamento de dados provenientes de SAP e sistemas PIMS. Implementação de arquitetura em Data Lake multicamadas (raw, trusted e refined) no Azure. Preparação dos dados para aplicação de modelos estatísticos de previsão de falhas e geração de insights operacionais. - Projeto IoT Hub 4.0: Migração de dados de dispositivos IoT para a Azure Cloud. Desenvolvimento de pipelines de ingestão e transformação para Azure Data Lake e Azure Cosmos DB. Criação de APIs de integração entre backend e frontend. Implementação de pipelines de CI/CD utilizando Azure DevOps. - Projeto Azure Data Factory: Criação de pipelines para ingestão de dados via APIs externas, armazenamento em Data Lake e processamento posterior em notebooks Databricks. Persistência dos dados tratados em bancos de dados relacionais para consumo analítico. - Projeto de Web Scraping em Google Cloud Platform (GCP): Coleta automatizada de dados, armazenamento em Cloud Storage e estruturação de tabelas para geração de dashboards analíticos. - Projeto de migração de dados com Apache NiFi: Orquestração da movimentação de dados entre Azure Data Lake e MySQL. Modelagem de tabelas fato e dimensão para consumo em Power BI. Tecnologias: Azure Databricks, PySpark, Azure Data Factory, Azure Data Lake, Azure Synapse, Azure SQL Server, Azure Cosmos DB, Azure DevOps, Python, Power BI, Apache NiFi Tecnologias utilizadas: Azure Databricks, Azure Data Lake, Azure Synapse, Azure SQL Server, Azure Synapse, Power BI e DevOps,.

Atuação inicial em engenharia e migração de dados em ambiente Azure, apoiando projetos de integração e consolidação de dados para fins analíticos. Apoio em migrações de dados para cloud, utilizando ferramentas como Apache NiFi, MySQL e Power BI. Participação na organização e preparação de dados para análises e dashboards, garantindo consistência e disponibilidade das informações. Tecnologias: Apache NiFi, MySQL, Power BI, Azure

Atividades: - Desenvolvimento e implementação de estratégias para otimizar a cadeia de suprimentos, incluindo transporte, armazenamento e distribuição de produtos; - Análise dos dados de desempenho logístico para identificar áreas de melhoria; - Garantir que os padrões de qualidade sejam mantidos em todas as etapas da cadeia de suprimentos.