Jefferson Almeida de Souza

Atuo no desenvolvimento de pipelines de dados robustas, com foco em extração, transformação e carga (ETL/ELT) para o Google BigQuery. Tenho trabalhado em integrações com diversas fontes, incluindo SAP Hana, Protheus e HubSpot, utilizando AWS Glue (PySpark) e Python puro para orquestrar e automatizar processos de ingestão de dados. Desenvolvi scripts dinâmicos que tratam múltiplas views e tabelas, com controle de execução, logging em bancos MySQL e particionamento por data. Implementei extrações incrementais e mecanismos de controle para garantir integridade dos dados e evitar duplicidades, com uso de variáveis de ambiente e parâmetros dinâmicos. Automatizei a carga de dados do Protheus (XML/API) e do HubSpot (com paginação e controle de erros HTTP), processando e inserindo as informações em datasets otimizados no BigQuery. Modelei camadas bronze, silver e gold, organizando os dados para consumo analítico e garantindo rastreabilidade via tabelas de controle. Desenvolvi pipelines para movimentação de arquivos entre buckets S3, vinculando metadados extraídos do HubSpot a documentos armazenados em nuvem. Também atuei na organização modular de código Python, separando responsabilidades por arquivos e criando estruturas reutilizáveis para integração entre Glue, BigQuery, Secrets Manager, Parameters manager, Lambda, SNS e S3. Todo o processo foi pensado com foco em resiliência, reprocessamento, escalabilidade e governança.

Atuei no desenvolvimento e implementação de soluções de Data Lake, utilizando a plataforma Snowflake. A principal responsabilidade foi a criação e manutenção de um Data Lake estruturado em várias camadas, com destaque para: Camada Raw Data: Implementação de processos para ingestão de dados provenientes de diversas fontes, como APIs e bancos de dados, utilizando AWS Glue e Spark para processamento e geração de arquivos Parquet, que eram posteriormente consumidos pelo Snowflake. Camada Trusted: Execução de processos de normalização e higienização dos dados, garantindo a qualidade e integridade das informações. Camada Refined: Aplicação de regras de negócios e criação de tabelas dinâmicas para análise estratégica e utilização de dados. Em um segundo projeto, utilizei o Talend Studio para consumir dados do Protheus e de APIs, realizando a ingestão e organização desses dados em outro Data Lake no Snowflake. Participei também de sessões de mentoria com clientes, orientando-os sobre as melhores práticas para implementação e uso do Snowflake na construção de Data Lakes. Além disso, desenvolvi monitoramentos, logs e enriquecimento de dados em Python, configurados no AWS Glue, para garantir a execução eficaz e a rastreabilidade dos processos. Por fim, criei uma pipeline CI/CD utilizando AWS CodeCommit e AWS CodeBuild para versionamento de scripts e objetos dentro do Snowflake, garantindo automação, controle e integridade nos processos de deploy.

Experiência sólida no desenvolvimento de data lakehouse utilizando a plataforma Snowflake. Construção de pipelines de dados eficientes para a coleta, transformação e carga de informações. Expertise em modelagem de arquitetura para bancos de dados e datalake, garantindo a estruturação adequada e o desempenho otimizado dos sistemas. Habilidade em definir o escopo de projetos em colaboração com clientes internos e externos, assegurando a entrega de soluções alinhadas com as necessidades e expectativas. Proficiente no desenvolvimento de scripts utilizando a linguagem Python, automatizando processos e facilitando a manipulação e análise de dados. Lidero a equipe de forma a garantir a excelência no desenvolvimento de software voltado para a área de dados, atendendo às necessidades do negócio e proporcionando as melhores soluções tecnológicas para os clientes nessa área. Realizo reuniões com diversas áreas para discutir novos projetos, produtos ou soluções de problemas relacionados à área de dados. Fornecendo direcionamento técnico e sendo uma referência especializada para a equipe do projeto ou squad no contexto da área de dados. Gerencio a resolução de problemas técnicos específicos relacionados ao escopo do contrato na área de dados

- Automação de processos e manutenção evolutiva utilizando T-SQL e SSIS. - Banco de dados SQL-Server (2008/2012/2016) e PostgreSQL: Procedures, Functions, Views, Triggers. - Integração de múltiplas origens para diversos destinos, como flat file, xls, xlsx, mdb e integrações entre bancos de dados, cargas de Date Warehouse, OLTP, OLAP. - Geração de relatórios de utilização de benefícios, manutenção, desenvolvimento e levantamento de requisitos de acordo com as regras indicadas. - Modelagem Relacional visando uma melhor performance da esteira de dados. - Enriquecimento de dados via APIs utilizando Python e Sql Server. - Administração de Banco de Dados , ETL e GLUE na AWS. - Versionamento de código utilizando GIT. - Participação atuante na criação de novas funcionalidades dos sistemas internos gerando maior controle e velocidade no processamento de dados dos clientes.

- Automação de processos e manutenção evolutiva com a utilização das ferramentas SSRS E SSIS. - Criação de Dts(Data Transformation Services) de integração e transformação de dados ou soluções de movimentação de dados da plataforma SQL Server ou Mongo DB via Python. - Manipulação de dados, criação de queries para automatização de processos através da plataforma SQL Server 2016. - Geração de relatórios, manutenção, desenvolvimento e levantamento de requisitos de acordo com as regras indicadas. - Desenvolvimento de reports via ferramenta SSRS - SQL Server Reporting Services. - Desenvolvimento de reports para áreas internas via PowerBI.

- Automação de processos e manutenção evolutiva com as ferramentas de ETL Sunopsis(ODI Oracle) e SSIS. - Banco de dados SQL-Server (2008/2012): Procedures, Functions, Views, Triggers e Modelagem. - Criação de Dts(Data Transformation Services) de integração e transformação de dados ou soluções de movimentação de dados da plataforma SQL Server. - Integração de múltiplas origens para diversos destinos, como flat file, xls, xlsx, mdb e integrações entre bancos de dados, cargas de Date Warehouse, OLTP, OLAP. - Geração de relatórios de utilização de benefícios, manutenção, desenvolvimento e levantamento de requisitos de acordo com as regras indicadas. - Manipulação de dados, criação de queries para automatização de processos através da plataforma SQL Server 2005/2012. - Participação em projetos de migração.