Marcos Paulo Amaro dos Santos

Atuação como Engenheiro de Dados Pleno em projeto voltado ao setor financeiro, com foco em tratamento , integração e governança de dados em larga escala. Responsável por desenvolver e otimizar pipelines de dados utilizando SAS, Hive e Teradata, garantindo alta performance e confiabilidade das informações. Participação em processos de ingestão, modelagem e transformação de dados, além da automatização de rotinas e apoio a iniciativas de analytics e relatórios gerenciais. Implementação de uma esteira de dados completa, desde a extração e tratamento em SAS, processamento em Hive e Teradata, orquestração com Azure Data Factory, versionamento e deploy contínuo via Azure DevOps, até a disponibilização e consumo analítico no Databricks. Atuação em conjunto com equipes de arquitetura, seguros e negócio, contribuindo para a evolução da plataforma de dados e adoção das melhores práticas de qualidade, segurança e governança.

Prestação de serviços especializados para importante instituição financeira espanhola, com foco na validação de conceitos e regras de negócio em estrita conformidade com a normativa IFRS9. Atuei na identificação e correção proativa de falhas no desenvolvimento de novas bases de dados, garantindo a integridade dos processos de dados críticos para o negócio. Desenvolvi processos ETL robustos em ambiente Big Data utilizando a plataforma Databricks, com implementações em PySpark e SQL. Minhas responsabilidades incluíram a verificação detalhada da construção e transição entre as bases de dados existentes e as novas estruturas, além do desenvolvimento de um Data Mart estratégico a partir de um Data Lake corporativo. Implementei um rigoroso controle de qualidade da informação através da automação de rotinas de teste e da criação de novas regras de validação para a população de colunas nas bases emergentes. Atuei na modernização da infraestrutura de TI, migrando ambientes on-premise para o Azure Databricks (cloud), garantindo escalabilidade, alta performance e otimização de custos. Experiência em arquiteturas Cloud, com uso de AWS Glue, Amazon S3, AWS Athena e AWS Redshift, integrados a ambientes Databricks, viabilizando soluções analíticas performáticas, escaláveis e aderentes às exigências regulatórias do setor financeiro

Desenvolvemos um projeto completo de mapeamento e dicionarização de dados para o setor financeiro, alinhado às melhores práticas de MDM (Master Data Management) e DAMA (Data Management Association). O objetivo principal foi padronizar e documentar todos os campos estratégicos das tabelas financeiras, melhorando significativamente a gestão e o uso das informações. Utilizamos ferramentas como Hue, Databricks, Jupyter Notebook e Spark para automatizar processos e garantir eficiência no tratamento de grandes volumes de dados. O resultado foi um sistema organizado e confiável, que facilitou a criação de novas regras financeiras e otimizou a busca por informações críticas.

Projeto de ETL para Cálculo de Scores de Clientes Desenvolvimento de scripts para cálculo de scores de clientes utilizando processos de ETL (Extração, Transformação e Carga). Os dados foram extraídos do Hive, passando por etapas de limpeza e transformação por meio de Python e SQL, com posterior consolidação no SAS para visualização dos scores. A solução envolveu a disponibilização dos dados em ambiente de Big Data, atendendo aos critérios de aceite definidos. Foram integradas diversas bases de input para o cálculo de risco de crédito e risco de capital da instituição, garantindo que as informações estivessem estruturadas e prontas para consumo pelos modelos de crédito. Atuação em Demanda Regulatória de Registro de Passagem Execução de projeto para sensibilização de clientes que receberam propostas em batch, com o objetivo de registrar nos bureaus de crédito as consultas de score realizadas. Para cumprir os requisitos regulatórios, foram tratadas e consolidadas diversas tabelas utilizando SAS e SQL, garantindo a precisão e a integridade das informações enviadas.

Atuo na interseção entre Machine Learning e Cloud Computing, com expertise em AWS e ferramentas como S3, Redshift, Glue e Lambda para construir pipelines de dados robustos e modelos de IA escaláveis. Minha especialização na FIAP abrange desde o treinamento de algoritmos avançados até a implantação eficiente em ambientes cloud, garantindo alta disponibilidade e performance.