BanVic 360 — o mesmo banco, 9 formas de fazer ETL e ELT
Construí um problema bancário realista para mostrar que Engenharia de Dados não é decorar uma ferramenta: é entender o contexto, escolher o caminho certo e provar que o resultado fecha.
O problema
A maioria dos portfólios de dados segue um roteiro previsível: pega um dataset pronto, limpa com pandas, salva em algum lugar, faz um gráfico bonito e chama isso de pipeline. Eu queria fazer diferente. Queria construir algo mais perto do que acontece em uma empresa: dados relacionais, volume, regras de negócio, qualidade, sazonalidade, histórico, indicadores externos e validação.
Foi daí que nasceu o BanVic 360. Em vez de criar 9 projetos desconectados, eu criei um único problema bancário e resolvi esse mesmo problema 9 vezes. A pergunta central era: se os dados, as regras e os KPIs são os mesmos, SQL, Python, Hop, Airflow, dbt, Databricks, n8n e Fabric chegam nas mesmas respostas?
O cenário simula o Banco Vitória em expansão nacional entre 2023 e 2026, com clientes, contas, transações, propostas, colaboradores, agências, dados macroeconômicos e indicadores públicos. A regra central é simples: toda stack precisa chegar aos mesmos 8 KPIs validados por um gabarito.
A solução
Criei uma base sintética escalada e reprodutível, defini um modelo dimensional Gold com 9 dimensões, 9 fatos e views de KPI, e repliquei o pipeline em múltiplas ferramentas de Engenharia de Dados. A mesma arquitetura Bronze, Silver e Gold aparece como ETL em alguns projetos e como ELT em outros, porque o objetivo era mostrar as várias formas profissionais de sair do dado bruto até a decisão.
Em SQL puro, o foco é controle e simplicidade. Em Python, regras mais programáticas. Em Hop e n8n, a força do visual e do low-code. Em Docker, reprodutibilidade. Em Airflow, operação recorrente com retry e scheduling. Em dbt, transformação SQL organizada, testes e documentação. Em Databricks e Fabric, a visão lakehouse para escala e consumo analítico.
A parte executiva fecha no Microsoft Fabric e Power BI: o Lakehouse foi validado com 8/8 KPIs, e o dashboard está sendo lapidado para transformar o pipeline em uma narrativa sobre saldo, transações, propostas, carteira, inadimplência, fraudes e correção por IPCA.
Arquitetura
A arquitetura segue o padrão medallion: CSVs originais e sintéticos entram na Bronze, a Silver padroniza tipos e regras de qualidade, e a Gold entrega star schema para analytics. O desenho é o mesmo em stacks locais e cloud, mas a implementação muda de acordo com a ferramenta. Isso permite comparar custo, manutenção, escala, velocidade de entrega e perfil do time sem mudar o problema de negócio.
Resultados
Na validação local, os projetos 0 a 6 e 8 foram reexecutados e aprovados. O dbt entregou 21 models e 64 testes, o Airflow fechou 13 tarefas com sucesso, e o Fabric validou o saldo sob gestão em R$ 87.833.946,97 e volume total de transações em R$ 4.835.541.814,68.
O Projeto 7 suporta dois modos de execução no Databricks: cluster clássico (via job_config.json) e serverless (notebooks pela interface). Ambos produzem 8/8 KPIs aprovados. No Fabric, a engenharia essencial e a validação 8/8 estão comprovadas.
O que este projeto demonstra
O foco não é provar que uma ferramenta vence todas as outras. No mercado real, a melhor solução depende do contexto: às vezes o time precisa de SQL simples, às vezes precisa de orquestração, às vezes precisa de Spark, às vezes precisa entregar rápido no Power BI. Por isso o projeto foi desenhado como uma comparação controlada: o dado é o mesmo, a pergunta é a mesma, o gabarito é o mesmo, mas o caminho técnico muda.
Com isso, o BanVic 360 demonstra modelagem dimensional, qualidade de dados, ETL, ELT, orquestração, conteinerização, automação, validação reprodutível, integração com dados públicos e storytelling analítico para negócio bancário.
Galeria
