Voltar para Home
Project Case Study
Sanitização de Dados
PythonData QAAutomation
Desenvolvimento de scripts e pipelines de automação para limpeza, transformação e validação de grandes volumes de dados brutos. O objetivo foi assegurar a qualidade dos dados (Data Quality) antes da ingestão em sistemas de análise.
Processamento de Dados
Principais Funcionalidades
- Scripts Python para detecção de anomalias e duplicatas
- Pipelines de ETL (Extract, Transform, Load) automatizados
- Relatórios automáticos de qualidade de dados
- Integração com bancos de dados SQL e NoSQL
Desafios & Soluções
- Processamento eficiente de grandes datasets
- Lidar com formatos de dados inconsistentes e legados
- Garantir zero perda de dados durante a sanitização
Tech Stack
PythonPandasSQLAirflowPytest
Role
QA Analyst & Automation Engineer
Timeline
Duration: 6 months