Voltar para Home
Project Case Study

Sanitização de Dados

PythonData QAAutomation

Desenvolvimento de scripts e pipelines de automação para limpeza, transformação e validação de grandes volumes de dados brutos. O objetivo foi assegurar a qualidade dos dados (Data Quality) antes da ingestão em sistemas de análise.

Processamento de Dados

Principais Funcionalidades

  • Scripts Python para detecção de anomalias e duplicatas
  • Pipelines de ETL (Extract, Transform, Load) automatizados
  • Relatórios automáticos de qualidade de dados
  • Integração com bancos de dados SQL e NoSQL

Desafios & Soluções

  • Processamento eficiente de grandes datasets
  • Lidar com formatos de dados inconsistentes e legados
  • Garantir zero perda de dados durante a sanitização

Tech Stack

PythonPandasSQLAirflowPytest

Role

QA Analyst & Automation Engineer

Timeline

Duration: 6 months