Padrões de Desenvolvimento
Framework de Projetos de Dados
O Framework de Projetos de Dados da Química Anastácio define a metodologia padrão para execução de iniciativas de dados na organização. Ele estabelece três fases sequenciais que garantem a entrega de valor desde a descoberta até a disponibilização dos dados para consumo.
Visão Geral das Fases
Fase 1 — Discovery
A fase de Discovery é o ponto de partida de todo projeto de dados. Aqui entendemos o contexto do negócio, mapeamos as fontes disponíveis e definimos as métricas que serão entregues.
1.1 Mapeamento de Assets
Identificação e diagramação das fontes de dados envolvidas no projeto. Inclui o levantamento de sistemas de origem (Protheus, SharePoint, APIs), mapeamento de tabelas e campos relevantes, e criação de diagramas de relacionamento entre entidades.
Exemplo:
1.2 Métricas e Indicadores
Definição dos KPIs e métricas de negócio que o projeto deve entregar. Cada métrica deve ter nome, fórmula de cálculo, granularidade (diária, mensal), dimensões de análise e responsável pela validação.
Exemplo:
1.3 Requisitos
Levantamento das regras de negócio, SLAs de atualização e critérios de qualidade dos dados. Define-se aqui a frequência de atualização, tolerância a atrasos e thresholds de qualidade aceitáveis.
Exemplo:
SLAs de Atualização
- Execução diária às 06:00, disponível até 07:30 (tolerância: 30 min)
- Execução diária às 07:00, disponível até 08:00 (tolerância: 30 min)
- Execução semanal (segunda) às 05:00, disponível até 08:00 (tolerância: 60 min)
Regras de Negócio
- Pedidos com status "Cancelado" não devem ser contabilizados no faturamento
- Clientes inativos há mais de 12 meses devem ser marcados como "Churn"
- Vendas com desconto acima de 30% requerem aprovação gerencial
- A cotação do dólar utilizada deve ser a do dia útil anterior ao pedido
- CPF/CNPJ é obrigatório para todos os clientes (completude ≥ 99%)
- Não são permitidos valores negativos em `vl_total`
Fase 2 — Medallion
A Arquitetura Medallion é um padrão de design amplamente adotado no mercado que organiza o fluxo de dados em três camadas progressivas. Na Química Anastácio, adotamos este padrão por garantir rastreabilidade, qualidade incremental e separação clara de responsabilidades.
Carga dos dados das fontes sem transformação, preservando formato original e histórico para auditoria.
Tratamento, padronização, aplicação de regras de qualidade e deduplicação dos dados.
Criação de dimensões, fatos, agregações e métricas prontas para consumo analítico.
Fase 3 — Governança
A fase de Governança garante que os dados entregues sejam documentados, acessíveis e que os usuários estejam capacitados para extrair valor das informações disponibilizadas.
3.1 Data Catalog
Documentação dos datasets entregues no catálogo de dados corporativo. Inclui descrição das tabelas, dicionário de campos, linhagem de dados e atualização do glossário de negócio com novos termos.
3.2 Consumo e Visualização
Criação de dashboards no Power BI, habilitação de análises self-service e capacitação dos usuários finais. O treinamento inclui navegação nos relatórios, interpretação das métricas e boas práticas de análise.
Ciclo Contínuo
Após a entrega de cada projeto, o feedback dos usuários alimenta novos refinamentos e demandas, reiniciando o ciclo de Discovery para evolução contínua da plataforma de dados.