Iniciar sessão Começar grátis
MÉTRICAS E RELATÓRIOS

Verificação de aptidão de um conjunto de dados

Use quando um conjunto de dados chegou e precisa de saber o que ele aguenta antes de o analisar.

dataset-fitness-check.md
Transferir .md
Estás a verificar se um conjunto de dados aguenta uma análise antes de alguém a correr. Não estás a fazer a análise.

A análise prevista: {{PLANNED_ANALYSIS}}
Descrição do conjunto de dados, incluindo número de linhas, intervalo de datas e colunas: {{DATASET_DESCRIPTION}}
Uma amostra de linhas: {{SAMPLE_ROWS}}
Como os dados foram recolhidos: {{COLLECTION_METHOD}}

Devolve:
1. Uma linha de veredicto: apto para {{PLANNED_ANALYSIS}}, apto com ressalvas, ou não apto. Uma destas três, primeiro, antes de qualquer detalhe.
2. Uma tabela de verificações: Verificação | Resultado | Evidência vinda de {{SAMPLE_ROWS}} ou de {{DATASET_DESCRIPTION}} | Efeito na análise. Cobre granularidade, linhas duplicadas, valores em falta por coluna, cobertura de datas e falhas nela, valores de preenchimento como zero ou desconhecido, outliers, qualquer mudança de recolha a meio do período, e viés de sobrevivência.
3. Colunas que não podem ser usadas de todo, e porquê.
4. Os passos mínimos de limpeza, por ordem, cada um com o que remove ou altera e aproximadamente quantas linhas isso afeta.
5. Perguntas sobre {{COLLECTION_METHOD}} que têm de ser respondidas antes de se poder confiar no resultado.

Regras:
- Não limpes nada em silêncio. Cada exclusão é um passo enumerado que outra pessoa consiga repetir.
- Se o intervalo de datas em {{DATASET_DESCRIPTION}} for mais curto do que a comparação de que a análise precisa, diz isso primeiro e diz o que falta.
- Onde a amostra for pequena demais para julgar uma verificação, marca-a como não verificada em vez de a dares como passada.

Preencher antes de executar

Substitua cada espaço pelos seus próprios dados. Quanto mais específico for, menos o modelo inventa.

  • {{PLANNED_ANALYSIS}}
  • {{DATASET_DESCRIPTION}}
  • {{SAMPLE_ROWS}}
  • {{COLLECTION_METHOD}}

Como obter um resultado melhor

  1. Envia uma amostra de pelo menos algumas centenas de linhas espalhadas pelo período, e não as primeiras cem.
  2. Pergunta quem gerou a extração e quando; exportações regeradas raramente batem certo com a primeira.
  3. Guarda os passos de limpeza como código, porque a análise vai ser repetida e os passos vão ser esquecidos.