No Hacker News encontrei um artigo muito interessante no qual o autor sugere o uso do Método Petersen-Lincoln , que é usado por biólogos para contar a população de pássaros, macacos e outros animais, para *rufar de tambores* contar bugs no aplicativo.
Erro em habitat natural – Avistamento do Pé Grande por Derek Hatfield
O método é muito simples, pegamos dois ornitólogos, eles descobrem aves de uma determinada espécie, sua tarefa é – determinar o tamanho da população dessas aves. As aves encontradas são marcadas por ambos os ornitólogos, então o número de aves comuns é calculado, substituído na fórmula do índice de Lincoln e obtemos o tamanho aproximado da população.
Agora, para aplicativos – o método também é muito simples, pegamos dois QAs e eles encontram bugs na aplicação. Digamos que um testador encontrou 10 bugs (E1) e o segundo testador encontrou 20 bugs (E2), agora pegamos o número total de bugs – 3 (S), então usando a fórmula obtemos o índice Lincoln:
Esta é uma previsão do número de bugs em todo o aplicativo. No exemplo dado, há aproximadamente 66 bugs.
Exemplo rápido
Implementei um banco de testes para testar o método, você pode vê-lo aqui:
https://paiza.io/projects/AY_9T3oaN9a-xICAx_H4qw?language=swift
Parâmetros que podem ser alterados:
deixe aliceErrorFindProbability = 20 – porcentagem de bugs encontrados pelo QA Alice (20%)
deixe bobErrorFindProbability = 60 – porcentagem de bugs encontrados pelo QA Bob (60%)
deixe actualBugsCount = 200 – quantos bugs existem realmente no aplicativo
Na última execução recebi os seguintes dados:
Contagem de bugs estimados: 213
Contagem real de bugs: 200
Ou seja, existem 200 bugs no aplicativo, o Índice Lincoln dá uma previsão – 213:
“Alice encontrou 36 bugs”
“Bob encontrou 89 bugs”
“Contagem de bugs comuns: 15”
—
Contagem de bugs estimados: 213
Contagem real de bugs: 200
Fraquezas
Este método pode ser usado para avaliar o número de erros na aplicação em todos os estágios de desenvolvimento. idealmente, o número de bugs deve diminuir. Os pontos fracos do método incluem o fator humano, uma vez que o número de bugs encontrados por dois testadores deveria ser diferente e bugs diferentes foram encontrados, no entanto os mais comuns devem ser encontrados, caso contrário o método não funcionará (zero bugs comuns – divisão por zero)< br/>Além disso, um conceito como bugs comuns requer a presença de um especialista para entender seus pontos em comum.
Fontes
Quantos erros faltam encontrar? – John D. Cook, PhD, Presidente
The thrill of the chase – Brian Hayes
Código fonte
https://paiza.io/projects/AY_9T3oaN9a-xICAx_H4qw ?idioma=rápido
https://gitlab.com/demensdeum/statistics/tree/master/1_BugsCountEstimation/src
