INVESTIGAÇÃO E PRÁTICA
Probabilidades calibradas em criptomoedas: fiabilidade, Brier e frequência base
Avalie se uma probabilidade significa o que afirma, com um objetivo definido, grupos de fiabilidade, regras de pontuação adequadas e evidência fora da amostra.
Uma pontuação de 70 não é automaticamente uma probabilidade de 70%. Uma probabilidade exige um acontecimento específico, um horizonte e evidência que relacione números anteriormente emitidos com resultados observados depois. Mesmo um modelo que ordene bem as oportunidades pode exagerar ou subestimar a sua probabilidade. Este artigo explica uma análise prática através de exemplos hipotéticos; nenhuma das percentagens abaixo descreve desempenho medido do HOSTuvo.
Defina o acontecimento antes de discutir confiança
Especifique se sucesso significa retorno positivo no horizonte, tocar primeiro num limiar superior ou superar custos estimados. Indique a referência de entrada, a janela de observação e o tratamento de percursos ambíguos. Estes objetivos podem produzir rótulos diferentes para a mesma sequência de preços. Exclua resultados inválidos ou incompletos do cálculo binário, mas apresente a sua frequência separadamente. Uma probabilidade depende da população a que se aplica; uma estimativa obtida em mercados líquidos não deve transformar-se silenciosamente numa promessa sobre outro universo ou um instrumento recentemente adicionado com pouca liquidez.
Compare probabilidades declaradas com frequências observadas
Agrupe previsões verdadeiramente fora da amostra em intervalos de probabilidade previamente definidos e compare a previsão média com a frequência observada em cada intervalo. Mostre o número de observações de cada grupo. Se um conjunto hipotético de 100 previsões tiver média de 70% e ocorrerem 70 acontecimentos, esse grupo é compatível com a taxa indicada, mas um único resultado não demonstra fiabilidade futura. Grupos pequenos podem oscilar muito e previsões sobrepostas reduzem a evidência independente. Examine diferenças de calibração entre horizontes e condições, em vez de esconder todos os padrões numa percentagem global tranquilizadora.
Use uma regra de pontuação sem a confundir com toda a resposta
Num acontecimento binário, a perda de Brier é a média do quadrado da diferença entre a probabilidade prevista e o resultado codificado como zero ou um. Duas previsões hipotéticas de 0,8, seguidas de um acontecimento e uma ausência, têm perdas de 0,04 e 0,64, com média de 0,34. Prever 0,5 para esses mesmos dois resultados dá 0,25. Este exemplo minúsculo ilustra a penalização de erros confiantes, não uma comparação estatisticamente significativa de modelos. Como explica a documentação do scikit-learn, a perda de Brier reflete discriminação além de calibração; um valor menor, isoladamente, não demonstra maior fiabilidade.
Escolha uma referência que respeite a frequência do acontecimento
Suponha que outra população hipotética contém 20 acontecimentos entre 100 observações. Uma probabilidade constante de 0,2 produz perda média de Brier de 0,16, enquanto a constante 0,5 produz 0,25. Prever sempre a classe negativa obteria 80% de acerto nessa população, embora esse destaque diga pouco sobre a utilidade de um alerta. Estime qualquer frequência de referência com informação permitida no momento da avaliação, não com todo o conjunto futuro de teste. Compare observações e objetivos idênticos para impedir que uma mudança na composição dos acontecimentos se faça passar por melhoria do modelo.
Ajuste a calibração sem consumir a evidência que a avalia
Um calibrador aprende a transformar a saída bruta de um modelo em probabilidades. Treiná-lo com observações que o preditor original já ajustou pode produzir uma transformação excessivamente confiante. Para dados de mercado, utilize cronologia e maturidade dos resultados, além da separação entre ajuste e avaliação. Associe a versão da calibração a cada previsão emitida. Se poucos resultados sustentarem uma transformação detalhada, faça menos afirmações e explique a limitação; acrescentar uma curva flexível não cria informação. Verifique que os resultados positivos e negativos relevantes estão representados na amostra de calibração.
Transforme a análise numa interface contida
Apresente uma percentagem apenas quando o objetivo e a evidência sustentarem uma interpretação probabilística. Caso contrário, identifique o número como pontuação ou classificação e explique o que ordena. Acompanhe probabilidades com dimensão da amostra, cobertura, período de avaliação e incerteza quando estimável. Preserve o valor originalmente publicado para que correções posteriores não reescrevam a evidência. A calibração também não demonstra atratividade económica: um acontecimento corretamente estimado pode ser demasiado pequeno, caro ou difícil de executar. Mantenha qualidade probabilística, seleção de candidatos e economia executável como perguntas separadas.
Fontes e âmbito dos exemplos
As fontes sustentam as definições e os mecanismos. Os cenários numéricos são exemplos educativos hipotéticos, não preços atuais, previsões nem resultados reportados pela HOSTuvo. As imagens são ilustrações editoriais.