A Probability of Backtest Overfitting (PBO) de David Bailey é a única métrica estatística que quantifica o risco exato de overfitting em um backtest. Proposta em 2014 por Bailey e Marcos Lopez de Prado no Journal of Computational Finance, essa fórmula fornece um número entre 0 e 1 que representa a probabilidade de que sua estratégia otimizada seja fruto do acaso, e não de um verdadeiro edge de mercado. Compreender e aplicar o PBO tornou-se essencial antes de operar em conta real ou submeter uma estratégia a uma prop firm como FTMO ou MyFundedFX.
O problema do overfitting medido por Bailey
O overfitting é a principal causa de fracasso das estratégias de trading em condições reais. Um backtest espetacular pode simplesmente refletir adaptação a dados passados, e não um verdadeiro edge. Antes dos trabalhos de Bailey, nenhuma fórmula permitia quantificar esse risco com precisão.
Contexto: a pesquisa de 2014
Em 2014, David Bailey, Jonathan Borwein, Marcos Lopez de Prado e Qiji Zhu publicaram "Pseudo-mathematics and Financial Charlatanism" nos Notices da American Mathematical Society. Esse estudo demonstrou que, com apenas 45 parâmetros livres testados sequencialmente, torna-se quase certo encontrar uma combinação que produz um Sharpe Ratio acima de 1 com dados totalmente aleatórios. Em outras palavras, a maioria das estratégias "boas" são apenas o resultado de uma busca sistemática no espaço de parâmetros, não um verdadeiro edge de mercado.
Fonte: Bailey et al. (2014), Notices of the AMS
No mesmo ano, Bailey e Lopez de Prado formalizaram o cálculo do PBO por meio de um método de validação cruzada combinatória, publicado no Journal of Computational Finance.
A fórmula PBO (Probability of Backtest Overfitting)
O PBO é definido como a probabilidade de que a melhor estratégia selecionada nos dados in-sample tenha desempenho abaixo da mediana das estratégias nos dados out-of-sample:
PBO = P(SBO menor que 0)
O SBO (Stochastic Backtest Optimization) é o logaritmo da razão entre o desempenho out-of-sample da melhor estratégia in-sample e a mediana de todas as N estratégias. Um SBO negativo significa que a estratégia vencedora no backtest fica abaixo da mediana nos dados não vistos: sinal claro de overfitting.
Por que medir em relação à mediana?
Bailey usa a mediana (e não o desempenho absoluto) para controlar o viés de seleção. Se a melhor estratégia in-sample não supera metade das outras estratégias out-of-sample, é porque foi otimizada para o ruído histórico, não para a estrutura real do mercado.
Como calcular o PBO
O cálculo do PBO baseia-se na validação cruzada combinatória (CPCV). Aqui está o processo passo a passo.
Método de validação cruzada combinatória
Ao contrário da k-fold cross-validation clássica, o método de Bailey testa todas as combinações possíveis de partições in-sample e out-of-sample. Para S = 6 sub-períodos, isso gera C(6,3) = 20 combinações, oferecendo uma estimativa estatisticamente robusta do risco de overfitting.
Dividir os dados em S sub-períodos
Gerar todas as combinações
Avaliar o desempenho out-of-sample
Calcular o SBO por combinação
Estimar o PBO final
Fonte do método: Bailey e Lopez de Prado (2014), preprint SSRN
Interpretação do resultado (0 a 1)
| Valor PBO | Interpretação | Ação recomendada |
|---|---|---|
| PBO abaixo de 0,1 | Estratégia muito robusta, risco mínimo de overfitting | Passar para forward testing em conta demo |
| 0,1 a 0,3 | Risco baixo, robustez aceitável | Validar com walk-forward antes de conta real |
| 0,3 a 0,5 | Risco moderado, superotimização parcial provável | Reduzir o número de parâmetros livres |
| PBO acima de 0,5 | Overfitting provável segundo Bailey | Não operar em conta real nesse estado |
| PBO acima de 0,8 | Overfitting quase certo | Rejeitar a estratégia e recomeçar |
Limiares práticos para traders
Bailey recomenda PBO = 0,5 como limiar decisório. Para estratégias voltadas a prop firms (FTMO, MyFundedFX, The5ers), gestores quantitativos profissionais visam um PBO abaixo de 0,1, mesmo que esse padrão ainda não seja exigido explicitamente pelas prop firms.
O PBO é necessário, mas não suficiente
Um PBO baixo valida a robustez estatística em dados históricos, mas não garante desempenho futuro. As condições de mercado mudam. Combinar PBO e walk-forward optimization é a melhor prática para uma validação completa.
Aplicando Bailey às suas estratégias
Quantos backtests são necessários para interpretar o PBO
Quanto mais configurações de estratégias você testa sobre os mesmos dados, mais o PBO sobe mecanicamente. Bailey demonstra que o PBO depende diretamente de N, o número de estratégias candidatas testadas. Com N = 50 configurações testadas no mesmo período histórico, um PBO de 0,5 ou mais é esperado mesmo que a configuração "vencedora" pareça robusta.
A regra prática: limite o número de combinações testadas. Se você explorou 100 variantes para encontrar seus parâmetros ideais, seu PBO será alto independentemente do desempenho in-sample. Se sua estratégia foi construída com 3 a 5 parâmetros e testada em menos de 20 configurações, o PBO permanece interpretável.
O papel do número de parâmetros livres
O número de parâmetros livres é o principal fator de overfitting. Cada parâmetro adicionado (período de média móvel, nível de stop-loss, filtro de volatilidade) multiplica as configurações possíveis e aumenta o risco de que a configuração ótima seja ajustada ao ruído histórico em vez da lógica de mercado.
Regra de Bailey: 2k combinações para k parâmetros binários
Com k parâmetros que podem ser ativados ou desativados, o número de configurações é 2 elevado a k. Para k = 10 parâmetros binários, isso dá 1.024 configurações: o PBO quase certamente excederá 0,5 se você escolher a melhor. Defina a lógica de mercado primeiro, depois otimize apenas 1 a 2 parâmetros.
Combinando PBO e walk-forward
A combinação de PBO e walk-forward optimization é o método de validação mais rigoroso disponível para traders retail. O PBO valida a robustez estatística global em todas as partições possíveis dos dados. O walk-forward valida a estabilidade dos parâmetros em janelas temporais sucessivas reais.
A sequência recomendada antes de operar em conta real:
Para se aprofundar no método walk-forward, consulte nosso guia walk-forward optimization e validação de backtest.
Ferramentas para calcular o PBO
Soluções Python open-source
A biblioteca mlfinlab (Machine Learning Financial Laboratory) de Marcos Lopez de Prado implementa a CPCV diretamente. Para cálculo manual, itertools.combinations em Python gera todos os pares de sub-períodos, e numpy calcula os desempenhos relativos. A curva de aprendizado é íngreme, mas o método está completamente documentado nos artigos originais de Bailey.
Plataformas com PBO integrado
A grande maioria das plataformas de backtesting retail (TradingView, MetaTrader 5) não calcula o PBO nativamente. As ferramentas quantitativas profissionais exigem habilidades de programação, o que representa uma barreira real para traders no-code.
Backtrex e validação multi-período
O Backtrex aborda o problema do overfitting por meio da validação multi-período automática. Ao testar sua estratégia em múltiplas janelas temporais distintas (in-sample para configuração, depois validação out-of-sample automática em vários períodos), o Backtrex gera indicadores de consistência no espírito do método Bailey: uma estratégia sólida deve ter desempenho consistente nos períodos não vistos, não apenas na janela de otimização.
O Backtrex é acessível com uma conta gratuita incluindo um tour guiado, depois uma licença vitalícia Pro ou Max com pagamento único, com 14 dias para mudar de ideia. Conheça nossos recursos de backtesting para saber mais.
Para aprofundar os métodos de robustez, leia nosso guia stress test e robustez de estratégias de trading ou nosso artigo sobre sinais de alerta de overfitting em backtest.
Important Risk Warning
Conclusão
A fórmula PBO de David Bailey é a ferramenta estatística mais rigorosa disponível para avaliar se um backtest reflete um verdadeiro edge ou apenas adaptação a dados passados. Com PBO abaixo de 0,1, uma estratégia passa no teste de robustez mais exigente da área. Combinar esse cálculo com walk-forward e a validação multi-período do Backtrex é o padrão que separa traders sérios de caçadores de backtests perfeitos.
O PBO é uma métrica estatística desenvolvida por David Bailey e Marcos Lopez de Prado em 2014. Mede a probabilidade de que uma estratégia selecionada por seu desempenho in-sample obtenha resultados abaixo da mediana em dados out-of-sample. O cálculo usa validação cruzada combinatória em todas as partições possíveis dos dados históricos. Um PBO de 0 indica risco zero de overfitting; um PBO de 1 indica certeza de overfitting.
Bailey sugere que um PBO acima de 0,5 indica overfitting provável: a estratégia é estatisticamente mais propensa a ser fruto do acaso do que a representar um verdadeiro edge. Um PBO abaixo de 0,1 é considerado um sinal sólido de robustez. Entre 0,1 e 0,5, recomenda-se validação complementar por walk-forward optimization antes de operar em conta real.
Sem habilidades de programação, é difícil calcular o PBO exato. Você pode, no entanto, aplicar o espírito do método Bailey testando sua estratégia em múltiplas janelas temporais distintas: um período in-sample para otimização, depois vários períodos out-of-sample sucessivos para validação. Se o desempenho cair significativamente nos períodos não vistos, o overfitting é provável. O Backtrex oferece validação multi-período automática sem necessidade de código.
Sim, o PBO é fundamentalmente diferente do Sharpe Ratio out-of-sample. O Sharpe mede o desempenho ajustado ao risco em um dado período. O PBO mede a probabilidade de que a seleção da melhor estratégia in-sample seja fruto do acaso estatístico, testando todas as configurações possíveis de validação cruzada. Um Sharpe out-of-sample positivo é necessário mas não suficiente: o PBO avalia se esse resultado é estatisticamente robusto em todas as partições possíveis dos dados.
Para manter o PBO abaixo de 0,3, a regra empírica é testar menos de 20 configurações de parâmetros no total. Com 5 parâmetros binários, você já tem 32 configurações possíveis. A recomendação de Bailey: defina as regras da estratégia com base na lógica de mercado primeiro, depois otimize apenas 1 a 2 parâmetros com poucos valores discretos possíveis.
Sim, o PBO se aplica a qualquer estratégia de trading, incluindo abordagens Smart Money Concepts (SMC) e ICT. Essas estratégias frequentemente contêm muitos parâmetros implícitos (nível de order block, tamanho do fair value gap, filtros de sessão horária) que aumentam o risco de overfitting. Calcular o PBO em uma estratégia SMC com backtest de vários anos ajuda a distinguir um verdadeiro edge de uma configuração superajustada aos dados históricos.
O PBO é uma medida estatística global da probabilidade de overfitting, calculada via validação cruzada combinatória em todos os dados disponíveis. O walk-forward é um método de validação sequencial que testa a estratégia em períodos futuros não vistos, um após o outro. Os dois são complementares: o PBO fornece um sinal probabilístico global, o walk-forward valida a estabilidade temporal dos parâmetros. Usar ambos juntos constitui o método de validação mais rigoroso disponível para traders retail.