Capítulo 28 Análise preditiva

28.1 Predição

28.1.1 O que são modelos preditivos clínicos?

• Modelos preditivos clínicos combinam características do paciente, sinais, sintomas, exames ou outros preditores para estimar a probabilidade de um desfecho diagnóstico ou prognóstico.³⁰⁶

• Modelos diagnósticos estimam a probabilidade de uma condição já estar presente no momento da avaliação, enquanto modelos prognósticos estimam a probabilidade de um evento ocorrer no futuro, dentro de um horizonte de tempo definido.³⁰⁶

28.1.2 Qual é a diferença entre predição diagnóstica e prognóstica?

• Na predição diagnóstica, o desfecho de interesse corresponde ao estado atual do paciente, como a presença ou ausência de uma doença no momento da avaliação.³⁰⁶

• Na predição prognóstica, o desfecho ainda não ocorreu: o modelo estima o risco de um evento futuro, como morte, recaída, internação, complicação ou resposta terapêutica em determinado período.³⁰⁶

• Em modelos prognósticos, é fundamental definir claramente o horizonte de predição, pois prever risco em 30 dias, 1 ano ou 5 anos pode gerar interpretações clínicas muito diferentes.³⁰⁶

28.1.3 Como avaliar o desempenho de um modelo preditivo?

• O desempenho de um modelo preditivo costuma ser avaliado principalmente por discriminação e calibração.^306,307

• Discriminação: Capacidade do modelo de diferenciar indivíduos que terão o evento daqueles que não terão, geralmente medida pelo índice C ou pela AUC.^306,307

• Calibração: Concordância entre os riscos preditos pelo modelo e as proporções observadas de eventos.^306,307

• A calibração é especialmente importante quando o modelo será usado para definir limiares de decisão clínica, como indicar ou não uma intervenção, exame ou tratamento.³⁰⁶

28.1.4 O que é validação de um modelo preditivo?

• Validação interna avalia se o modelo mantém desempenho adequado dentro da mesma população usada em seu desenvolvimento, geralmente por bootstrap, validação cruzada ou divisão treino-teste.³⁰⁸

• Validação externa avalia o desempenho do modelo em novos pacientes, coletados em outro período, outro centro, outra região ou outro sistema de saúde.³⁰⁸

• A validação interna está mais relacionada ao risco de sobreajuste, enquanto a validação externa está relacionada à transportabilidade do modelo para novos contextos clínicos.³⁰⁸

28.1.5 Um modelo pode ser considerado definitivamente validado?

• Não existe um modelo preditivo validado de forma definitiva, pois populações, práticas clínicas, medidas, equipamentos e padrões de cuidado variam entre locais e ao longo do tempo.³⁰⁸

• Uma única validação externa representa apenas um retrato do desempenho do modelo em determinado cenário, com determinada população, em determinado momento.³⁰⁸

• É mais adequado dizer que um modelo apresentou bom desempenho em uma validação específica do que afirmar que ele está universalmente validado.³⁰⁸

28.1.6 Por que a transportabilidade é um problema?

• A transportabilidade de um modelo pode ser afetada por diferenças entre populações, como idade, gravidade da doença, prevalência do desfecho, critérios de inclusão e contexto assistencial.^307,308

• Também pode ser afetada por diferenças na forma de medir preditores e desfechos, como exames laboratoriais, métodos de imagem, julgamento clínico, protocolos locais e disponibilidade de recursos.^307,308

• Mesmo quando a discriminação permanece aparentemente estável, a calibração pode se deteriorar com o tempo, fenômeno conhecido como drift de calibração.^307,308

28.1.7 Quais são os principais riscos metodológicos em modelos preditivos?

• Entre os problemas comuns estão amostras pequenas, dados não representativos, ausência de validação externa, relato incompleto, seleção excessivamente orientada pelos dados, dicotomização de variáveis contínuas e tratamento inadequado de dados ausentes.³⁰⁶

• O desenvolvimento de novos modelos deve ser evitado quando já existem modelos relevantes para o mesmo desfecho e população, pois muitas vezes é mais útil validar, atualizar, ampliar ou estudar o impacto de modelos existentes.³⁰⁶

28.1.8 Como melhorar o uso de modelos preditivos?

• Estudos multicêntricos ajudam a avaliar a heterogeneidade de desempenho entre locais, populações e sistemas de saúde.³⁰⁸

• Modelos promissores devem ser submetidos a validações externas repetidas, bem relatadas e em diferentes contextos clínicos.³⁰⁸

• Antes da implementação local, recomenda-se validação no próprio serviço, com atenção especial à calibração.³⁰⁸

• Após a implementação, o desempenho deve ser monitorado ao longo do tempo, com possibilidade de recalibração ou atualização quando o modelo deixar de refletir a realidade clínica atual.^307,308

O pacote ggeffects³⁰⁹ fornece a função predict_response para calcular valores preditos marginais ou ajustados das variáveis de desfecho.

O pacote ggeffects³⁰⁹ fornece a função test_response para testar valores preditos marginais ou ajustados das variáveis de desfecho.

28.1.9 Como árvores de decisão são usadas para predição?

• Utilizam padrões históricos para prever resultados futuros em novos registros.³¹⁰

• Identificam combinações de fatores que elevam ou reduzem o risco de um evento clínico.³¹⁰

• Podem ser aplicadas em diagnósticos médicos para prever subtipos de condições ou diferentes respostas terapêuticas.³¹⁰

28.2 Interpretação e aplicação

28.2.1 Quais são as implicações do uso de árvores de decisão em predição?

• Tornam os resultados mais compreensíveis para clínicos e pesquisadores, com regras “se-então” claras.³¹⁰

• Auxiliam na formulação de hipóteses clínicas e direcionamento de futuras pesquisas.³¹⁰

• Podem ser estendidas para predição de sobrevivência, subgrupos de tratamento e análise de custo-benefício.³¹⁰

28.2.2 Por que o desempenho estatístico não basta?

• Um modelo pode apresentar boa discriminação e calibração, mas ainda assim não melhorar decisões clínicas se suas predições não forem usadas de modo adequado.^306,307

• Por isso, além de avaliar desempenho estatístico, é necessário avaliar a utilidade clínica do modelo, isto é, se ele ajuda a escolher melhor entre intervir, investigar, acompanhar ou não tratar.^306,307

• A análise de curva de decisão contribui justamente para essa etapa, pois compara o benefício líquido do modelo com estratégias simples, como “tratar todos” ou “tratar ninguém”.³¹¹

28.3 Análise de curva de decisão

28.3.1 O que é a análise de curva de decisão?

• Análise de curva de decisão é um método para avaliar a utilidade clínica de modelos preditivos em comparação às estratégias padrão “tratar todos” ou “tratar ninguém”.³¹²

28.3.2 O que significam os eixos da curva de decisão?

• O eixo vertical mostra o benefício líquido, ganho obtido ao usar o modelo em relação às estratégias de referência. O eixo horizontal mostra a preferência, que corresponde ao limiar de decisão: a probabilidade mínima de evento a partir da qual se recomenda intervir.³¹¹

• O limiar reflete o equilíbrio entre o risco de perder casos da doença e o risco de intervenções desnecessárias.³¹¹

28.3.3 Como interpretar o benefício líquido?

• O benefício líquido é o número de verdadeiros positivos obtidos ajustado pelo “custo” dos falsos positivos, expresso na mesma unidade dos verdadeiros positivos.³¹¹

• Quando a estratégia padrão é “tratar todos”, o benefício líquido também pode ser expresso como intervenções desnecessárias evitadas, facilitando a interpretação clínica.³¹¹

28.3.4 Por que é importante comparar sempre com “tratar todos” e “tratar nenhum”?

• Porque essas duas estratégias são frequentemente plausíveis em contextos reais: tratar todos os pacientes de risco ou tratar nenhum.³¹¹

• Um modelo ou teste só é considerado útil se apresentar maior benefício líquido do que ambas as estratégias, garantindo que realmente agrega valor clínico.³¹¹

• Essa comparação evita que um modelo com bom AUC mas má calibração seja usado, já que pode apresentar net benefit inferior às estratégias padrão.³¹¹

28.3.5 Quais são os limites e usos da análise de curva de decisão?

• A análise de curva de decisão não substitui uma análise de decisão completa ou uma avaliação de custo-efetividade, mas é mais simples e prática, exigindo apenas a definição de um intervalo de limiares de decisão razoáveis.³¹¹

• Em situações claras (modelo com nenhum benefício ou benefício amplo), pode dispensar análises complexas.³¹¹

• Em casos ambíguos, serve como primeiro passo antes de análises mais detalhadas.³¹¹

28.3.6 A análise de curva de decisão pode ser conduzida sem dados individuais de pacientes?

• Em modelos bem calibrados e com tamanho amostral adequado, a análise de curva de decisão pode ser realizada utilizando apenas estimativas sumárias (média e desvio-padrão).³¹²

28.3.7 Como funciona o cálculo do benefício líquido?

• O benefício líquido é estimado contrastando verdadeiros positivos e falsos positivos em diferentes limiares de decisão.³¹²

Citar como:
Ferreira, Arthur de Sá. Ciência com R: Perguntas e respostas para pesquisadores e analistas de dados. Rio de Janeiro: 1a edição,

Referências

306.

Smeden M van, Reitsma JB, Riley RD, Collins GS, Moons KG. Clinical prediction models: diagnosis versus prognosis. Journal of Clinical Epidemiology. 2021;132:142–145. doi:10.1016/j.jclinepi.2021.01.009

307.

Van Calster B, Smeden M van, Amsterdam W van, Coemans M, Wynants L, Steyerberg EW. The Enemies of Reliable and Useful Clinical Prediction Models: A Review of Statistical and Scientific Challenges. Annual Review of Statistics and Its Application. 2026;13(1):465–492. doi:10.1146/annurev-statistics-042324-123749

308.

Van Calster B, Steyerberg EW, Wynants L, Smeden M van. There is no such thing as a validated prediction model. BMC Medicine. 2023;21(1). doi:10.1186/s12916-023-02779-w

309.

Lüdecke D. ggeffects: Tidy Data Frames of Marginal Effects from Regression Models. Journal of Open Source Software. 2018;3:772. doi:10.21105/joss.00772

310.

Song YY, Lu Y. Decision tree methods: applications for classification and prediction. Shanghai archives of psychiatry. 2015;27(2):130–135. doi:10.11919/j.issn.1002-0829.215044

311.

Vickers AJ, Calster B van, Steyerberg EW. A simple, step-by-step guide to interpreting decision curve analysis. Diagnostic and Prognostic Research. 2019;3(1). doi:10.1186/s41512-019-0064-7

312.

Hozo I, Guyatt G, Djulbegovic B. Decision curve analysis based on summary data. Journal of Evaluation in Clinical Practice. 2023;30(2):281–289. doi:10.1111/jep.13945