Capítulo 40 Aprendizado de máquina

40.1 Aprendizado de máquina

40.1.1 O que é aprendizado de máquina?

• Treinar um modelo significa resolver um problema matemático no qual um conjunto de observações (dados) é usado para ajustar um modelo.³⁷⁶

• Modelos de aprendizado de máquina buscam capturar tendências gerais dos dados, ignorando particularidades excessivas para evitar sobreajuste (overfitting).³⁷⁶

• O processo deriva do conceito estatístico de regressão e corresponde, em essência, à solução de um problema em que há mais restrições do que graus de liberdade.³⁷⁶

Figura 40.1: Mapa mental de algoritmos de aprendizado de máquina.

O pacote fastml³⁷⁷ fornece a função train_models para treinar algoritmos de aprendizado de máquina em dados de treinamento pré-processados.

40.2 Tipos de aprendizado

40.2.1 O que é aprendizado supervisionado?

• Aprendizado supervisionado é um paradigma em que um conjunto de variáveis preditoras (entradas) é utilizado para prever uma variável resposta previamente rotulada, seja ela quantitativa (regressão) ou qualitativa (classificação).³⁷⁸

• O algoritmo aprende padrões gerais a partir de exemplos observados, guiado por um objetivo explícito de predição.³⁷⁸

• Durante o treinamento, o modelo ajusta seus parâmetros para minimizar uma função de erro que compara valores previstos com rótulos verdadeiros, buscando equilíbrio entre ajuste aos dados e capacidade de generalização.³⁷⁸

40.2.2 O que é aprendizado não supervisionado?

• Aprendizado não supervisionado é um paradigma em que o modelo tenta identificar padrões ou estruturas ocultas nos dados sem rótulos ou desfechos pré-definidos.³⁷⁹

• Diferentemente do aprendizado supervisionado, que busca prever um desfecho conhecido, o aprendizado não supervisionado é frequentemente utilizado para gerar descobertas orientadas por dados.³⁷⁹

• Esses métodos permitem identificar estruturas, agrupamentos, relações multivariadas e padrões latentes que não haviam sido previamente formulados como hipóteses.³⁷⁹

40.2.3 Quais são os limites do progresso em classificadores supervisionados?

• Os maiores ganhos de acurácia vêm de modelos simples, como análise discriminante linear; métodos mais sofisticados oferecem apenas ganhos marginais.³⁸⁰

• O aumento da complexidade do modelo traz retornos decrescentes em termos de redução da taxa de erro.³⁸⁰

40.2.4 Quais problemas práticos limitam a generalização de classificadores?

• Population drift: mudanças na distribuição dos dados ao longo do tempo degradam a performance de modelos.³⁸⁰

• Sample selectivity bias: amostras de treino podem não representar a população futura, levando a superestimação de desempenho.³⁸⁰

• Erros de rótulo e definições arbitrárias de classes comprometem a validade dos modelos.³⁸⁰

40.3 Fluxo de desenvolvimento de modelos

40.3.1 Qual é o fluxo para descoberta científica usando aprendizado de máquina?

• Formulação de uma pergunta científica validável.³⁷⁹

• Preparação e exploração dos dados.³⁷⁹

• Aplicação de múltiplos métodos de modelagem.³⁷⁹

• Validação dos resultados.³⁷⁹

• Comunicação e documentação dos achados.³⁷⁹

• O planejamento do processo deve ocorrer antes da análise, incluindo estratégias de validação e critérios para comparação dos modelos.³⁷⁹

40.3.2 Qual é o fluxo de desenvolvimento de modelos de aprendizado de máquina?

• Preparação e limpeza dos dados.³⁸¹

• Divisão em conjuntos de treinamento, validação e teste.³⁸¹

• Treinamento do modelo.³⁸¹

• Ajuste de hiperparâmetros.³⁸¹

• Avaliação do desempenho do modelo.³⁸¹

• Validação em dados independentes.³⁸¹

40.3.3 O que são conjuntos de treinamento, validação e teste?

• Conjunto de treinamento e validação são subdivisões dos dados, permitindo avaliar o desempenho do modelo em dados não utilizados durante o ajuste dos parâmetros.³⁸¹

• Conjunto de treinamento: usado para ajustar os parâmetros do modelo.³⁸¹

• Conjunto de validação: usado para comparar modelos e ajustar hiperparâmetros.³⁸¹

• Conjunto de teste: usado apenas para avaliar o desempenho final do modelo.³⁸¹

40.3.4 O que são hiperparâmetros?

• Parâmetros definidos antes do treinamento do modelo.³⁸¹

• Hiperparâmetros não são aprendidos diretamente a partir dos dados.³⁸¹

40.4 Principais algoritmos

40.4.1 Quais são os principais algoritmos de aprendizado de máquina?

• Modelos de regressão não penalizados, modelos de regressão penalizados, modelos baseados em árvores, modelos baseados em vizinhos, redes neurais, máquinas de vetores de suporte, Naive Bayes e ensembles do tipo superlearner.³⁸²

• Do ponto de vista matemático, redes neurais não contradizem a estatística clássica; elas a estendem, substituindo modelos explícitos por representações aprendidas.^REF?

Modelos de regressão	Redes neurais artificiais	Papel conceitual
Variável preditora (x)	Neurônio de entrada	Informação observada fornecida ao modelo
Coeficiente (β)	Peso (w)	Intensidade e direção da influência da variável
Intercepto (β₀)	Viés (b)	Deslocamento da fronteira de decisão
Combinação linear (β₀ + Σ βᵢxᵢ)	Soma ponderada (Σ wᵢxᵢ + b)	Agregação das entradas antes da não linearidade
Função de ligação (link)	Função de ativação	Introdução de não linearidade
Regressão linear	Neurônio linear	Modelo puramente linear
Regressão logística	Perceptron com ativação sigmoide	Classificação binária probabilística
Log-odds	Entrada da função sigmoide	Escala interna antes da probabilidade
Predição (ŷ)	Saída do neurônio	Resposta estimada do modelo
Função de perda	Função de perda (loss)	Quantificação do erro de predição
Máxima verossimilhança	Otimização da função de perda	Ajuste dos parâmetros do modelo
Gradiente da verossimilhança	Retropropagação (backpropagation)	Direção de atualização dos parâmetros
Regularização (L1, L2)	Penalização de pesos (weight decay)	Controle de complexidade e overfitting
Interações explícitas	Interações aprendidas implicitamente	Modelagem de efeitos combinados
Modelo interpretável	Modelo geralmente opaco	Trade-off entre interpretação e flexibilidade

40.4.2 Por que estudos comparativos entre classificadores podem ser enganosos?

• Resultados dependem da experiência do pesquisador com cada método, da escolha dos conjuntos de dados e do critério de avaliação usado.³⁸⁰

• Diferenças pequenas em acurácia frequentemente desaparecem quando se consideram incertezas reais de aplicação.³⁸⁰

40.5 Regressão logística

40.5.1 O que é regressão logística?

• Modelos logísticos são casos de regressão linear generalizada em que a resposta \(Y\) é binária.³³¹

• A equação (31.8) modela a razão de chances (odds) em função dos preditores.³³¹

\[\begin{equation} \tag{31.8} \log\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X + ... + \beta_n X_n \end{equation}\]

• A ligação (link) usada é o logit (31.9).³³¹

\[\begin{equation} \tag{31.9} g(p) = \log\left(\frac{p}{1-p}\right) \end{equation}\]

Figura 40.2: Regressão logística.

40.5.2 Por que utilizar regressão logística em problemas de classificação?

• Quando a variável resposta é categórica, um método comum para estimar probabilidades e realizar classificação é a regressão logística, que modela a probabilidade de pertencimento a uma classe em função de variáveis preditoras.³⁸³

• Diferentemente da regressão linear, que pode produzir valores fora do intervalo \([0,1]\), a regressão logística utiliza uma função sigmoide que transforma combinações lineares de preditores em probabilidades válidas.³⁸³

• A função logística relaciona a probabilidade \(p\) ao logaritmo da razão de chances (log-odds), produzindo uma relação linear entre o log-odds e os preditores.³⁸³

• Essa formulação permite interpretar os coeficientes do modelo como efeitos aditivos sobre o log-odds do evento de interesse.³⁸³

• Uma vez estimados os parâmetros, a probabilidade prevista pode ser obtida pela transformação inversa, o que gera uma curva signmóide, adequada para modelar transições graduais entre classes.³⁸³

40.6 Máquina de vetores de suporte

40.6.1 O que são máquinas de vetores de suporte?

• Máquinas de Vetores de Suporte (SVM) são métodos supervisionados que buscam encontrar um hiperplano que maximize a margem entre classes, utilizando apenas os vetores de suporte — os pontos mais próximos da fronteira decisória.³⁷⁸

• O equilíbrio entre margem e penalização de erros é controlado pelo hiperparâmetro \(C\), que regula o trade-off entre viés e variância.³⁷⁸

• Valores elevados de \(C\) reduzem violações da margem, mas aumentam risco de overfitting; valores menores favorecem margens mais amplas e maior regularização.³⁷⁸

40.7 K-nearest neighbours

40.7.1 O que é k-nearest neighbours?

• O algoritmo k-nearest neighbors (kNN) classifica novos pontos com base na maioria de votos entre os \(k\) vizinhos mais próximos.³⁷⁸

• O kNN não assume fronteira paramétrica específica, sendo considerado método não paramétrico.³⁷⁸

• O valor de \(k\) atua como parâmetro de regularização: valores pequenos produzem fronteiras altamente flexíveis (alta variância), enquanto valores maiores produzem fronteiras mais suaves (maior viés).³⁷⁸

Figura 40.3: Classificação usando o algoritmo KNN.

40.8 Árvores de decisão

40.8.1 O que são árvores de decisão?

• São modelos de aprendizado supervisionado que dividem os dados em ramos e folhas, representando regras de decisão de forma hierárquica.³⁰⁹

• Podem lidar eficientemente com grandes conjuntos de dados sem pressupor estrutura paramétrica complexa.³⁰⁷

• São aplicáveis a variáveis contínuas e discretas, tanto como preditoras quanto como desfechos.³⁰⁷

Figura 40.4: Árvore de decisão para predizer depressão a partir de idade, tabagismo e sintomas.

40.8.2 Quais são os principais usos de árvores de decisão?

• Seleção de variáveis relevantes em cenários com muitos preditores, como registros clínicos eletrônicos.³⁰⁷

• Avaliação da importância relativa das variáveis, com base na redução da pureza dos nós ou da acurácia ao remover variáveis.³⁰⁷

• Tratamento de valores ausentes, seja classificando-os como categoria própria ou imputando-os por previsão dentro da árvore.³⁰⁷

• Predição de novos casos a partir de dados históricos.³⁰⁷

• Manipulação de dados, colapsando categorias muito numerosas ou subdividindo variáveis contínuas assimétricas.³⁰⁷

40.8.3 Quais são os componentes básicos de uma árvore de decisão?

• Nós raiz (ou de decisão): subdividem todos os registros iniciais.³⁰⁷

• Nós internos (ou de chance): representam subdivisões intermediárias.³⁰⁷

• Nós folha (ou finais): resultados finais após sucessivas divisões.³⁰⁷

• Ramos: representam condições “se-então”, ligando nós em sequência até a classificação final.³⁰⁷

40.8.4 Como árvores de decisão realizam as divisões nos dados?

• Árvores de decisão são construídas por um processo iterativo de particionamento do espaço dos preditores, no qual os dados são divididos em subconjuntos cada vez mais homogêneos em relação ao desfecho.³⁸⁴

• Em cada etapa, o algoritmo avalia todos os possíveis pontos de divisão de uma variável preditora e seleciona aquele que maximiza o ganho de informação, isto é, a redução da mistura de classes entre os subconjuntos resultantes.³⁸⁴

• O processo de divisão continua recursivamente até que seja atingido um critério de parada, como número mínimo de observações por nó, profundidade máxima da árvore ou redução mínima do erro.³⁸⁴

• Alternativamente, a árvore pode ser inicialmente construída em sua forma completa e posteriormente simplificada por poda (pruning), geralmente utilizando validação cruzada para remover ramos pouco informativos e reduzir o risco de overfitting.³⁸⁴

40.8.5 Como funcionam splitting, stopping e pruning?

• Splitting: divide registros em subconjuntos mais homogêneos com base em métricas como entropia, índice de Gini e ganho de informação.³⁰⁷

• Stopping: evita árvores excessivamente complexas ao definir parâmetros como número mínimo de registros por nó ou profundidade máxima.³⁰⁷

• Pruning: reduz árvores grandes eliminando ramos pouco informativos, usando validação ou métodos como qui-quadrado.³⁰⁷

40.8.6 Quais são as vantagens e limitações de árvores de decisão?

• Vantagens: simplificam relações complexas; são intuitivas e fáceis de interpretar; não exigem pressupostos de distribuição; lidam bem com valores ausentes e dados enviesados; são robustas a outliers.³⁰⁷

• Limitações: podem sofrer overfitting ou underfitting em amostras pequenas; podem selecionar variáveis correlacionadas sem relação causal real.³⁰⁷

40.8.7 Espaço de decisão em árvores de decisão vs. regressão logística

• A regressão logística assume relações lineares entre variáveis e log-odds.³⁰⁹

• Árvores de decisão permitem capturar relações não lineares e interações de forma automática.³⁰⁹

Figura 40.5: Comparação entre modelos de regressão logística e árvore de decisão.

O pacote h2o³⁸⁵ fornece funções construir modelos de aprendizado de máquina.

O pacote correctR³⁵⁰ fornece as funções kfold_ttest, repkfold_ttest e resampled_ttest para calcular estatística para comparação de modelos de aprendizado de máquina em amostras dependentes.

O pacote caret³⁸⁶ fornece um conjunto de funções para pré-processamento, ajuste, avaliação e comparação de modelos de aprendizado de máquina.

O pacote mlr3³⁸⁷ fornece funções para fluxos de trabalho complexos, incluindo pré-processamento, ajuste de hiperparâmetros e integração com diversos algoritmos.

40.9 Random forests

40.9.1 O que são random forests?

• .^REF?

40.10 K-means Clustering

40.10.1 O que é K-means clustering?

• O k-means clustering é um algoritmo de aprendizado não supervisionado utilizado para particionar um conjunto de dados em \(k\) grupos, de modo que observações dentro do mesmo grupo apresentem maior similaridade entre si do que em relação às observações de outros grupos.³⁸⁸

• O método pode ser interpretado como um problema de quantização de dados, no qual se busca representar um conjunto de \(N\) observações em um espaço vetorial \(d\) d-dimensional por meio de \(k\) centros ou centroides.³⁸⁸

• O objetivo do algoritmo é minimizar a soma dos quadrados das distâncias entre cada ponto e o centroide do cluster ao qual pertence, conhecida como within-cluster sum of squares (\(WCSS\)) ou sum of squared errors (\(SSE\)).³⁸⁸

Figura 40.6: Aplicação do algoritmo k-means para identificar grupos em um conjunto de dados bidimensional.

40.10.2 Existe um número ótimo de clusters?

• Diferentemente de muitos problemas de aprendizado supervisionado, não existe necessariamente um único número correto de clusters.³⁸⁸

• A análise de clusters deve ser vista como uma técnica exploratória, na qual diferentes soluções podem revelar estruturas relevantes em diferentes níveis de granularidade.³⁸⁸

• A escolha do número de clusters deve considerar não apenas critérios quantitativos, mas também interpretação substantiva e conhecimento do domínio.³⁸⁸

40.10.3 Como escolher o número de clusters?

• Um dos principais desafios na aplicação do algoritmo k-means é determinar o número apropriado de clusters \(k\), uma vez que esse parâmetro precisa ser especificado antes da execução do algoritmo.³⁸⁸

• O algoritmo busca minimizar a soma dos quadrados das distâncias entre cada observação e o centroide do cluster mais próximo, conhecida como soma dos quadrados dentro dos clusters (within-cluster sum of squares, \(WCSS\) ou \(SSE\)).³⁸⁸

• Como o valor da \(SSE\) tende a diminuir conforme aumenta o número de clusters, torna-se necessário utilizar algum critério para identificar um valor de \(k\) que represente uma boa estrutura nos dados.³⁸⁸

40.10.4 Por que o método do “cotovelo” pode ser problemático?

• O método do cotovelo (elbow method) consiste em plotar a \(SSE\) em função do número de clusters e escolher o ponto em que ocorre uma mudança abrupta na inclinação da curva.³⁸⁸

• A intuição é que, após certo número de clusters, o ganho em redução do erro passa a apresentar retornos decrescentes.³⁸⁸

• Entretanto, curvas semelhantes podem surgir mesmo quando os dados não possuem estrutura de clusters real.³⁸⁸

Em muitos conjuntos de dados reais, o ponto de “cotovelo” não é claramente identificável, o que torna a escolha subjetiva.³⁸⁸

• Diferentes heurísticas para detectar automaticamente o cotovelo frequentemente produzem resultados inconsistentes ou dependentes da escala dos dados.³⁸⁸

40.11 Análise de componentes principais

40.11.1 O que é análise de componentes principais?

• A análise de componentes principais é uma técnica estatística amplamente utilizada para redução de dimensionalidade, para representar dados de alta dimensão por um conjunto menor de variáveis, preservando o máximo possível da variabilidade original.³⁸⁹

• O primeiro componente principal é definido como a direção, de comprimento unitário, que maximiza a variância dos dados projetados. Ele corresponde ao eixo ao longo do qual os dados apresentam a maior dispersão, concentrando a maior quantidade de informação estatística disponível.³⁸⁹

• O segundo componente principal é a direção que maximiza a variância restante, sob a condição de ser ortogonal ao primeiro componente. Essa restrição garante que cada novo componente adicione informação nova, não redundante, à representação dos dados.³⁸⁹

• Esse procedimento é repetido para os componentes subsequentes, de forma que cada componente principal seja ortogonal aos anteriores e capture a maior variância possível ainda não explicada, resultando em uma ordenação natural dos componentes por importância.³⁸⁹

• A análise de componentes principais produz uma base ortogonal que impõe uma geometria específica à representação dos dados, restringindo a forma como os dados podem ser reconstruídos a partir dos componentes principais.³⁸⁹

• Embora os componentes principais descrevam de maneira eficiente a variabilidade dos dados, eles nem sempre correspondem aos fatores geradores subjacentes do fenômeno estudado.³⁸⁹

• A análise de componentes principais pode ainda introduzir padrões artificiais, criando uma aparência de estrutura que não reflete necessariamente os processos reais de geração dos dados.³⁸⁹

Figura 40.7: Análise de Componentes Principais (PCA). O PC1 maximiza variância total, mas pode não alinhar com o fator latente real (z1).

O pacote mlr3³⁸⁷ fornece funções para fluxos de trabalho complexos, incluindo pré-processamento, ajuste de hiperparâmetros e integração com diversos algoritmos.

40.12 Métricas de distância e similaridade

40.12.1 O que é uma métrica?

• Uma métrica é uma função que quantifica a distância entre dois objetos em um espaço vetorial, obedecendo propriedades como não-negatividade, identidade, simetria e desigualdade triangular.^REF?

40.12.2 Quais são as principais métricas?

• Distância Manhattan (40.1): soma das diferenças absolutas entre as coordenadas dos pontos.^REF?

\[\begin{equation} \tag{40.1} d(x, y) = \sum_{i=1}^{n} |x_i - y_i| \end{equation}\]

• Distância Euclidiana (40.2): raiz quadrada da soma dos quadrados das diferenças entre as coordenadas dos pontos.^REF?

\[\begin{equation} \tag{40.2} d(x, y) = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2} \end{equation}\]

• Distância Minkowski: (40.3): generalização das distâncias de Manhattan e Euclidiana, onde o parâmetro \(p\) determina a ordem da métrica. Para \(p=1\), é equivalente à distância de Manhattan; para \(p=2\), é equivalente à distância Euclidiana.^REF?

\[\begin{equation} \tag{40.3} d(x, y) = \left( \sum_{i=1}^{n} |x_i - y_i|^p \right)^{\frac{1}{p}} \end{equation}\]

• Distância Chebyshev (40.4): máximo das diferenças absolutas entre as coordenadas dos pontos, representando a distância em um espaço onde o movimento é permitido em todas as direções.^REF?

\[\begin{equation} \tag{40.4} d(x, y) = \max_{i} |x_i - y_i| \end{equation}\]

• Similaridade cosseno (40.5): medida de similaridade entre dois vetores que calcula o cosseno do ângulo entre eles, variando de -1 (totalmente opostos) a 1 (totalmente semelhantes).^REF?

\[\begin{equation} \tag{40.5} \text{similaridade}(x, y) = \frac{x \cdot y}{\|x\| \|y\|} \end{equation}\]

• Distância de Hamming (40.6): número de posições em que os símbolos correspondentes de duas sequências de igual comprimento são diferentes, frequentemente usada para medir a diferença entre strings ou códigos binários.^REF?

\[\begin{equation} \tag{40.6} d(x, y) = \sum_{i=1}^{n} \mathbf{1}(x_i \neq y_i) \end{equation}\]

• Índice de Jaccard (40.7): medida de similaridade entre conjuntos, calculada como a razão entre a interseção e a união dos conjuntos, variando de 0 (sem elementos em comum) a 1 (conjuntos idênticos).^REF?

\[\begin{equation} \tag{40.7} \text{similaridade}(A, B) = \frac{|A \cap B|}{|A \cup B|} \end{equation}\]

Figura 40.8: Visualização de diferentes métricas de distância e similaridade.

40.12.3 Como escolher a métrica adequada?

• A escolha da métrica depende do tipo de dados (contínuos, categóricos, binários), da escala das variáveis, da presença de outliers e do objetivo da análise (agrupamento, classificação, etc.).^REF?

40.12.4 Quais métricas são indicadas para avaliar modelos preditivos?

• A área sob a curva ROC (AUROC) como medida de discriminação.^390,391

• Um gráfico de calibração para avaliar a concordância entre probabilidades estimadas e proporções observadas.^390,391

• Uma medida de utilidade clínica como o net benefit por meio de decision curve analysis.^390,391

• Um gráfico que mostre a distribuição das probabilidades preditas por categoria de desfecho.^390,391

40.12.5 Quais métricas são consideradas inadequadas?

• Todas as métricas puramente baseadas em classificação dependente de limiar são consideradas impróprias para limiares clinicamente relevantes, exceto quando o limiar é 0,5 ou igual à prevalência verdadeira.³⁹⁰

• Métricas derivadas da matriz de confusão não devem ser usadas isoladamente como critério principal de avaliação, pois dependem da escolha do limiar e não refletem diretamente a utilidade, especialmente em cenários com dados desbalanceados.³⁹⁰

• O F-score \(F_{\beta}\) pode produzir classificações de modelos inconsistentes com a utilidade clínica, favorecendo modelos menos úteis em cenários reais de decisão médica.³⁹¹

• O F-score \(F_{\beta}\) exige a dicotomização das probabilidades preditas, o que é indesejável em modelos, já que a tomada de decisão frequentemente depende de uma faixa contínua de riscos e de limiares que variam entre indivíduos e contextos.³⁹¹

• O F1-score (\(F1\)) é explicitamente desencorajado como métrica principal porque não tem um foco claro em desempenho estatístico e é uma medida inadequada dentro de sua própria categoria conceitual.³⁹⁰

40.13 Avaliação de modelos de classificação

40.13.1 Por que é importante avaliar o desempenho de classificação?

• Para evitar estimativas otimistas de desempenho, modelos devem ser avaliados em dados que não foram utilizados durante o treinamento.³⁸¹

• Essa separação entre dados de treinamento e validação permite estimar a capacidade de generalização do algoritmo em novos dados.³⁸¹

40.13.2 O que é uma matriz de confusão 2x2?

• A matriz de confusão é uma tabela de contingência 2×2 utilizada para avaliar o desempenho de um classificador binário, comparando as classes verdadeiras observadas com as classes previstas pelo modelo.³⁹²

• Em aprendizado supervisionado, ela permite decompor os erros de classificação e analisar como o modelo se comporta em relação a cada classe.³⁹²

40.13.3 Como interpretar uma matriz de confusão 2x2?

• Verdadeiro-positivo (\(VP\)): instância cuja classe verdadeira é positiva e foi corretamente classificada como positiva.³⁹²

• Falso-negativo (\(FN\)): instância positiva que foi incorretamente classificada como negativa.³⁹²

• Verdadeiro-negativo (\(VN\)): instância negativa corretamente classificada como negativa.³⁹²

• Falso-positivo (\(FP\)): instância negativa incorretamente classificada como positiva.³⁹²

Tabela 40.1: Tabela de confusão 2x2 para análise de desempenho diagnóstico de testes e variáveis dicotômicas.

	Classe predita correta	Classe predita incorreta	Total
Classe verdadeira correta	\(VP\)	\(FP\)	\(VP+FP\)
Classe verdadeira incorreta	\(FN\)	\(VN\)	\(FN+VN\)
Total	\(VP+FN\)	\(FP+VN\)	\(N=VP+VN+FP+FN\)

40.13.4 Quais métricas caracterizam o desempenho de um classificador?

• Acurácia (\(ACU\)) (40.8): Proporção de classificações corretas (verdadeiros-positivos e verdadeiros-negativos) em relação ao total de casos.³⁹²

\[\begin{equation} \tag{40.8} ACU = \dfrac{VP + VN}{VP + FN + VN + FP} \end{equation}\]

• Precisão (\(PRE\)) (40.9): Proporção de verdadeiro-positivos dentre aqueles classificados como positivos.³⁹²

\[\begin{equation} \tag{40.9} PRE = \dfrac{VP}{VP + FP} \end{equation}\]

• Revocação (\(REV\)) (40.10): Proporção de verdadeiro-positivos dentre aqueles com a condição, equivalente à sensibilidade.³⁹²

\[\begin{equation} \tag{40.10} REV = \dfrac{VP}{VP + FN} \end{equation}\]

• F-beta score (\(F_{\beta}\)) (40.11): Média harmônica ponderada entre precisão e revocação, onde \(\beta < 1\) prioriza precisão (\(PRE\)) e \(\beta > 1\) prioriza sensibilidade \(SEN\) ou \(REV\).³⁹¹

\[\begin{equation} \tag{40.11} F_{\beta} = \dfrac{(1+\beta^{2}) \times TP}{(1+\beta^{2}) \times TP + \beta^{2} \times FN + FP} \end{equation}\]

• F1-score (\(F1\)) (40.12): Média harmônica entre precisão e revocação, balanceando ambos os aspectos do desempenho (\(\beta = 1\)).³⁹²

\[\begin{equation} \tag{40.12} F1 = 2 \times \dfrac{PRE \times REV}{PRE + REV} \end{equation}\]

40.14 Baselines em classificação

40.14.1 O que são baselines?

• Baselines são modelos extremamente simples que ignoram as variáveis preditoras e produzem previsões com base apenas na distribuição das classes ou em estratégias aleatórias simples.³⁹³

40.14.2 Por que é necessário comparar classificadores com um baseline?

• A avaliação de um classificador requer a comparação com um nível mínimo de desempenho esperado, denominado baseline.³⁹³

• O objetivo de um baseline é estabelecer um ponto de referência para determinar se um modelo preditivo realmente apresenta desempenho superior ao acaso ou a estratégias triviais.³⁹³

• Sem essa referência, métricas aparentemente altas podem ser enganosas, especialmente em conjuntos de dados com desbalanceamento de classes.³⁹³

40.14.3 Quais são os principais classificadores baseline?

• Baselines baseados em aleatoriedade produzem distribuições de desempenho (por exemplo, acurácia média próxima de 0,5 em classificação binária), de modo que a superioridade de um modelo deve ser avaliada em relação à variabilidade esperada desses valores.³⁹³

• Esses modelos ignoram completamente as variáveis preditoras e, portanto, representam estratégias mínimas de classificação.³⁹³

• Predição aleatória uniforme (uniform random): cada classe é prevista com igual probabilidade, independentemente da distribuição observada nos dados.³⁹³

• Predição aleatória proporcional (proportional random): as classes são previstas aleatoriamente, mas respeitando as proporções observadas no conjunto de treinamento.³⁹³

• Predição da classe mais frequente (most frequent): o modelo sempre prevê a classe mais comum no conjunto de dados.³⁹³

40.14.4 Como o desbalanceamento de classes afeta o baseline?

• Em conjuntos de dados balanceados, os baselines uniforme e proporcional tendem a apresentar desempenho semelhante.³⁹³

• Em dados desbalanceados, o baseline proporcional frequentemente apresenta maior acurácia e especificidade, mas sensibilidade muito baixa para a classe minoritária.³⁹³

• O baseline da classe mais frequente pode apresentar acurácia elevada mesmo sem qualquer capacidade real de discriminação.³⁹³

• Por isso, métricas devem sempre ser interpretadas em relação ao desempenho esperado de um baseline apropriado.³⁹³

40.14.5 Como usar baselines na avaliação de modelos?

• O desempenho de um classificador deve ser considerado relevante apenas quando supera claramente o desempenho esperado do baseline.³⁹³

• Em dados desbalanceados, o baseline proporcional geralmente é o mais adequado, pois incorpora a distribuição real das classes.³⁹³

• Em aplicações com eventos raros, pode ser apropriado utilizar o baseline da classe mais frequente como referência prática.³⁹³

• Em alguns casos, pode-se avaliar a distribuição de desempenho do baseline por simulação para determinar limiares estatisticamente superiores ao acaso.³⁹³

40.15 Desbalanceamento de classes

40.15.1 O que é desbalanceamento de classes?

• Ocorre quando as classes do desfecho (por exemplo, presença vs. ausência de um evento) não estão igualmente representadas nos dados de treinamento.^REF?

40.15.2 Por que o desbalanceamento de classes é um problema?

• Modelos podem aprender a priorizar a classe mais frequente, obtendo alta acurácia global, mas baixo desempenho para a classe minoritária.^REF?

• Isso pode comprometer métricas como sensibilidade, especificidade e, em alguns casos, a calibração.^REF?

40.15.3 Como lidar com desbalanceamento de classes?

• Reamostragem aleatória: superamostragem da classe minoritária; subamostragem da classe majoritária).^REF?

• Ajuste de pesos: penaliza mais os erros na classe menos frequente.^REF?

• Alteração do limiar de decisão: muda o ponto de corte de probabilidade para otimizar métricas específicas.^REF?

40.15.4 O desbalanceamento de classes afeta a calibração de modelos?

• Corrigir o desbalanceamento de classes nem sempre melhora a calibração e, em alguns casos, pode piorá-la.³⁹⁴

• Em simulações computacionais, modelos sem correção tiveram calibração igual ou superior aos corrigidos.³⁹⁴

• A piora observada foi caracterizada por superestimação do risco, nem sempre reversível com re-calibração.³⁹⁴

Citar como:
Ferreira, Arthur de Sá. Ciência com R: Perguntas e respostas para pesquisadores e analistas de dados. Rio de Janeiro: 1a edição,

Referências

307.

Song YY, Lu Y. Decision tree methods: applications for classification and prediction. Shanghai archives of psychiatry. 2015;27(2):130–135. doi:10.11919/j.issn.1002-0829.215044

309.

Hozo I, Guyatt G, Djulbegovic B. Decision curve analysis based on summary data. Journal of Evaluation in Clinical Practice. 2023;30(2):281–289. doi:10.1111/jep.13945

331.

Fernandes AAT, Figueiredo Filho DB, Rocha EC da, Nascimento W da S. Read this paper if you want to learn logistic regression. Revista de Sociologia e Política. 2020;28(74). doi:10.1590/1678-987320287406en

350.

Henderson T. correctR: Corrected Test Statistics for Comparing Machine Learning Models on Correlated Samples.; 2025. https://CRAN.R-project.org/package=correctR.

376.

Burger T. Keeping generative artificial intelligence reliable in omics biology. Patterns. 2026;7(1):101417. doi:10.1016/j.patter.2025.101417

377.

Korkmaz S, Goksuluk D, Karaismailoglu E. fastml: Guarded Resampling Workflows for Safe and Automated Machine Learning in R.; 2026. doi:10.32614/CRAN.package.fastml

378.

Bzdok D, Krzywinski M, Altman N. Machine learning: supervised methods. Nature Methods. 2018;15(1):5–6. doi:10.1038/nmeth.4551

379.

Chang A, Tang T, Zikry T, Allen G. Unsupervised machine learning for scientific discovery: workflow and best practices. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 2026;384(2321). doi:10.1098/rsta.2024.0602

380.

Hand DJ. Classifier Technology and the Illusion of Progress. Statistical Science. 2006;21(1). doi:10.1214/088342306000000060

381.

Sidey-Gibbons JAM, Sidey-Gibbons CJ. Machine learning in medicine: a practical introduction. BMC Medical Research Methodology. 2019;19(1). doi:10.1186/s12874-019-0681-4

382.

Andaur Navarro CL, Damen JAA, Smeden M van, et al. Systematic review identifies the design and methodological conduct of studies on machine learning-based prediction models. Journal of Clinical Epidemiology. 2023;154:8–22. doi:10.1016/j.jclinepi.2022.11.015

383.

Lever J, Krzywinski M, Altman N. Logistic regression. Nature Methods. 2016;13(7):541–542. doi:10.1038/nmeth.3904

384.

Krzywinski M, Altman N. Classification and regression trees. Nature Methods. 2017;14(8):757–758. doi:10.1038/nmeth.4370

385.

Fryda T, LeDell E, Gill N, et al. h2o: R Interface for the ’H2O’ Scalable Machine Learning Platform.; 2024. doi:10.32614/CRAN.package.h2o

386.

Kuhn, Max. Building Predictive Models in R Using the caret Package. Journal of Statistical Software. 2008;28(5):1–26. doi:10.18637/jss.v028.i05

387.

Lang M, Binder M, Richter J, et al. mlr3: A modern object-oriented machine learning framework in R.; 2019. doi:10.21105/joss.01903

388.

Schubert E. Stop using the elbow criterion for k-means and how to choose the number of clusters instead. ACM SIGKDD Explorations Newsletter. 2023;25(1):36–42. doi:10.1145/3606274.3606278

389.

Dyer EL, Kording K. Why the simplest explanation isn’t always the best. Proceedings of the National Academy of Sciences. 2023;120(52). doi:10.1073/pnas.2319169120

390.

Van Calster B, Collins GS, Vickers AJ, et al. Evaluation of performance measures in predictive artificial intelligence models to support medical decisions: overview and guidance. The Lancet Digital Health. 2025;7(12):100916. doi:10.1016/j.landig.2025.100916

391.

Assel M, Vickers A. The F score ranks diagnostic tests and prediction models inconsistently with their clinical utility. Diagnostic and Prognostic Research. 2025;9(1). doi:10.1186/s41512-025-00214-7

392.

Hicks SA, Strümke I, Thambawita V, et al. On evaluation metrics for medical applications of artificial intelligence. Scientific Reports. 2022;12(1). doi:10.1038/s41598-022-09954-8

393.

Megahed FM, Chen YJ, Jones-Farmer LA, Rigdon SE, Krzywinski M, Altman N. Comparing classifier performance with baselines. Nature Methods. 2024;21(4):546–548. doi:10.1038/s41592-024-02234-5

394.

Carriero A, Luijken K, Hond A de, Moons KGM, Calster B van, Smeden M van. The Harms of Class Imbalance Corrections for Machine Learning Based Prediction Models: A Simulation Study. Statistics in Medicine. 2025;44(3-4). doi:10.1002/sim.10320