Capítulo 63 Estudo metodológico


63.1 Concordância


63.1.1 O que é concordância?


63.1.2 Quais métodos são adequados para análise de concordância de variáveis dicotômicas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.506,507
Tabela 63.1: Tabela de confusão 2x2 para análise de concordância de testes e variáveis dicotômicas.
Teste positivo Teste negativo Total
Teste positivo \(a\) \(b\) \(g=a+b\)
Teste negativo \(c\) \(d\) \(h=c+d\)
Total \(e=a+c\) \(f=b+d\) \(N=a+b+c+d\)






63.1.3 Quais métodos são adequados para análise de concordância de variáveis categóricas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.506,507

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.506,507

Tabela 63.2: Tabela de confusão 3x3 para análise de concordância de testes e variáveis dicotômicas.
Grave Moderado Leve Total
Grave \(a\) \(b\) \(c\) \(j=a+b+c\)
Moderado \(d\) \(e\) \(f\) \(k=d+e+f\)
Leve \(g\) \(h\) \(i\) \(l=g+h+i\)
Total \(j=a+d+g\) \(k=b+e+h\) \(l=c+f+i\) \(N=a+b+c+d+e+f+g+h+i\)


63.1.4 Quais métodos são adequados para análise de concordância de variáveis ordinais?

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.506,507


63.1.5 Quais métodos são adequados para análise de concordância de variáveis contínuas?

  • Gráfico de dispersão com a reta de regressão.173

  • Gráfico de limites de concordância (média dos testes vs. diferença entre testes) com a reta de regressão do viés e respectivo no nível de significância \(\alpha\) pré-estabelecido.173



63.1.6 Quais métodos são adequados para modelagem de concordância?

  • Modelo log-linear.510


63.1.7 Quais métodos não são adequados para análise de concordância de variáveis contínuas?

  • Comparação de médias: dois métodos apresentarem médias similares (sem diferença estatística) após um teste inferencial de hipótese nula \(H_{0}:\mu_{1} = \mu_{2}\) não informa sobre a concordância deles.173

  • Correlação bivariada: o coeficiente de correlação dependente tanto da variação entre indivíduos (entre os valores verdadeiros) quanto da variação intraindividual (erro de medida).173

  • Regressão linear: o teste da hipótese nula da inclinação da reta de regressão (\(H_{0}:\beta = 0\)) é equivalente a testar a correlação bivariada (\(H_{0}:\rho = 0\)).173


63.1.8 Quais métodos não são adequados para análise de concordância de variáveis dicotômicas?

  • Concordância absoluta \(C_{A}\): quantidade de casos em que examinadores concordam não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.510

  • Concordância percentual \(C_{\%}\): proporção de casos em que examinadores concordam pela quantidade total de casos não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.510

  • Qui-quadrado \(\chi^2\): calculada a partir da tabela de contigência não é recomendado porque tal teste analisa associação.510

  • A família de coeficientes de Cohen \(\kappa\) não é adequada para analisar concordância quando as variáveis são aparentemente (e não originalmente) dicotômicas.510


63.2 Confiabilidade


63.2.1 O que é confiabilidade?


63.2.2 Quais métodos são adequados para análise de confiabilidade?








63.3 Diretrizes para redação


63.3.1 Quais são as diretrizes para redação de estudos de propriedades psicométricas?

  • Visite a rede Enhancing the QUAlity and Transparency Of health Research (EQUATOR Network) para encontrar diretrizes específicas.

  • Guidelines for reporting reliability and agreement studies (GRRAS) were proposed.513



Citar como:
Ferreira, Arthur de Sá. Ciência com R: Perguntas e respostas para pesquisadores e analistas de dados. Rio de Janeiro: 1a edição,


Referências

173.
Altman DG, Bland JM. Measurement in Medicine: The Analysis of Method Comparison Studies. The Statistician. 1983;32(3):307. doi:10.2307/2987937
368.
William Revelle. psych: Procedures for Psychological, Psychometric, and Personality Research.; 2023. https://CRAN.R-project.org/package=psych.
506.
Scott WA. Reliability of Content Analysis: The Case of Nominal Scale Coding. Public Opinion Quarterly. 1955;19(3):321. doi:10.1086/266577
507.
Cohen J. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. 1960;20(1):37–46. doi:10.1177/001316446002000104
508.
Gamer M, Lemon J, Ian Fellows Puspendra Singh. irr: Various Coefficients of Interrater Reliability and Agreement.; 2019. doi:10.32614/CRAN.package.irr
509.
Lehnert B. BlandAltmanLeh: Plots (Slightly Extended) Bland-Altman Plots.; 2015. https://CRAN.R-project.org/package=BlandAltmanLeh.
510.
Banerjee M, Capozzoli M, McSweeney L, Sinha D. Beyond kappa: A review of interrater agreement measures. Canadian Journal of Statistics. 1999;27(1):3–23. doi:10.2307/3315487
511.
Contributors semTools. semTools: Useful tools for structural equation modeling.; 2016. https://CRAN.R-project.org/package=semTools.
512.
Quartagno M, Carpenter J. jomo: A package for Multilevel Joint Modelling Multiple Imputation.; 2023. https://CRAN.R-project.org/package=jomo.
513.
Kottner J, Audigé L, Brorson S, et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. Journal of Clinical Epidemiology. 2011;64(1):96–106. doi:10.1016/j.jclinepi.2010.03.002