Capítulo 54 Estudos metodológicos


54.1 Concordância


54.1.1 O que é concordância?


54.1.2 Quais métodos são adequados para análise de concordância de variáveis dicotômicas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.445,446
Tabela 54.1: Tabela de confusão 2x2 para análise de concordância de testes e variáveis dicotômicas.
Teste positivo Teste negativo Total
Teste positivo \(a\) \(b\) \(g=a+b\)
Teste negativo \(c\) \(d\) \(h=c+d\)
Total \(e=a+c\) \(f=b+d\) \(N=a+b+c+d\)





54.1.3 Quais métodos não são adequados para análise de concordância de variáveis dicotômicas?

  • Concordância absoluta \(C_{A}\) — quantidade de casos em que examinadores concordam — não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.311

  • Concordância percentual \(C_{\%}\) — proporção de casos em que examinadores concordam pela quantidade total de casos — não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.311

  • Qui-quadrado \(\chi^2\) a partir da tabela de contigência não é recomendado porque tal teste analisa associação.311

  • A família de coeficientes de Cohen \(\kappa\) não é adequada para analisar concordância quando as variáveis são aparentemente (e não originalmente) dicotômicas.311



54.1.4 Quais métodos são adequados para análise de concordância de variáveis categóricas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.445,446

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.445,446

Tabela 54.2: Tabela de confusão 3x3 para análise de concordância de testes e variáveis dicotômicas.
Grave Moderado Leve Total
Grave \(a\) \(b\) \(c\) \(j=a+b+c\)
Moderado \(d\) \(e\) \(f\) \(k=d+e+f\)
Leve \(g\) \(h\) \(i\) \(l=g+h+i\)
Total \(j=a+d+g\) \(k=b+e+h\) \(l=c+f+i\) \(N=a+b+c+d+e+f+g+h+i\)


54.1.5 Quais métodos são adequados para análise de concordância de variáveis ordinais?

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.445,446


54.1.6 Quais métodos são adequados para análise de concordância de variáveis contínuas?

  • Gráfico de dispersão com a reta de regressão.170

  • Gráfico de limites de concordância (média dos testes vs. diferença entre testes) com a reta de regressão do viés e respectivo no nível de significância \(\alpha\) pré-estabelecido.170



54.1.7 Quais métodos não são adequados para análise de concordância de variáveis contínuas?

  • Comparação de médias: dois métodos apresentarem médias similares — isto é, ‘sem diferença estatística’ após um teste inferencial de hipótese nula \(H_{0}:\mu_{1} = \mu_{2}\) — não informa sobre a concordância deles. Métodos com maior erro de medida tendem a ter menos chance de rejeição da hipótese nula.170

  • Correlação bivariada: o coeficiente de correlação dependente tanto da variação entre indivíduos (isto é, entre os valores verdadeiros) quanto da variação intraindividual (isto é, erro de medida). Se a variância dos erros de medida de ambos os métodos não for pequena comparadas à variância dos valores verdadeiros, o tamanho do efeito da correlação será pequeno mesmo que os métodos possuam boa concordância.170

  • Regressão linear: o teste da hipótese nula da inclinação da reta de regressão (\(H_{0}:\beta = 0\)) é equivalente a testar a correlação bivariada (\(H_{0}:\rho = 0\)).170


54.1.8 Quais métodos são adequados para modelagem de concordância?

  • Modelo log-linear.311


54.2 Confiabilidade


54.2.1 O que é confiabilidade?


54.2.2 Quais métodos são adequados para análise de confiabilidade?








54.3 Diretrizes para redação


54.3.1 Quais são as diretrizes para redação de estudos de propriedades psicométricas?



Citar como:
Ferreira, Arthur de Sá. Ciência com R: Perguntas e respostas para pesquisadores e analistas de dados. Rio de Janeiro: 1a edição,


Referências

170.
Altman DG, Bland JM. Measurement in Medicine: The Analysis of Method Comparison Studies. The Statistician. 1983;32(3):307. doi:10.2307/2987937
311.
Banerjee M, Capozzoli M, McSweeney L, Sinha D. Beyond kappa: A review of interrater agreement measures. Canadian Journal of Statistics. 1999;27(1):3–23. doi:10.2307/3315487
312.
William Revelle. psych: Procedures for Psychological, Psychometric, and Personality Research.; 2023. https://CRAN.R-project.org/package=psych.
445.
Scott WA. Reliability of Content Analysis: The Case of Nominal Scale Coding. Public Opinion Quarterly. 1955;19(3):321. doi:10.1086/266577
446.
Cohen J. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. 1960;20(1):37–46. doi:10.1177/001316446002000104
447.
Gamer M, Lemon J, Ian Fellows Puspendra Singh. irr: Various Coefficients of Interrater Reliability and Agreement.; 2019. doi:10.32614/CRAN.package.irr
448.
Lehnert B. BlandAltmanLeh: Plots (Slightly Extended) Bland-Altman Plots.; 2015. https://CRAN.R-project.org/package=BlandAltmanLeh.
449.
Contributors semTools. semTools: Useful tools for structural equation modeling.; 2016. https://CRAN.R-project.org/package=semTools.
450.
Quartagno M, Carpenter J. jomo: A package for Multilevel Joint Modelling Multiple Imputation.; 2023. https://CRAN.R-project.org/package=jomo.
451.
Kottner J, Audigé L, Brorson S, et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. Journal of Clinical Epidemiology. 2011;64(1):96–106. doi:10.1016/j.jclinepi.2010.03.002