Capítulo 37 Propriedades psicométricas


37.1 Características


37.1.1 O que são propriedades psicométricas?


Tabela 37.1: Tabela de confusão sobre propriedades psicométricas de instrumentos.
Concordância alta Concordância baixa
Validade alta Adequado Inadequado
Validade baixa Inadequado Inadequado






37.2 Análise fatorial exploratória


37.2.1 O que é análise fatorial exploratória?


37.3 Análise fatorial confirmatória


37.3.1 O que é análise fatorial confirmatória?


37.4 Validade de conteúdo


37.4.1 O que é validade interna?


37.4.2 O que é validade externa?


37.4.3 Que fatores afetam a validade?

  • A amostragem não probabilística pode dificultar a generalização dos achados da amostra para a população, diminuindo assim a validade externa do estudo.13

  • Quando as características da amostra obtida por seleção não probabilística forem similares às da população, a validade externa pode ser maior.13


37.4.4 Como avaliar a validade de um estudo?

  • As características da amostra apresentadas na Tabela 1 são úteis para interpretação da validade interna e externa dos achados do estudo.146


37.5 Validade de face


37.5.1 O que é validade de face?

  • .[RF]


37.6 Validade do construto


37.6.1 O que é construto?

  • .[RF]


37.7 Validade fatorial


37.7.1 O que é validade fatorial?

  • .[RF]


37.8 Validade convergente


37.8.1 O que é validade convergente?

  • .[RF]


37.9 Validade discriminante


37.9.1 O que é validade discriminante?

  • .[RF]


37.10 Validade de critério


37.10.1 O que é validade de critério?

  • .[RF]


37.11 Validade concorrente


37.11.1 O que é concorrente?

  • .[RF]


37.11.2 O que é validade concorrente?

  • .[RF]


37.11.3 O que é validade preditiva?

  • .[RF]


37.12 Responsividade


37.12.1 O que é responsividade?


37.13 Concordância


37.13.1 O que é concordância?


37.13.2 Quais métodos são adequados para análise de concordância de variáveis dicotômicas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.279,280
Tabela 37.2: Tabela de confusão 2x2 para análise de concordância de testes e variáveis dicotômicas.
Teste positivo Teste negativo Total
Teste positivo \(a\) \(b\) \(g=a+b\)
Teste negativo \(c\) \(d\) \(h=c+d\)
Total \(e=a+c\) \(f=b+d\) \(N=a+b+c+d\)


  • Coeficiente de correlação tetracórica \(r_{tet}\).281,282



37.13.3 Quais métodos não são adequados para análise de concordância de variáveis dicotômicas?

  • Concordância absoluta \(C_{A}\) - quantidade de casos em que examinadores concordam - não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.282

  • Concordância percentual \(C_{\%}\) - proporção de casos em que examinadores concordam pela quantidade total de casos - não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.282

  • Qui-quadrado \(\chi^2\) a partir da tabela de contigência não é recomendado porque tal teste analisa associação.282

  • A família de coeficientes de Cohen \(\kappa\) não é adequada para analisar concordância quando as variáveis são aparentemente (e não originalmente) dicotômicas.282


37.13.4 Quais métodos são adequados para análise de concordância de variáveis categóricas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.279,280

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.279,280

Tabela 37.3: Tabela de confusão 3x3 para análise de concordância de testes e variáveis dicotômicas.
Grave Moderado Leve Total
Grave \(a\) \(b\) \(c\) \(j=a+b+c\)
Moderado \(d\) \(e\) \(f\) \(k=d+e+f\)
Leve \(g\) \(h\) \(i\) \(l=g+h+i\)
Total \(j=a+d+g\) \(k=b+e+h\) \(l=c+f+i\) \(N=a+b+c+d+e+f+g+h+i\)


  • Coeficiente de correlação policórica \(r_{pol}\).282



37.13.5 Quais métodos são adequados para análise de concordância de variáveis categóricas e contínuas?

  • Coeficiente de correlação bisserial \(r_{s}\).282



37.13.6 Quais métodos são adequados para análise de concordância de variáveis ordinais?

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.279,280


37.13.7 Quais métodos são adequados para análise de concordância de variáveis contínuas?

  • Gráfico de dispersão com a reta de regressão.46

  • Gráfico de limites de concordância (média dos testes vs. diferença entre testes) com a reta de regressão do viés e respectivo no nível de significância \(\alpha\) pré-estabelecido.46



37.13.8 Quais métodos não são adequados para análise de concordância de variáveis contínuas?

  • Comparação de médias: dois métodos apresentarem médias similares - isto é, ‘sem diferença estatística’ após um teste inferencial de hipótese nula \(H_{0}:\mu_{1} = \mu_{2}\) - não informa sobre a concordância deles. Métodos com maior erro de medida tendem a ter menos chance de rejeição da hipótese nula.46

  • Correlação bivariada: o coeficiente de correlação dependente tanto da variação entre indivíduos (isto é, entre os valores verdadeiros) quanto da variação intraindividual (isto é, erro de medida). Se a variância dos erros de medida de ambos os métodos não for pequena comparadas à variância dos valores verdadeiros, o tamanho do efeito da correlação será pequeno mesmo que os métodos possuam boa concordância.46

  • Regressão linear: o teste da hipótese nula da inclinação da reta de regressão (\(H_{0}:\beta = 0\)) é equivalente a testar a correlação bivariada (\(H_{0}:\rho = 0\)).46


37.13.9 Quais métodos são adequados para modelagem de concordância?

  • Modelo log-linear.282


37.14 Confiabilidade


37.14.1 O que é confiabilidade?


37.14.2 Quais métodos são adequados para análise de confiabilidade?


37.15 Diretrizes para redação


37.15.1 Quais são as diretrizes para redação de estudos de propriedades psicométricas?


Referências

13.
Banerjee A, Chaudhury S. Statistics without tears: Populations and samples. Industrial Psychiatry Journal. 2010;19(1):60. doi:10.4103/0972-6748.77642
46.
Altman DG, Bland JM. Measurement in medicine: The analysis of method comparison studies. The Statistician. 1983;32(3):307. doi:10.2307/2987937
146.
Westreich D, Greenland S. The Table 2 Fallacy: Presenting and Interpreting Confounder and Modifier Coefficients. American Journal of Epidemiology. 2013;177(4):292-298. doi:10.1093/aje/kws412
275.
Rosseel Y. Lavaan: An r package for structural equation modeling. 2012;48. doi:10.18637/jss.v048.i02
276.
Contributors semTools. semTools: Useful Tools for Structural Equation Modeling.; 2016. https://CRAN.R-project.org/package=semTools.
277.
William Revelle. Psych: Procedures for Psychological, Psychometric, and Personality Research.; 2023. https://CRAN.R-project.org/package=psych.
278.
Findley MG, Kikuta K, Denly M. External Validity. Annual Review of Political Science. 2021;24(1):365-393. doi:10.1146/annurev-polisci-041719-102556
279.
Scott WA. Reliability of content analysis: The case of nominal scale coding. Public Opinion Quarterly. 1955;19(3):321. doi:10.1086/266577
280.
Cohen J. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. 1960;20(1):37-46. doi:10.1177/001316446002000104
281.
I. Mathematical contributions to the theory of evolution. VII. On the correlation of characters not quantitatively measurable. Philosophical Transactions of the Royal Society of London Series A, Containing Papers of a Mathematical or Physical Character. 1901;195(262-273):1-47. doi:10.1098/rsta.1900.0022
282.
Banerjee M, Capozzoli M, McSweeney L, Sinha D. Beyond kappa: A review of interrater agreement measures. Canadian Journal of Statistics. 1999;27(1):3-23. doi:10.2307/3315487
283.
Lehnert B. BlandAltmanLeh: Plots (Slightly Extended) Bland-Altman Plots.; 2015. https://CRAN.R-project.org/package=BlandAltmanLeh.
284.
Gagnier JJ, Lai J, Mokkink LB, Terwee CB. COSMIN reporting guideline for studies on measurement properties of patient-reported outcome measures. Quality of Life Research. 2021;30(8):2197-2218. doi:10.1007/s11136-021-02822-4
285.
Streiner DL, Kottner J. Recommendations for reporting the results of studies of instrument and scale development and testing. Journal of Advanced Nursing. 2014;70(9):1970-1979. doi:10.1111/jan.12402
286.
Kottner J, Audigé L, Brorson S, et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. Journal of Clinical Epidemiology. 2011;64(1):96-106. doi:10.1016/j.jclinepi.2010.03.002