Capítulo 35 Propriedades psicométricas


35.1 Características


35.1.1 O que são propriedades psicométricas?


Tabela 35.1: Tabela de confusão sobre propriedades psicométricas de instrumentos.
Concordância alta Concordância baixa
Validade alta Adequado Inadequado
Validade baixa Inadequado Inadequado






35.2 Análise fatorial exploratória


35.2.1 O que é análise fatorial exploratória?


35.3 Análise fatorial confirmatória


35.3.1 O que é análise fatorial confirmatória?


35.4 Validade de conteúdo


35.4.1 O que é validade interna?


35.4.2 O que é validade externa?


35.4.3 Que fatores afetam a validade?

  • A amostragem não probabilística pode dificultar a generalização dos achados da amostra para a população, diminuindo assim a validade externa do estudo.13

  • Quando as características da amostra obtida por seleção não probabilística forem similares às da população, a validade externa pode ser maior.13


35.4.4 Como avaliar a validade de um estudo?

  • As características da amostra apresentadas na Tabela 1 são úteis para interpretação da validade interna e externa dos achados do estudo.167


35.5 Validade de face


35.5.1 O que é validade de face?

  • .[RF]


35.6 Validade do construto


35.6.1 O que é construto?

  • .[RF]


35.7 Validade fatorial


35.7.1 O que é validade fatorial?

  • .[RF]


35.8 Validade convergente


35.8.1 O que é validade convergente?

  • .[RF]


35.9 Validade discriminante


35.9.1 O que é validade discriminante?

  • .[RF]


35.10 Validade de critério


35.10.1 O que é validade de critério?

  • .[RF]


35.11 Validade concorrente


35.11.1 O que é concorrente?

  • .[RF]


35.11.2 O que é validade concorrente?

  • .[RF]


35.11.3 O que é validade preditiva?

  • .[RF]


35.12 Responsividade


35.12.1 O que é responsividade?


35.13 Concordância


35.13.1 O que é concordância?


35.13.2 Quais métodos são adequados para análise de concordância de variáveis dicotômicas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.271,272
Tabela 35.2: Tabela de confusão 2x2 para análise de concordância de testes e variáveis dicotômicas.
Teste positivo Teste negativo Total
Teste positivo \(a\) \(b\) \(g=a+b\)
Teste negativo \(c\) \(d\) \(h=c+d\)
Total \(e=a+c\) \(f=b+d\) \(N=a+b+c+d\)


  • Coeficiente de correlação tetracórica \(r_{tet}\).273,274



35.13.3 Quais métodos não são adequados para análise de concordância de variáveis dicotômicas?

  • Concordância absoluta \(C_{A}\) - quantidade de casos em que examinadores concordam - não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.274

  • Concordância percentual \(C_{\%}\) - proporção de casos em que examinadores concordam pela quantidade total de casos - não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.274

  • Qui-quadrado \(\chi^2\) a partir da tabela de contigência não é recomendado porque tal teste analisa associação.274

  • A família de coeficientes de Cohen \(\kappa\) não é adequada para analisar concordância quando as variáveis são aparentemente (e não originalmente) dicotômicas.274


35.13.4 Quais métodos são adequados para análise de concordância de variáveis categóricas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.271,272

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.271,272

Tabela 35.3: Tabela de confusão 3x3 para análise de concordância de testes e variáveis dicotômicas.
Grave Moderado Leve Total
Grave \(a\) \(b\) \(c\) \(j=a+b+c\)
Moderado \(d\) \(e\) \(f\) \(k=d+e+f\)
Leve \(g\) \(h\) \(i\) \(l=g+h+i\)
Total \(j=a+d+g\) \(k=b+e+h\) \(l=c+f+i\) \(N=a+b+c+d+e+f+g+h+i\)


  • Coeficiente de correlação policórica \(r_{pol}\).274



35.13.5 Quais métodos são adequados para análise de concordância de variáveis categóricas e contínuas?

  • Coeficiente de correlação bisserial \(r_{s}\).274



35.13.6 Quais métodos são adequados para análise de concordância de variáveis ordinais?

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.271,272


35.13.7 Quais métodos são adequados para análise de concordância de variáveis contínuas?

  • Gráfico de dispersão com a reta de regressão.73

  • Gráfico de limites de concordância (média dos testes vs. diferença entre testes) com a reta de regressão do viés e respectivo no nível de significância \(\alpha\) pré-estabelecido.73



35.13.8 Quais métodos não são adequados para análise de concordância de variáveis contínuas?

  • Comparação de médias: dois métodos apresentarem médias similares - isto é, ‘sem diferença estatística’ após um teste inferencial de hipótese nula \(H_{0}:\mu_{1} = \mu_{2}\) - não informa sobre a concordância deles. Métodos com maior erro de medida tendem a ter menos chance de rejeição da hipótese nula.73

  • Correlação bivariada: o coeficiente de correlação dependente tanto da variação entre indivíduos (isto é, entre os valores verdadeiros) quanto da variação intraindividual (isto é, erro de medida). Se a variância dos erros de medida de ambos os métodos não for pequena comparadas à variância dos valores verdadeiros, o tamanho do efeito da correlação será pequeno mesmo que os métodos possuam boa concordância.73

  • Regressão linear: o teste da hipótese nula da inclinação da reta de regressão (\(H_{0}:\beta = 0\)) é equivalente a testar a correlação bivariada (\(H_{0}:\rho = 0\)).73


35.13.9 Quais métodos são adequados para modelagem de concordância?

  • Modelo log-linear.274


35.14 Confiabilidade


35.14.1 O que é confiabilidade?


35.14.2 Quais métodos são adequados para análise de confiabilidade?


35.15 Diretrizes para redação


35.15.1 Quais são as diretrizes para redação de estudos de propriedades psicométricas?


Referências

13.
Banerjee A, Chaudhury S. Statistics without tears: Populations and samples. Industrial Psychiatry Journal. 2010;19(1):60. doi:10.4103/0972-6748.77642
73.
Altman DG, Bland JM. Measurement in medicine: The analysis of method comparison studies. The Statistician. 1983;32(3):307. doi:10.2307/2987937
167.
Westreich D, Greenland S. The Table 2 Fallacy: Presenting and Interpreting Confounder and Modifier Coefficients. American Journal of Epidemiology. 2013;177(4):292-298. doi:10.1093/aje/kws412
267.
Rosseel Y. Lavaan: An r package for structural equation modeling. 2012;48. doi:10.18637/jss.v048.i02
268.
Contributors semTools. semTools: Useful Tools for Structural Equation Modeling.; 2016. https://CRAN.R-project.org/package=semTools.
269.
William Revelle. Psych: Procedures for Psychological, Psychometric, and Personality Research.; 2023. https://CRAN.R-project.org/package=psych.
270.
Findley MG, Kikuta K, Denly M. External Validity. Annual Review of Political Science. 2021;24(1):365-393. doi:10.1146/annurev-polisci-041719-102556
271.
Scott WA. Reliability of content analysis: The case of nominal scale coding. Public Opinion Quarterly. 1955;19(3):321. doi:10.1086/266577
272.
Cohen J. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. 1960;20(1):37-46. doi:10.1177/001316446002000104
273.
I. Mathematical contributions to the theory of evolution. VII. On the correlation of characters not quantitatively measurable. Philosophical Transactions of the Royal Society of London Series A, Containing Papers of a Mathematical or Physical Character. 1901;195(262-273):1-47. doi:10.1098/rsta.1900.0022
274.
Banerjee M, Capozzoli M, McSweeney L, Sinha D. Beyond kappa: A review of interrater agreement measures. Canadian Journal of Statistics. 1999;27(1):3-23. doi:10.2307/3315487
275.
Lehnert B. BlandAltmanLeh: Plots (Slightly Extended) Bland-Altman Plots.; 2015. https://CRAN.R-project.org/package=BlandAltmanLeh.
276.
Gagnier JJ, Lai J, Mokkink LB, Terwee CB. COSMIN reporting guideline for studies on measurement properties of patient-reported outcome measures. Quality of Life Research. 2021;30(8):2197-2218. doi:10.1007/s11136-021-02822-4
277.
Streiner DL, Kottner J. Recommendations for reporting the results of studies of instrument and scale development and testing. Journal of Advanced Nursing. 2014;70(9):1970-1979. doi:10.1111/jan.12402
278.
Kottner J, Audigé L, Brorson S, et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. Journal of Clinical Epidemiology. 2011;64(1):96-106. doi:10.1016/j.jclinepi.2010.03.002