Capítulo 45 Propriedades psicométricas


45.1 Características


45.1.1 O que são propriedades psicométricas?


Tabela 45.1: Tabela de confusão sobre propriedades psicométricas de instrumentos.
Concordância alta Concordância baixa
Validade alta Adequado Inadequado
Validade baixa Inadequado Inadequado






45.2 Análise fatorial exploratória


45.2.1 O que é análise fatorial exploratória?


45.3 Análise fatorial confirmatória


45.3.1 O que é análise fatorial confirmatória?


45.4 Validade de conteúdo


45.4.1 O que é validade interna?


45.4.2 O que é validade externa?


45.4.3 Que fatores afetam a validade?

  • A amostragem não probabilística pode dificultar a generalização dos achados da amostra para a população, diminuindo assim a validade externa do estudo.15

  • Quando as características da amostra obtida por seleção não probabilística forem similares às da população, a validade externa pode ser maior.15


45.4.4 Como avaliar a validade de um estudo?

  • As características da amostra apresentadas na Tabela 1 são úteis para interpretação da validade interna e externa dos achados do estudo.194


45.5 Validade de face


45.5.1 O que é validade de face?

  • .[RF]


45.6 Validade do construto


45.6.1 O que é construto?

  • .[RF]


45.7 Validade fatorial


45.7.1 O que é validade fatorial?

  • .[RF]


45.8 Validade convergente


45.8.1 O que é validade convergente?

  • .[RF]


45.9 Validade discriminante


45.9.1 O que é validade discriminante?

  • .[RF]


45.10 Validade de critério


45.10.1 O que é validade de critério?

  • .[RF]


45.11 Validade concorrente


45.11.1 O que é concorrente?

  • .[RF]


45.11.2 O que é validade concorrente?

  • .[RF]


45.11.3 O que é validade preditiva?

  • .[RF]


45.12 Responsividade


45.12.1 O que é responsividade?


45.13 Concordância


45.13.1 O que é concordância?


45.13.2 Quais métodos são adequados para análise de concordância de variáveis dicotômicas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.340,341
Tabela 45.2: Tabela de confusão 2x2 para análise de concordância de testes e variáveis dicotômicas.
Teste positivo Teste negativo Total
Teste positivo \(a\) \(b\) \(g=a+b\)
Teste negativo \(c\) \(d\) \(h=c+d\)
Total \(e=a+c\) \(f=b+d\) \(N=a+b+c+d\)


  • Coeficiente de correlação tetracórica \(r_{tet}\).342,343



45.13.3 Quais métodos não são adequados para análise de concordância de variáveis dicotômicas?

  • Concordância absoluta \(C_{A}\) - quantidade de casos em que examinadores concordam - não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.343

  • Concordância percentual \(C_{\%}\) - proporção de casos em que examinadores concordam pela quantidade total de casos - não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.343

  • Qui-quadrado \(\chi^2\) a partir da tabela de contigência não é recomendado porque tal teste analisa associação.343

  • A família de coeficientes de Cohen \(\kappa\) não é adequada para analisar concordância quando as variáveis são aparentemente (e não originalmente) dicotômicas.343


45.13.4 Quais métodos são adequados para análise de concordância de variáveis categóricas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.340,341

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.340,341

Tabela 45.3: Tabela de confusão 3x3 para análise de concordância de testes e variáveis dicotômicas.
Grave Moderado Leve Total
Grave \(a\) \(b\) \(c\) \(j=a+b+c\)
Moderado \(d\) \(e\) \(f\) \(k=d+e+f\)
Leve \(g\) \(h\) \(i\) \(l=g+h+i\)
Total \(j=a+d+g\) \(k=b+e+h\) \(l=c+f+i\) \(N=a+b+c+d+e+f+g+h+i\)


  • Coeficiente de correlação policórica \(r_{pol}\).343



45.13.5 Quais métodos são adequados para análise de concordância de variáveis categóricas e contínuas?

  • Coeficiente de correlação bisserial \(r_{s}\).343



45.13.6 Quais métodos são adequados para análise de concordância de variáveis ordinais?

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.340,341


45.13.7 Quais métodos são adequados para análise de concordância de variáveis contínuas?

  • Gráfico de dispersão com a reta de regressão.144

  • Gráfico de limites de concordância (média dos testes vs. diferença entre testes) com a reta de regressão do viés e respectivo no nível de significância \(\alpha\) pré-estabelecido.144



45.13.8 Quais métodos não são adequados para análise de concordância de variáveis contínuas?

  • Comparação de médias: dois métodos apresentarem médias similares - isto é, ‘sem diferença estatística’ após um teste inferencial de hipótese nula \(H_{0}:\mu_{1} = \mu_{2}\) - não informa sobre a concordância deles. Métodos com maior erro de medida tendem a ter menos chance de rejeição da hipótese nula.144

  • Correlação bivariada: o coeficiente de correlação dependente tanto da variação entre indivíduos (isto é, entre os valores verdadeiros) quanto da variação intraindividual (isto é, erro de medida). Se a variância dos erros de medida de ambos os métodos não for pequena comparadas à variância dos valores verdadeiros, o tamanho do efeito da correlação será pequeno mesmo que os métodos possuam boa concordância.144

  • Regressão linear: o teste da hipótese nula da inclinação da reta de regressão (\(H_{0}:\beta = 0\)) é equivalente a testar a correlação bivariada (\(H_{0}:\rho = 0\)).144


45.13.9 Quais métodos são adequados para modelagem de concordância?

  • Modelo log-linear.343


45.14 Confiabilidade


45.14.1 O que é confiabilidade?


45.14.2 Quais métodos são adequados para análise de confiabilidade?


45.15 Diretrizes para redação


45.15.1 Quais são as diretrizes para redação de estudos de propriedades psicométricas?



Citar como:
Ferreira, Arthur de Sá. Ciência com R: Perguntas e respostas para pesquisadores e analistas de dados. Rio de Janeiro: 1a edição,


Referências

15.
Banerjee A, Chaudhury S. Statistics without tears: Populations and samples. Industrial Psychiatry Journal. 2010;19(1):60. doi:10.4103/0972-6748.77642
144.
Altman DG, Bland JM. Measurement in Medicine: The Analysis of Method Comparison Studies. The Statistician. 1983;32(3):307. doi:10.2307/2987937
194.
Westreich D, Greenland S. The Table 2 Fallacy: Presenting and Interpreting Confounder and Modifier Coefficients. American Journal of Epidemiology. 2013;177(4):292–298. doi:10.1093/aje/kws412
336.
Rosseel Y. lavaan: An R Package for Structural Equation Modeling. Journal of Statistical Software. 2012;48. doi:10.18637/jss.v048.i02
337.
Contributors semTools. semTools: Useful tools for structural equation modeling.; 2016. https://CRAN.R-project.org/package=semTools.
338.
William Revelle. psych: Procedures for Psychological, Psychometric, and Personality Research.; 2023. https://CRAN.R-project.org/package=psych.
339.
Findley MG, Kikuta K, Denly M. External Validity. Annual Review of Political Science. 2021;24(1):365–393. doi:10.1146/annurev-polisci-041719-102556
340.
Scott WA. Reliability of Content Analysis: The Case of Nominal Scale Coding. Public Opinion Quarterly. 1955;19(3):321. doi:10.1086/266577
341.
Cohen J. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. 1960;20(1):37–46. doi:10.1177/001316446002000104
342.
Mathews I, Pearson K. I. Mathematical contributions to the theory of evolution. VII. On the correlation of characters not quantitatively measurable. Philosophical Transactions of the Royal Society of London Series A, Containing Papers of a Mathematical or Physical Character. 1901;195(262-273):1–47. doi:10.1098/rsta.1900.0022
343.
Banerjee M, Capozzoli M, McSweeney L, Sinha D. Beyond kappa: A review of interrater agreement measures. Canadian Journal of Statistics. 1999;27(1):3–23. doi:10.2307/3315487
344.
Lehnert B. BlandAltmanLeh: Plots (Slightly Extended) Bland-Altman Plots.; 2015. https://CRAN.R-project.org/package=BlandAltmanLeh.
345.
Gagnier JJ, Lai J, Mokkink LB, Terwee CB. COSMIN reporting guideline for studies on measurement properties of patient-reported outcome measures. Quality of Life Research. 2021;30(8):2197–2218. doi:10.1007/s11136-021-02822-4
346.
Streiner DL, Kottner J. Recommendations for reporting the results of studies of instrument and scale development and testing. Journal of Advanced Nursing. 2014;70(9):1970–1979. doi:10.1111/jan.12402
347.
Kottner J, Audigé L, Brorson S, et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. Journal of Clinical Epidemiology. 2011;64(1):96–106. doi:10.1016/j.jclinepi.2010.03.002