Capítulo 36 Propriedades psicométricas


36.1 Características


36.1.1 O que são propriedades psicométricas?


Tabela 36.1: Tabela de confusão sobre propriedades psicométricas de instrumentos.
Concordância alta Concordância baixa
Validade alta Adequado Inadequado
Validade baixa Inadequado Inadequado






36.2 Análise fatorial exploratória


36.2.1 O que é análise fatorial exploratória?


36.3 Análise fatorial confirmatória


36.3.1 O que é análise fatorial confirmatória?


36.4 Validade de conteúdo


36.4.1 O que é validade interna?


36.4.2 O que é validade externa?


36.4.3 Que fatores afetam a validade?

  • A amostragem não probabilística pode dificultar a generalização dos achados da amostra para a população, diminuindo assim a validade externa do estudo.13

  • Quando as características da amostra obtida por seleção não probabilística forem similares às da população, a validade externa pode ser maior.13


36.4.4 Como avaliar a validade de um estudo?

  • As características da amostra apresentadas na Tabela 1 são úteis para interpretação da validade interna e externa dos achados do estudo.174


36.5 Validade de face


36.5.1 O que é validade de face?

  • .[RF]


36.6 Validade do construto


36.6.1 O que é construto?

  • .[RF]


36.7 Validade fatorial


36.7.1 O que é validade fatorial?

  • .[RF]


36.8 Validade convergente


36.8.1 O que é validade convergente?

  • .[RF]


36.9 Validade discriminante


36.9.1 O que é validade discriminante?

  • .[RF]


36.10 Validade de critério


36.10.1 O que é validade de critério?

  • .[RF]


36.11 Validade concorrente


36.11.1 O que é concorrente?

  • .[RF]


36.11.2 O que é validade concorrente?

  • .[RF]


36.11.3 O que é validade preditiva?

  • .[RF]


36.12 Responsividade


36.12.1 O que é responsividade?


36.13 Concordância


36.13.1 O que é concordância?


36.13.2 Quais métodos são adequados para análise de concordância de variáveis dicotômicas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.280,281
Tabela 36.2: Tabela de confusão 2x2 para análise de concordância de testes e variáveis dicotômicas.
Teste positivo Teste negativo Total
Teste positivo \(a\) \(b\) \(g=a+b\)
Teste negativo \(c\) \(d\) \(h=c+d\)
Total \(e=a+c\) \(f=b+d\) \(N=a+b+c+d\)


  • Coeficiente de correlação tetracórica \(r_{tet}\).282,283



36.13.3 Quais métodos não são adequados para análise de concordância de variáveis dicotômicas?

  • Concordância absoluta \(C_{A}\) - quantidade de casos em que examinadores concordam - não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.283

  • Concordância percentual \(C_{\%}\) - proporção de casos em que examinadores concordam pela quantidade total de casos - não é recomendada porque não corrige a estimativa para possíveis concordâncias ao acaso.283

  • Qui-quadrado \(\chi^2\) a partir da tabela de contigência não é recomendado porque tal teste analisa associação.283

  • A família de coeficientes de Cohen \(\kappa\) não é adequada para analisar concordância quando as variáveis são aparentemente (e não originalmente) dicotômicas.283


36.13.4 Quais métodos são adequados para análise de concordância de variáveis categóricas?

  • Coeficiente de Cohen \(\kappa\): mede a concordância corrigida pelo acaso.280,281

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.280,281

Tabela 36.3: Tabela de confusão 3x3 para análise de concordância de testes e variáveis dicotômicas.
Grave Moderado Leve Total
Grave \(a\) \(b\) \(c\) \(j=a+b+c\)
Moderado \(d\) \(e\) \(f\) \(k=d+e+f\)
Leve \(g\) \(h\) \(i\) \(l=g+h+i\)
Total \(j=a+d+g\) \(k=b+e+h\) \(l=c+f+i\) \(N=a+b+c+d+e+f+g+h+i\)


  • Coeficiente de correlação policórica \(r_{pol}\).283



36.13.5 Quais métodos são adequados para análise de concordância de variáveis categóricas e contínuas?

  • Coeficiente de correlação bisserial \(r_{s}\).283



36.13.6 Quais métodos são adequados para análise de concordância de variáveis ordinais?

  • Coeficiente de Cohen ponderado \(\kappa_{w}\): mede a concordância corrigida pelo acaso.280,281


36.13.7 Quais métodos são adequados para análise de concordância de variáveis contínuas?

  • Gráfico de dispersão com a reta de regressão.74

  • Gráfico de limites de concordância (média dos testes vs. diferença entre testes) com a reta de regressão do viés e respectivo no nível de significância \(\alpha\) pré-estabelecido.74



36.13.8 Quais métodos não são adequados para análise de concordância de variáveis contínuas?

  • Comparação de médias: dois métodos apresentarem médias similares - isto é, ‘sem diferença estatística’ após um teste inferencial de hipótese nula \(H_{0}:\mu_{1} = \mu_{2}\) - não informa sobre a concordância deles. Métodos com maior erro de medida tendem a ter menos chance de rejeição da hipótese nula.74

  • Correlação bivariada: o coeficiente de correlação dependente tanto da variação entre indivíduos (isto é, entre os valores verdadeiros) quanto da variação intraindividual (isto é, erro de medida). Se a variância dos erros de medida de ambos os métodos não for pequena comparadas à variância dos valores verdadeiros, o tamanho do efeito da correlação será pequeno mesmo que os métodos possuam boa concordância.74

  • Regressão linear: o teste da hipótese nula da inclinação da reta de regressão (\(H_{0}:\beta = 0\)) é equivalente a testar a correlação bivariada (\(H_{0}:\rho = 0\)).74


36.13.9 Quais métodos são adequados para modelagem de concordância?

  • Modelo log-linear.283


36.14 Confiabilidade


36.14.1 O que é confiabilidade?


36.14.2 Quais métodos são adequados para análise de confiabilidade?


36.15 Diretrizes para redação


36.15.1 Quais são as diretrizes para redação de estudos de propriedades psicométricas?



Citar como:
Ferreira, Arthur de Sá. Ciência com R: Perguntas e respostas para pesquisadores e analistas de dados. Rio de Janeiro: 1a edição,


Referências

13.
Banerjee A, Chaudhury S. Statistics without tears: Populations and samples. Industrial Psychiatry Journal. 2010;19(1):60. doi:10.4103/0972-6748.77642
74.
Altman DG, Bland JM. Measurement in medicine: The analysis of method comparison studies. The Statistician. 1983;32(3):307. doi:10.2307/2987937
174.
Westreich D, Greenland S. The Table 2 Fallacy: Presenting and Interpreting Confounder and Modifier Coefficients. American Journal of Epidemiology. 2013;177(4):292-298. doi:10.1093/aje/kws412
276.
Rosseel Y. Lavaan: An r package for structural equation modeling. 2012;48. doi:10.18637/jss.v048.i02
277.
Contributors semTools. semTools: Useful Tools for Structural Equation Modeling.; 2016. https://CRAN.R-project.org/package=semTools.
278.
William Revelle. Psych: Procedures for Psychological, Psychometric, and Personality Research.; 2023. https://CRAN.R-project.org/package=psych.
279.
Findley MG, Kikuta K, Denly M. External Validity. Annual Review of Political Science. 2021;24(1):365-393. doi:10.1146/annurev-polisci-041719-102556
280.
Scott WA. Reliability of content analysis: The case of nominal scale coding. Public Opinion Quarterly. 1955;19(3):321. doi:10.1086/266577
281.
Cohen J. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. 1960;20(1):37-46. doi:10.1177/001316446002000104
282.
I. Mathematical contributions to the theory of evolution. VII. On the correlation of characters not quantitatively measurable. Philosophical Transactions of the Royal Society of London Series A, Containing Papers of a Mathematical or Physical Character. 1901;195(262-273):1-47. doi:10.1098/rsta.1900.0022
283.
Banerjee M, Capozzoli M, McSweeney L, Sinha D. Beyond kappa: A review of interrater agreement measures. Canadian Journal of Statistics. 1999;27(1):3-23. doi:10.2307/3315487
284.
Lehnert B. BlandAltmanLeh: Plots (Slightly Extended) Bland-Altman Plots.; 2015. https://CRAN.R-project.org/package=BlandAltmanLeh.
285.
Gagnier JJ, Lai J, Mokkink LB, Terwee CB. COSMIN reporting guideline for studies on measurement properties of patient-reported outcome measures. Quality of Life Research. 2021;30(8):2197-2218. doi:10.1007/s11136-021-02822-4
286.
Streiner DL, Kottner J. Recommendations for reporting the results of studies of instrument and scale development and testing. Journal of Advanced Nursing. 2014;70(9):1970-1979. doi:10.1111/jan.12402
287.
Kottner J, Audigé L, Brorson S, et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. Journal of Clinical Epidemiology. 2011;64(1):96-106. doi:10.1016/j.jclinepi.2010.03.002