Capítulo 19 Tamanho do efeito e P-valor


19.1 Tamanho do efeito


19.1.1 O que é o tamanho do efeito?

  • Tamanho do efeito quantifica a magnitude de um efeito real da análise, expressando uma importância descritiva dos resultados.200


19.1.2 Quais são os tipos de tamanho do efeito?

  • Diferenças padronizadas entre grupos:187,200

    • Cohen’s d

    • Glass’s \(\Delta\)

    • Razão de chances (\(RC\) ou \(OR\))

    • Risco relativo ou razão de risco (\(RR\))

  • Medidas de associação:187,200

    • Coeficiente de correlação de Pearson (\(r\)), ponto-bisserial (\(r_{s}\)), Spearman (\(\rho\)), Kendall (\(\tau\)), Cramér (\(V\)) e \(\phi\).

    • Coeficiente de determinação (\(R^2\))


19.1.3 Como converter um tamanho de efeito em outro?



19.1.4 Como interpretar um tamanho do efeito?

  • Tamanhos de efeito podem ser comparadores entre diferentes estudos.187





19.2 Efeito fixo


19.2.1 O que é efeito fixo?


19.3 Efeito aleatório


19.3.1 O que é efeito aleatório?


19.4 Efeito principal


19.4.1 O que é efeito principal?


19.5 Efeito de modificação


19.5.1 O que é um modificador de efeito?


19.5.2 O que é efeito de modificação?


19.6 Efeito de interação


19.6.1 O que é efeito de interação?

  • A interação - representada pelo símbolo * - é o termo estatístico empregado para representar a heterogeneidade de um determinado efeito.203

  • .202

Análise de efeito de interação (direta) entre grupos e tempo. Retas paralelas sugerem ausência de efeito de interação.

Figura 19.1: Análise de efeito de interação (direta) entre grupos e tempo. Retas paralelas sugerem ausência de efeito de interação.


Análise de efeito de interação (inversa) entre grupos e tempo. Retas paralelas sugerem ausência de efeito de interação.

Figura 19.2: Análise de efeito de interação (inversa) entre grupos e tempo. Retas paralelas sugerem ausência de efeito de interação.





19.7 Efeito de mediação


19.7.1 O que é um mediador de efeito?


19.7.2 O que é efeito de mediação?


19.7.3 O que é efeito direto?


19.7.4 O que é efeito indireto?


19.7.5 O que é efeito total?


19.8 Efeitos brutos e padronizados


19.8.1 O que é efeito bruto?


19.8.2 O que é efeito padronizado?


19.9 P-valor


19.9.1 O que é significância estatística?

  • A expressão “significância estatística”210 ou “evidência estatística de significância” sugere apenas que um experimento merece ser repetido, uma vez que um baixo P-valor (calculado a partir dos dados, modelos e demais suposições do estudo) sugere ser improvável que os dados coletados sejam coletados no contexto de que a hipótese nula \(H_{0}\) assumida é verdadeira.211


19.9.2 Como justificar o nível de significância estatística de um teste?




19.9.3 O que é o P-valor?

  • P-valor é a probabilidade, assumindo-se um dado modelo estatístico, de que um efeito calculado a partir dos dados seria igual ou mais extremo do que o seu valor observado.212

  • P-valor é uma variável aleatória que possui distribuição uniforme quando a hipótese nula \(H_{0}\) é verdadeira.213


19.9.4 Como interpretar o P-valor?

  • P-valores abaixo de um nível de significância estatística pré-especificado representam que um experimento merece ser repetido, com a rejeição da hipótese nula \(H_{0}\)) justificada apenas quando experimentos adicionais frequentemente reportem igualmente resultados positivos (rejeição da hipótese nula \(H_{0}\)).194

  • P-valor resulta da coleta e análise de dados, e assim quantifica a plausibilidade dos dados observados sob a hipótese nula \(H_{0}\).214

  • P-valores podem indicar quantitativamente a incompatibilidade entre os dados obtidos e o modelo estatístico especificado a priori (geralmente constituído pela hipótese nula \(H_{0}\)).212

  • P-valores menores/maiores do que o nível de significância estatístico pré-estabelecido não devem ser utilizados como única fonte de informação para tomada de decisão em ciência.212


19.9.5 O que o P-valor não é?

  • P-valor não representa a probabilidade de que a hipótese nula \(H_{0}\)) seja verdadeira, nem a probabilidade de que os dados tenham sido produzidos pelo acaso.212

  • P-valor não mede o tamanho do efeito ou a relevância da sua observação.212

  • P-valor sozinho não provê informação suficiente sobre a evidência sobre um modelo teórico. A sua interpretação correta requer uma descrição ampla sobre o delineamento, métodos e análises estatísticas aplicados no estudo.212

  • Evidência estatística de significância não provê informação sobre a magnitude do efeito observado e não necessariamente implica que o efeito é robusto.148,213


19.9.6 Qual a origem do ‘P<0,05’?


19.9.7 Quais são os complementos ou alternativas ao P-valor?

  • Intervalos de confiança, credibilidade ou predição.212

  • Razão de verossimilhança.212

  • Métodos Bayesianos, fator Bayes.212


19.10 P-haking


19.10.1 O que é P-haking?

Referências

148.
Landis SC, Amara SG, Asadullah K, et al. A call for transparent reporting to optimize the predictive value of preclinical research. Nature. 2012;490(7419):187-191. doi:10.1038/nature11556
187.
Sullivan GM, Feinn R. Using Effect Sizeor Why the P Value Is Not Enough. Journal of Graduate Medical Education. 2012;4(3):279-282. doi:10.4300/jgme-d-12-00156.1
189.
Champely S. Pwr: Basic Functions for Power Analysis.; 2020. https://CRAN.R-project.org/package=pwr.
191.
Lakens D, Caldwell A. Simulation-based power analysis for factorial analysis of variance designs. 2021;4:251524592095150. doi:10.1177/2515245920951503
194.
Goodman SN. Aligning statistical and scientific reasoning. Science. 2016;352(6290):1180-1181. doi:10.1126/science.aaf5406
200.
Kim HY. Statistical notes for clinical researchers: effect size. Restorative Dentistry & Endodontics. 2015;40(4):328. doi:10.5395/rde.2015.40.4.328
201.
Ben-Shachar MS, Lüdecke D, Makowski D. Effectsize: Estimation of effect size indices and standardized parameters. 2020;5:2815. doi:10.21105/joss.02815
202.
Bours MJL. Using mediators to understand effect modification and interaction. Journal of Clinical Epidemiology. September 2023. doi:10.1016/j.jclinepi.2023.09.005
203.
Altman DG, Matthews JNS. Statistics Notes: Interaction 1: heterogeneity of effects. BMJ. 1996;313(7055):486-486. doi:10.1136/bmj.313.7055.486
204.
Pinheiro J, Bates D, R Core Team. Nlme: Linear and Nonlinear Mixed Effects Models.; 2023. https://CRAN.R-project.org/package=nlme.
205.
Sabanes Bove D, Dedic J, Kelkhoff D, et al. Mmrm: Mixed Models for Repeated Measures.; 2022. https://CRAN.R-project.org/package=mmrm.
206.
Lenth RV. Emmeans: Estimated Marginal Means, Aka Least-Squares Means.; 2023. https://CRAN.R-project.org/package=emmeans.
207.
Baron RM, Kenny DA. The moderatormediator variable distinction in social psychological research: Conceptual, strategic, and statistical considerations. Journal of Personality and Social Psychology. 1986;51(6):1173-1182. doi:10.1037/0022-3514.51.6.1173
208.
GREENLAND S, SCHLESSELMAN JJ, CRIQUI MH. THE FALLACY OF EMPLOYING STANDARDIZED REGRESSION COEFFICIENTS AND CORRELATIONS AS MEASURES OF EFFECT. American Journal of Epidemiology. 1986;123(2):203-208. doi:10.1093/oxfordjournals.aje.a114229
209.
Greenland S, Maclure M, Schlesselman JJ, Poole C, Morgenstern H. Standardized Regression Coefficients. Epidemiology. 1991;2(5):387-392. doi:10.1097/00001648-199109000-00015
210.
LATTER OH. THE EGG OF CUCULUS CANORUS: AN ENQUIRY INTO THE DIMENSIONS OF THE CUCKOO’S EGO AND THE RELATION OF THE VARIATIONS TO THE SIZE OF THE EGGS OF THE FOSTER-PARENT, WITH NOTES ON COLORATION, &c. Biometrika. 1902;1(2):164-176. doi:10.1093/biomet/1.2.164
211.
Aylmer Fisher R. The arrangement of field experiments. Ministry of Agriculture and Fisheries. 1926. doi:10.23637/ROTHAMSTED.8V61Q
212.
Wasserstein RL, Lazar NA. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician. 2016;70(2):129-133. doi:10.1080/00031305.2016.1154108
213.
Altman N, Krzywinski M. P values and the search for significance. Nature Methods. 2017;14(1):3-4. doi:10.1038/nmeth.4120
214.
Heinze G, Dunkler D. Five myths about variable selection. Transplant International. 2016;30(1):6-10. doi:10.1111/tri.12895