Post Hoc Tests

Ref: Post Hoc Tests, https://mindscale.kr/course/basic-stat-r/post-hoc/#_2

실무 진행하면서 이해한 바대로 explanation:

분산분석 후 세 그룹 이상의 그룹에서 차이가 존재한다면 t test를 여러번 하게 되면 제 1종 오류가 기존에 정한 값보다 커지는 문제가 생긴다. (표본의 크기가 다를 경우) 본페로니 검정 후 p값 3배(세 그룹이라면, 즉 그룹 수대로 배수) 해주기

FWER

Familywise Error Rate, 여러 개의 가설 검정 진해 시 적어도 하나의 가설에서 1종 오류가 발생할 가능성

Import

library(DescTools)

대표적인 사후분석 방법

본페로니 교정
피셔의 LSD
투키의 HSD
셰페의 방법

분산분석

m = aov(weight ~ group, data = PlantGrowth)

summary(m)

            Df Sum Sq Mean Sq F value Pr(>F)  
group        2  3.766  1.8832   4.846 0.0159 *
Residuals   27 10.492  0.3886                 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Fisher’s Least Significant Difference

피셔의 LSD ;최소한의 유의한 차이
FWER 높음

PostHocTest(m, method='lsd')


  Posthoc multiple comparisons of means : Fisher LSD 
    95% family-wise confidence level

$group
            diff      lwr.ci    upr.ci   pval    
trt1-ctrl -0.371 -0.94301261 0.2010126 0.1944    
trt2-ctrl  0.494 -0.07801261 1.0660126 0.0877 .  
trt2-trt1  0.865  0.29298739 1.4370126 0.0045 ** 

---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

마지막인 trt2-trt1 차이만 p-값이 0.05보다 작아 통계적으로 유의한 차이가 있다고 할 수 있다.

Bonferroni correction

모든 집단을 짝지어서 t-test 진행
짝지어 비교를 3번하면 p값을 3배해야 한다.
FWER 중간

PostHocTest(m, method='bonferroni')


  Posthoc multiple comparisons of means : Bonferroni 
    95% family-wise confidence level

$group
            diff     lwr.ci    upr.ci   pval    
trt1-ctrl -0.371 -1.0825786 0.3405786 0.5832    
trt2-ctrl  0.494 -0.2175786 1.2055786 0.2630    
trt2-trt1  0.865  0.1534214 1.5765786 0.0134 *  

---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

trt2-trt1만 유의한 차이를 가지고 있다,
피셔의 LSD와 다른 점은 p값이 세 배가 되었다는 것이다.
즉 데이터에 따라 피셔의 LSD에서는 유의하지만 본페로니 교정에서는 유의하지 않을 수 있다.

Tuckey’s Honestly Significant Difference

진정으로 유의미한 차이
FWER 중간

PostHocTest(m, method='hsd')


  Posthoc multiple comparisons of means : Tukey HSD 
    95% family-wise confidence level

$group
            diff     lwr.ci    upr.ci   pval    
trt1-ctrl -0.371 -1.0622161 0.3202161 0.3909    
trt2-ctrl  0.494 -0.1972161 1.1852161 0.1980    
trt2-trt1  0.865  0.1737839 1.5562161 0.0120 *  

---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

trt2-trt1차이가 유의미하다는 결과가 나왔다.

Scheffe’s method

보수적인 결과라 2종 오류의 가능성이 존재한다.
FWER 가장 낮음

PostHocTest(m, method='scheffe')


  Posthoc multiple comparisons of means: Scheffe Test 
    95% family-wise confidence level

$group
            diff     lwr.ci    upr.ci   pval    
trt1-ctrl -0.371 -1.0930531 0.3510531 0.4241    
trt2-ctrl  0.494 -0.2280531 1.2160531 0.2265    
trt2-trt1  0.865  0.1429469 1.5870531 0.0163 *  

---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

trt2-trt1 차이가 유의하다는 결과가 나왔다.