[통계] 다중성 문제(Multiplicity Problem)

1. 다중성 문제(Multiplicity Problem)이란?

하나의 평가 변수에 대해 유의수준 αα = 0.05로 양측 검정을 하는 경우, 모집단에서 실제 차이가 존재하지 않는데 차이를 잘못 발견할 확률은 0.05/2 = 0.025(2.5%)이다. 즉, 실제 차이가 존재하지 않을 때 차이를 발견하지 못할 확률은 0.975(97.5%)가 된다.

 

반면, 2개의 독립적인 평가 변수에 대해 유의수준 αα = 0.05로 양측 검정을 해서 2개 중 하나의 평가 변수만 유의해도 효과가 있다고 인정하는 경우에는, 모집단에서 실제 차이가 존재하지 않는 두 평가 변수에서 모두 차이를 확인하지 못할 확률은 0.975*0.975 = 0.95(95%)이다. 즉, αα를 0.05로 두었지만 다중 검정으로 인해 αα가 0.1으로 높아지게 된다. 

 

이렇게 평가 변수가 여러 개인 다중 검정을 진행할 때 제 1종 오류율이 높아지는 것을 다중성 문제(Multiplicity Problem)라고 하고, 이를 해결하기 위해서는 보정 절차가 필요하다.

 

 

2. 다중성 문제 보정 방법

• 본페로니(Bonferroni)
  : 다중성 문제 해결을 위해 가장 많이 사용하는 방법으로 간단하지만 지나치게 보수적이라는 단점이 있다.
    모든 검정에서 동일하게 유의 수준을 검정의 개수로 나누어서 설정한다.
    Adjusted αα = αmαm
  
  
• 홈(Holm)
   : 본페로니 방법보다 덜 보수적인 방법으로, p값 순서에 따라 검정별로 유의 수준을 조정한다.
  
    m개의 평가변수로부터 얻은 p값: p(1) < p(2) < p(3) < ... < p(m)
  • p(1)은 유의수준 α/mα/m을 기준으로 평가한다.
  • p(1)이 유의할 경우 p(2)를 α/(m−1)α/(m−1)기준으로 평가한다.
  • 만약 각 단계에서 유의하지 않은 결과가 나올 경우, 다음 단계에 대한 평가를 진행하지 않고, 더 큰 p값을 가진 모든 평가 변수에 대해 통계적으로 유의하지 않는다는 결과를 내린다.

 

• 호치버그(Hochberg)
  : 홈 방법보다 높은 검정력을 보인다. (홈에서 유의하다면 호치버그에서도 유의)
    홈 절차와 동일하게 p값 순서에 따라 검정별로 유의 수준을 조정하지만 최대 p값에서 시작하여 역순으로 진행된다.
    호치버그 방법은 평가 변수가 독립적이거나 양의 상관관계를 가지는 경우를 가정한다.
  
    m개의 평가변수로부터 얻은 p값: p(1) < p(2) < p(3) < ... < p(m)
  • p(m)을 유의수준 αα를 기준으로 평가한다.
  • p(m)이 유의하지 않을 경우 p(m-1)을 α/(m−1)α/(m−1)을 기준으로 평가한다.
  • 만약 각 단계에서 유의한 결과가 나올 경우, 그 단계보다 더 작은 p값을 가진 모든 평가 변수에 대해 통계적으로 유의하다는 결론을 내린다.