[통계] 실험 설계 (반복 시행, 무작위화)

 

이번 포스팅에서는 실험 설계 단계에서 고려해야 할 사항에 대해 알아보도록 하겠다. 통계 분석을 잘 한다 하더라도, 부적절한 실험을 통해 얻어진 결과는 신뢰할 수 없기 때문에 실험 설계 과정은 *매우* 중요하다.

 

실험 설계 단계의 가장 핵심은 반복 시행과 무작위화이다.

추가로 간결성의 원칙, 검정력, 인위적 반복, 비직교성 등의 개념도 함께 이해해야 한다.

 

 

 

1. 간결성의 원칙

특정 현상에 대한 설명들이 여러 개 존재할 경우, 가장 단순한 것을 선택해야 한다는 원칙이다. 통계 모형에서는 아래의 의미를 포함한다.

• 모형은 되도록 적은 수의 모수를 포함.
• 비선형 모형보다는 선형 모형을 사용.
• 되도록 작은 수의 가정을 고려할 수 있는 실험을 선택.
• 복잡한 설명보다는 단순한 설명을 선택.

 

 

2. 반복 시행

 

같은 시행이 이루어졌을 때, 개인에 따라 반응이 각각 다를 것이기 때문에 반복 시행이 필요하다.

반응이 다른 원인은 너무 많고 다양한데 (성별, 나이, 과거력 등), 반복 시행의 목적은 모수 추정치의 신뢰도를 높이고 같은 처치 내에서 발견되는 변동성을 수치화하는 것이다. 반복 시행은 아래의 조건을 만족해야 한다.

 

• 독립성
• 적절한 공간 스케일(관측 범위, 측정 간격 등)을 사용하여 측정.
• 이상적으로는 블록 디자인(block design)을 통해 각 블록 내에서 모든 처치를 적용.
• 동일한 개인 혹은 공간에서 반복 측정(repeated measure)된 것은 반복 시행이 아님.

반복 시행(=샘플 수)이 얼마나 필요하냐라고 한다면 일반적으로 30번 이상을 이야기한다. 대수의 법칙에 따른 기준으로 실제로 유용하게 사용되지만, 실험 목적이나 가설, 변동성 등에 따라 필요한 반복 시행 횟수는 다르다. 파일럿 연구를 통해 분산을 알거나 추정할 수 있다면 검정력 분석(power analysis)를 통해 가설 검정에 필요한 적절한 반복 시행 횟수를 산출할 수 있다.

 

 

 

3. 검정력

검정력(power)는 귀무가설이 거짓일 때, 이를 기각할 확률을 뜻한다.

귀무가설이 거짓일 때 채택할 확률인 2종 오류($\beta$, 1-검정력)와 관련이 있는데, 이상적으로 $\beta$가 작을수록 좋다.

하지만 2종 오류($\beta$)를 줄이려 하면 귀무가설이 참일 때 기각할 확률인 1종 오류($\alpha$)가 증가한다는 문제점이 있다. 절충을 위해서 일반적으로 $\alpha$ = 0.05, $\beta$ = 0.2로 두고 분석을 수행하는데, 여기에서 오차 분산을 알거나 추정할 수 있다면 검정력 분석(power analysis)를 통해 특정 검정에 필요한 표본의 수(=반복 시행의 수)를 계산할 수 있다.

 

 

 

4. 무작위화

무작위화는 데이터의 편향를 최소화하고 분석 결과가 다른 외부 요인에 의해 왜곡되지 않도록 하는 역할을 한다. 현실적으로 완벽한 무작위화를 진행하는 것은 어려운 데, 이러한 경우 층화나 블록(block)을 사용해서 해석 불가능한 변이를 줄일 수 있다. 

• 단순 무작위화: 모든 실험 참가자를 각각 독립적으로 무작위로 실험군 또는 대조군에 배정하는 방법으로 동전 던지기나 난수표 등의 방법을 사용.
• 층화 무작위화: 특정 특성을 기준으로 참가자들을 여러 층으로 나눈 후 각 층 내에서 무작위 배정을 실시하는 방법으로 특정 특성에 의한 편향을 더 효과적으로 통제 가능.
• 블록 무작위화: 참가자들을 크기가 같은 블록으로 나눈 후, 각 블록 내에서 무작위 배정을 실시하는 방법으로 특히 소규모 실험에서 유용하며, 시간에 따른 외부 요인의 영향을 통제하는 데 효과적임.

 

블록 무작위화의 예로, 5개의 살충제 효과를 비교하는 실험을 수행한다고 가정해보자.

바닥에 살충제를 뿌리고 해충 집단을 노출시킨 후, 발에 독가루가 묻은 해충의 생존율을 확인하는 방법으로 실험이 진행된다. 이 때, 해충들의 활동성에 따라 발에 묻혀질 독가루의 양이 다를 것이고, 독가루의 양은 생존율에 영향을 미치게 될 것이다. 활동성 수준이 중요한 요소로 판단된다면, 실험 설계 단계에서 이를 고려해줘야 한다.

 

해충을 활동성 수준에 따라 (활발/중간/느릿) 3개의 수준으로 구분하고, 활발한 50마리를 10마리씩 5개 블록에, 중간 50마리와 느릿한 50마리도 동일하게 10마리씩 5개 블록에 넣어준다. (총 150마리, 15개 블록) 이렇게 활동성을 랜덤 효과(random effect)로 고려하여 블록을 생성해 주었다면, 이제 5종류의 살충제 중 하나를 랜덤하게 뽑아 첫 번째 블록에 뿌리고, 또 다시 랜덤하게 뽑아 그 다음 블록에 뿌리는 식으로 실험을 진행한다.

 

만약 활동성에 따른 블록을 지정해주지 않았다면, 150마리 해충에 대한 변이는 아래와 같이 표현될 수 있다.

 

전체 변이 = 설명 가능한 변이(SSA) + 설명 불가능한 변이(SSE)

 

살충제 종류에 의해 설명 가능한 변이의 양(SSA)이 크다면 살충제 효과 차이를 확인할 수가 있지만, 설명 불가능한 변이(SSE)가 크다면 고정 효과(fixed effect)에 대한 결론을 내리기 어렵다.

 

여기서 활동성을 고려해서 블록을 지정해 준다면, 아래 식처럼 설명 불가능한 부분(SSE)의 크기를 줄일 수 있게 된다.

 

전체 변이 = 설명 가능한 변이(SSA) +  블록 변이 + 설명 불가능한 변이(SSE)

 

좋은 실험 설계에서는 SSE를 되도록 작게 만들어야 하므로, 블록 디자인을 사용해서 변동성을 줄일 수 있다.

 

 

 

5. 인위적 반복

인위적 반복은 위에서 나온 반복 시행과 달리 시간상, 공간상에서 독립적이지 않게 반복이 시행되는 경우를 말한다.

• 동일한 개인으로부터 반복 측정 
• 동일한 공간에서 반복 측정

인위적 반복의 경우 통계 분석의 중요 가정인 오차의 독립성을 만족하지 않게 되는데, 이로 인해서 실제와 다른 잘못된 결론에 이를 수 있다. 데이터에 인위적 반복이 있을 경우, 아래 대책을 사용해 볼 수 있다.

• 인위적 반복에 대해 평균을 계산해, 그 평균에 대한 분석 시행
• 각 시간대에 따라 개별적 분석 시행
• 시계열 분석(time series analysis) 또는 혼합 효과 모형(mixed effect model) 사용

 

 

6. 직교 설계 / 비직교 관찰 데이터

계획된 직교 설계 실험에서는 한 독립 변수의 수준들이 다른 독립 변수의 수준들과 상관되지 않도록 설계된다.

즉, 각 변수의 수준 조합에 개체 수가 균형있게 배치된다.

 

반면, 관찰 연구에서는 개체 수나 조합을 조절할 수가 없어 불균형이 발생할 수 있다. 이런 경우를 비직교라고 한다.

 

직교와 비직교 상황에서의 통계 모형은 중요한 차이가 있는데,

직교 설계에서는 각 요인에 대한 변동성이 일정해서 하나의 요인이 모형에서 제거될 때 그 순서가 영향을 주지 않는다.

반면, 비직교 데이터에서는 각 요인에 의한 변동성이 모형에서 요인이 제거되는 순서에 따라 달라질 수 있다.

따라서, 비직교 데이터에서 요인의 중요성을 판단할 때는 제거 순서를 고려하는 것이 매우 중요하다.

 

 

 

 

 

 

 

 

 

* Reference

 - 크롤리의 통계학 강의