[ML/DL] Moderated Regression vs. ANCOVA : Interaction

비교 검정에서 관심 요인이 아닌 공변량의 효과를 함께 고려하기 위해 주로 ANCOVA 검정을 사용한다.

다만, ANCOVA는 관심 요인과 공변량 간에 interaction이 없다는 가정 하에 이루어져야함에도 불구하고, 많은 연구자들이 interaction 여부 확인을 생략하고 ANCOVA를 진행하는 경우가 많다.

 

요인과 공변량 간에 상당히 큰 interaction이 존재할 경우, Moderated Regression(MODREG) 분석을 고려해볼 수 있다.

MODREG는 그룹의 차이 크기가 공변량의 수준에 따라 어떻게 다른지 확인할 수 있다.

 

 

1. Moderated Regression (MODREG)란? 

독립변수가 아닌 또 다른 변수(조절변수)가 독립변수와 종속변수 간의 효과를 중간에서 조절하는 경우 (즉, 상호작용이 있는 경우)에 사용하는 분석 기법이다.

 

 

2. 조절 변수 (Moderator)

어떤 변수가 다른 변수의 방향을 바꿀 수 있다면 잠재적인 moderator로 고려해볼 수 있다.

예를 들어, 기후변화에 대한 지식의 정도가 특정 환경 정책에 대한 긍정적인 태도에 영향을 미치는지를 확인하고자 할 때 기후변화 정보를 얼마나 신뢰하는지에 대한 정도가 조절 변수가 될 수 있다. 기후변화가 거짓 정보라고 생각하는 경우에는 지식이 있어도 환경 정책에 대한 부정적인 태도를 취할 수도 있기 때문이다.

 

Moderator가 적절한지 확인하기 위해서는 아래와 같은 모델을 테스트해보면 된다.

 

$$Y = b1X1 + b2Z1 + b3X1Z1 + C$$

 

$b1$과 $b2$는 직접 효과에 대한 coefficient이고,

$b3$는 상호작용에 대한 coefficient이다.

$b3$에 대한 p-value를 통해 상호작용이 유의미한지 아닌지 확인할 수 있다.

 

 

3. 다중공선성 VIF

위의 상호작용 변수를 포함한 모형을 통해 조절 변수가 유의하다는 것을 확인했다면,

추가로 다중공선성 VIF지수를 확인해봐야 한다.

조절 변수가 유의하더라도 다중공선성에 문제가 있다면 조절회귀분석을 진행하기에 적합하지 않다.

이때, 조절 변수와 상호작용 변수 간의 다중공선성이 존재한다면 평균 중심화 기법으로 해결 가능하다.

 

 

4. 평균 중심화 (Mean Centering)

평균 중심화 방법은 변수에서 평균값을 빼준 것이다.

독립 변수는 X - Mean(X), 조절 변수는 Z - Mean(Z)

상호작용 항은 {X - Mean(X)} × {Z - Mean(Z)}로 구하고 다시 회귀분석을 실시하면 VIF 지수가 낮아짐을 확인할 수 있다.

 

 

 

 

* R 예제는 아래 포스팅 참고

2024.02.13 - [R] - [R] Moderated Regression (조절 회귀 분석)

 

* ANCOVA는 아래 포스팅 참고

2023.11.21 - [Statistics] - [통계] ANCOVA (공분산분석)

[통계] ANCOVA (공분산분석)

 

 

* Reference

 - ancova vs. modreg

https://www.sciencedirect.com/science/article/pii/S2452301118300154

 - Regression with a moderator

https://scholar.harvard.edu/sigou-interdisciplinary-blog/regression-moderator-101

 - moderated regression in r

https://jmsallan.netlify.app/blog/moderated-multiple-regression-in-r/