[ML/DL] LMM, Linear Mixed-effect Model (선형 혼합효과 모형)

1. 선형 혼합효과 모형(LMM) 이란?

데이터가 군집(cluster)로 모일 수 있는 경우 혹은 한 명의 실험 대상자로부터 반복하여 실험 결과를 얻는 경우에 사용할 수 있는 선형 모형이다. 동일한 군집의 데이터나 한명의 대상으로부터 반복측정된 데이터는 서로 독립이 아니게 되므로 개체 내 상관을 고려하여 분석이 필요하다.
 
Linear Mixed Model은 고정효과(Fixed Effect)와 랜덤효과(Random Effect)로 이루어진다.
(일반적으로 알고 있는 Linear Model 은 고정효과(Fixed Effect)로만 이루어진 모형이다)
 
 

2. LMM 가정

• 설명변수와 반응변수는 선형 관계
• 잔차의 등분산성
• 잔차의 독립성
• 잔차의 정규성

 

 3. 고정효과 vs. 랜덤효과

 

• 고정효과 (fixed effects)
  요인의 레벨이 모집단에서 동일하게 고정되어 있는 효과이다. (ex. 성별)
  모집단에서 샘플링된 표본마다 요인의 레벨이 동일하고 요인으로 인한 효과도 동일하다고 가정한다.
  연구의 주요 목적은 요인의 레벨 간의 비교이고, 예를 들어 남/여학생의 시험 성적을 비교하고자할 때 성별이 고정효과이다.

• 랜덤효과 (random effects)
  모집단에서 샘플링된 표본마다 요인의 레벨과 레벨의 효과가 다른 분포를 가지는 효과이다.
  예를 들어 임상 연구에서 환자를 무작위로 선정하여 여러 시점에 걸쳐 반복 측정하였다면,
  환자마다 1) 측정된 반응 변수의 평균(intercept)이 다를 수 있고, 2) 설명변수가 반응변수에 미치는 영향(slope)이 다를 수 있다. 
  • Random Intercept
    반응변수의 평균이 환자마다 다르다고 생각될 경우, 절편을 random하게 고려한다.
    $Y_j = b0_j + b1_j*trt_{if} + e_{ij}$
    $b0_j = v0 + u0_j$
    
    
  • Random Slope
    설명변수와 반응변수의 관계가 환자마다 다르다고 생각될 경우, 기울기를 random하게 고려한다.
    $Y_j = b0_j + b1_j*trt_{if} + e_{ij}$
    $b1_j = v1 + u1_j$
    
    Intercept와 Slope을 모두 고려할 수도 있다.
    $Y_j = b0_j + b1_j*trt_{if} + e_{ij}$
    $b0_j = v0 + u0_j$
    $b1_j = v1 + u1_j$

 

4. 모형 수식

$$Y = X\beta + ZU + \epsilon$$
 
$X$ :  고정효과의 공변량
$\beta$ :  고정효과 크기
$Z$ : 랜덤효과의 공변량
$U$ : 랜덤효과 크기
 
 

5. 모수 추정 방법

분산-공분산행렬 $V$이 알려져 있다면 고정효과 $\beta$의 추정을 위해 일반최소제곱법(Generalized least squares)를 이용할 수 있지만 실제로 $V$의 구조와 구성 성분은 알려져 있지 않기 때문에 공분산구조를 가정하여 다음 절차를 수행한다.

1. 공분산구조를 가정하여 $\beta$ 초기값 추정
2. $\hat{\beta}$를 로그우도함수에 대입 후 $\sigma^2$에 대해 미분하여 $\sigma^2$ 초기값 추정
3. $\hat{\beta}, \hat{\sigma^2}$을 로그우도함수에 대입
4. 로그우도함수를 최대로 하는 $V$ 추정
5. $\hat{V}$ 이용하여 $\hat{\beta}, \hat{\sigma^2}$ 다시 추정

 
 
6. 공분산구조

모수 추정을 위해 공분산 구조를 가정할 때 아래와 같은 모형을 고려할 수 있다.

• 균일상관모형 (Uniform correlation model, CS;compound symmetric, exchangeable)
• 지수상관모형 (exponential correlation model)
• Toeplitz 모형
• 무구조 상관모형 (Unstructured correlation model)

 
 
 
* Reference
https://study-easy.tistory.com/45
http://www.rensenieuwenhuis.nl/r-sessions-21-multilevel-model-specification-nlme/