[통계] Fleiss' kappa (플레이스의 카파)

이전 포스팅에서 카파 상관계수란 무엇인지와 Cohen's kappa에 대해 알아보았다.

2024.01.11 - [Statistics & AI/Correlation] - [통계] Cohen's Kappa (코헨의 카파)

[통계] Cohen's Kappa (코헨의 카파)

 

이번 포스팅에서는 범주형 자료에서 3명 이상의 평가자를 비교하기 위해 사용하는 Fleiss' kappa에 대해 알아보겠다.

 

1. 카파 상관계수란?

범주형 데이터에서 일치도를 측정하는 통계량이다.

 

범주가 순서형이 아닌 명목형이고, 비교군이 2개 이하인 경우에는 Cohen's kappa를 사용한다.

같은 경우지만 범주가 순서형인 경우는 Weighted Cohen's Kappa를 사용한다.

• n명의 환자를 대상으로 2명의 평가자가 측정하였을 때, 평가자 간 신뢰도 확인
• n명의 환자를 대상으로 두 가지 검사 방법 X와 Y을 사용할 때, X와 Y의 결과가 얼마나 일치하는지 확인
• n명의 환자를 대상으로 한 명의 평가자가 두 번 측정하였을 때, 1차와 2차 결과가 얼마나 일치하는지 평가자 내 신뢰도 확인

 

만약 아래와 같이 비교 군이 3개 이상인 경우는 Fleiss's Kappa를 사용한다.

• n명의 환자를 대상으로 3명의 평가자가 측정하였을 때, 평가자 간 신뢰도 확인
• n명의 환자를 대상으로 세 가지 검사 방법 X, Y, Z의 결과의 일치도 확인
• n명의 환자를 대상으로 한 명의 평가자가 세 차례 측정하였을 때, 1, 2, 3차 결과가 얼마나 일치하는지 평가자 내 신뢰도 확인

 

2. Fleiss' kappa 계산

• $N$: 평가된 항목의 수
• $n$: 각 항목에 대해 관찰자들이 내린 평가 수 (모든 항목에 대해 동일하다고 가정)
• $k$: 범주의 수 (예: "동의", "반대", "모름" 등)
• $n_{ij}$: 항목 ii에 대해 범주 $j$로 평가된 관찰자의 수

 

1) 항목별 일치도 비율 ($P_i$)

항목 $i$에서 동일한 범주로 평가된 관찰자들의 쌍을 기반으로 일치도를 계산

$$P_i = \frac{1}{n(n-1)}\sum^{k}_{j=1}n_{ij}(n_{ij}-1)$$

 

 

2) 전체 범주 비율 ($P_j$)

전체 데이터에서 범주 $j$가 선택된 비율을 계산

$$P_j = \frac{1}{Nn}\sum^{N}_{i=1}n_{ij}$$

 

 

3) 전체 기대 일치도 ($P_e$)

$$P_e = \sum^{k}_{j=1}P^2_j$$

 

 

4) 전체 관찰된 일치도 ($P_o$)

$$P_o = \frac{1}{N}\sum^{N}_{i=1}P_i$$

 

 

5) Fleiss' Kappa ($\kappa$)

$$\kappa = \frac{P_o - P_e}{1 - P_e}$$

 

 

3. Fleiss' kappa 해석

• $\kappa$ = 1: 완벽한 일치
• 0.75 ≤ $\kappa$ < 1: 높은 일치도
• 0.4 ≤ $\kappa$ < 0.75: 보통 수준
• $\kappa$ < 0.4: 낮은 일치도