태그 보관물: 측정동일성

Chap 20. 확인적 요인분석을 활용한 측정 동일성 검사

안녕하세요?
이번에는 여러분과 함께 확인적 요인분석(CFA)을 활용한 측정 동일성(Measurement Invariance, MI)에 대해 살펴보고자 합니다.

측정 동일성은 우리가 만든 심리 검사나 시험이 서로 다른 집단(예: 남학생과 여학생, 도시와 농촌 학생)에게 ‘공정하게’ 작용하는지 확인하는 필수적인 과정입니다. 만약 측정 동일성이 확보되지 않는다면, 집단 간 점수 차이가 실제 능력의 차이인지 아니면 검사 도구의 편향성 때문인지 알 수 없게 됩니다.

이 내용은 교육 현장의 사례를 들어 측정 동일성의 개념과 절차를 상세히 설명합니다. 분석 도구로는 jamovi를 우선적으로 사용하며, 필요한 경우 R (lavaan) 코드를 병행하겠습니다.

1. 측정 동일성의 기초: 회귀 모델을 통한 이해

측정 동일성을 이해하기 위해 먼저 관찰 변수들 사이의 회귀 모델에서 나타날 수 있는 예측 편향(Prediction Bias)을 살펴보겠습니다.

1.1. 기본 회귀 모델

두 집단(예: 일반고와 자사고)에서 고교 내신(XX)으로 대학 성적(YY)을 예측한다고 가정해 봅시다. 회귀 방정식은 다음과 같습니다.

Yi=a+bXi+eiY_{i} = a + bX_{i} + e_{i}

여기서 aa는 절편, bb는 기울기입니다. 측정 동일성(또는 예측 동일성)이 성립하려면 집단에 관계없이 동일한 회귀 식이 적용되어야 합니다.

1.2. 편향의 형태

  • 무편향 (No Bias): 두 집단의 절편과 기울기가 모두 동일합니다.
  • 절편 편향 (Intercept Bias): 기울기는 같지만 절편이 다릅니다. 동일한 내신 점수임에도 한 집단의 대학 성적이 항상 높게 예측되는 경우입니다.
  • 기울기 편향 (Slope Bias): 절편은 같지만 기울기가 다릅니다. 내신 점수가 대학 성적에 미치는 영향력(민감도)이 집단마다 다른 경우입니다.

2. 공통 요인 모델과 측정 동일성

이제 관찰 변수에서 잠재 변수(Latent Variable)를 다루는 요인 분석 모델로 확장해 보겠습니다. 확인적 요인분석(CFA)에서는 다음과 같은 파라미터들이 중요합니다.

  • 요인 부하량 (λ\lambda, Lambda): 잠재 요인이 관찰 변수에 미치는 영향(회귀의 기울기 역할).
  • 절편 (vv, Nu): 잠재 요인 점수가 0일 때 관찰 변수의 기댓값.
  • 오차 분산 (uu, Unique factor): 요인으로 설명되지 않는 변량.

3. 측정 동일성의 4단계 절차

측정 동일성은 일반적으로 제약이 가장 적은 모델부터 가장 엄격한 모델 순으로 검증합니다.

1단계: 형태 동일성 (Configural Invariance)

  • 정의: 각 집단에서 요인 구조(요인의 수와 지표 변수의 구성)가 동일한지 확인합니다.
  • 교육 사례: ‘수학 효능감’ 검사가 남학생과 여학생 모두에게 동일하게 3개의 문항으로 구성된 단일 요인 구조를 갖는지 확인합니다.

2단계: 측정 동일성/약한 동일성 (Weak/Metric Invariance)

  • 정의: 집단 간 요인 부하량(λ\lambda)을 동일하게 제약합니다.
  • 의미: 요인이 변화할 때 문항 반응이 변화하는 정도가 두 집단에서 같음을 의미합니다. 이것이 충족되어야 요인 간 상관이나 회귀 계수를 비교할 수 있습니다.

3단계: 강한 동일성 (Strong/Scalar Invariance)

  • 정의: 요인 부하량과 더불어 문항 절편(vv)을 동일하게 제약합니다.
  • 의미: 동일한 잠재 수준을 가진 학생이라면 집단에 상관없이 문항에서 동일한 점수를 얻을 것으로 기대합니다. 이 단계가 통과되어야 집단 간 평균 비교가 가능합니다.

4단계: 엄격한 동일성 (Strict Invariance)

  • 정의: 앞선 제약에 오차 분산(uu)까지 동일하게 제약합니다.
  • 의미: 측정의 정밀도(신뢰도)까지 두 집단에서 동일함을 의미합니다.

4. 모의 자료를 활용한 실습: “자기주도학습 검사”

4.1. 가상 시나리오

경기도 교육청 소속 연구사인 당신은 중학생용 ‘자기주도학습 능력’ 검사 도구(3문항)를 개발했습니다. 이 도구가 도시 지역 학생들과 농촌 지역 학생들에게 동일하게 작동하는지 확인하고자 합니다.

4.2. 모의 자료 생성 (R 코드)

R

# 데이터 생성을 위한 R 코드
set.seed(2025)
n <- 200

# 도시 집단 (City): 높은 부하량, 평균 0
city_latent <- rnorm(n, 0, 1)
city_y1 <- 0.8 * city_latent + rnorm(n, 0, 0.6) + 0.5
city_y2 <- 0.7 * city_latent + rnorm(n, 0, 0.6) + 0.5
city_y3 <- 0.9 * city_latent + rnorm(n, 0, 0.6) + 0.5
city_data <- data.frame(y1=city_y1, y2=city_y2, y3=city_y3, group="City")

# 농촌 집단 (Rural): 도시와 동일한 구조 (강력 동일성 가정)
rural_latent <- rnorm(n, -0.5, 1) # 평균이 0.5 낮음
rural_y1 <- 0.8 * rural_latent + rnorm(n, 0, 0.6) + 0.5
rural_y2 <- 0.7 * rural_latent + rnorm(n, 0, 0.6) + 0.5
rural_y3 <- 0.9 * rural_latent + rnorm(n, 0, 0.6) + 0.5
rural_data <- data.frame(y1=rural_y1, y2=rural_y2, y3=rural_y3, group="Rural")

# 통합 데이터
sim_data <- rbind(city_data, rural_data)

4.3. jamovi에서의 분석 단계

jamoviFactor -> Confirmatory Factor Analysis 메뉴를 사용합니다.

  1. Model Builder: y1, y2, y3를 하나의 요인으로 설정합니다.
  2. Filters/Group: group 변수를 ‘Group’ 칸에 넣습니다.
  3. Measurement Invariance: jamovi의 최신 버전(또는 SEMLj 모듈)에서는 측정 동일성 옵션을 체크하면 단계별 모델 비교 표를 자동으로 생성해 줍니다.

분석 결과 예시

모델χ2dfpCFIRMSEA비고
1. 형태 동일성4.212.122.998.032모델 적합함
2. 측정 동일성5.884.208.997.0251번과 차이 없음 (Δp>.05\Delta p > .05)
3. 강한 동일성7.126.310.998.0182번과 차이 없음

해석: 강한 동일성까지 확보되었으므로, 도시 학생과 농촌 학생의 자기주도학습 능력 평균을 비교하는 것은 통계적으로 타당합니다.

5. 결론 및 제언

측정 동일성 검증은 복잡해 보이지만, “우리가 잰 자(Scale)가 모든 집단에게 똑같이 눈금이 매겨져 있는가?”를 묻는 아주 상식적인 과정입니다.

  • 만약 특정 문항이 동일성을 해친다면 해당 문항의 제약을 풀어주는 부분 동일성(Partial Invariance) 모델을 고려할 수 있습니다.
  • 대규모 국제 학업성취도 평가(PISA)와 같이 많은 집단을 비교할 때는 베이지안 접근법이나 정렬(Alignment) 방법이 대안이 될 수 있습니다.

교육 연구자로서 여러분의 도구가 모든 학생에게 공정하게 적용되기를 바랍니다.

참고문헌

  • Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural Equation Modeling, 14(3), 464-504.
  • Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233-255.
  • Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika, 58(4), 525-543.
  • Millsap, R. E. (2011). Statistical approaches to measurement invariance. Routledge.
  • Widaman, K. F., & Reise, S. P. (1997). Exploring the measurement invariance of psychological instruments: Applications in the substance abuse domain. In K. J. Bryant, M. Windle, & S. G. West (Eds.), The science of prevention: Methodological advances from alcohol and substance use research (pp. 281-324). American Psychological Association.