Chap28. 다층모형(Multilevel Modeling)을 활용한 정책 도입 및 효과 분석

안녕하세요!

오늘은 다층모형(Multilevel Modeling)을 활용한 정책 도입 및 효과 분석에 대해 살펴보겠습니다. “학교 현장의 데이터”를 예시로 들어 직관적인 설명과 수리적 엄밀함을 모두 갖춘 형태로 재구성해 드리겠습니다.

분석 도구로는 jamovi의 사용법을 설명하되, jamovi의 기반이 되는 R 코드를 함께 제시하여 모의 데이터 생성부터 분석, 시각화까지 완벽하게 구현해 드리겠습니다.

1. 왜 다층분석(Multilevel Modeling)이 필요할까요?

정책 분석가들은 특정 정책이 채택되는 원인과, 정책이 실행된 이후의 결과를 모두 연구합니다. 이러한 질문을 탐구할 때, 정책이 시간이 지남에 따라 역동적으로 변하며 대개 위계적(hierarchical) 구조를 통해 개발되고 실행된다는 점을 인식하는 것이 필수적입니다.

  • 군집화(Clustering)의 일상화: 정책은 종종 고유한 특성을 가진 개별 진료소나 학교를 통해 실행됩니다. 이처럼 프로그램의 설계와 행정에서 군집화는 널리 퍼진 특징입니다.
  • 분산의 무시 = 잘못된 추론: 정책 데이터가 가지는 이러한 위계적 특성이나 종단적 특성을 무시하는 것은 분산의 원천을 무시하는 것이며, 잠재적으로 잘못된 추론을 이끌어낼 수 있습니다. 흥미롭게도 교육학 분야는 프로그램의 효과성 연구에서 다층 연구의 예시를 정치학보다 훨씬 더 많이 보여주고 있습니다.

2. 내재된 데이터(Nested Data): 교실 안의 학생들

위계적인 방식으로 실행되는 프로그램의 영향을 분석하는 예로, 5학년 학생들의 수학 시험 점수를 결과 변수로 가정해 보겠습니다. 이 경우 학생들은 교실에 소속되고, 교실은 학교에, 학교는 교육청에 소속되어 프로그램을 수행하게 됩니다. 정책이 실행되는 방식은 각 수준(Level)마다 다릅니다. 담임 교사는 고유한 교수법과 자격을 지니고 있으며 , 학교는 학생들에게 제공하는 시설과 규율 정책이 다를 수 있습니다.

만약 연구자가 이런 군집성을 무시하고 전통적인 선형 모형인 최소제곱법(OLS)으로만 분석하면 어떻게 될까요?

  • 데이터의 위계적 구조는 같은 상위 집단 내 관측치들 간에 자기상관(autocorrelation)을 유발합니다.
  • 급내상관(intraclass correlation)의 존재는 일반적으로 표준오차를 하향 편향되게 만들어 t-값과 z-값을 높입니다.
  • 이는 연구자가 긍정적인 결과(통계적으로 유의미함)를 잘못 보고할 가능성, 즉 ‘1종 오류(False Positive)’를 증가시킵니다.

이를 방지하기 위해 교육청(ll), 학교(kk), 교실(jj), 학생(ii) 수준을 모두 고려한 임의절편모형(Random Intercept Model)은 다음과 같이 표현할 수 있습니다.

yijkl=xijklβ+ul+δkl+vjkl+ϵijkly_{ijkl}=x_{ijkl}\beta+u_{l}+\delta_{kl}+v_{jkl}+\epsilon_{ijkl}

  • 여기서 xijklx_{ijkl}은 공변량 벡터이고, β\beta는 고정계수(fixed coefficients)입니다.
  • 설명되지 않은 분산은 교육청 수준(ulu_{l}), 학교 수준(δkl\delta_{kl}), 교실 수준(vjklv_{jkl}), 그리고 학생 수준(ϵijkl\epsilon_{ijkl})의 네 가지 구성 요소로 나뉩니다.

또한, 교사가 석사 학위를 가지고 있는지 여부가 학생의 성취도에 미치는 영향이 학교마다 다를 수 있다고 가정한다면, 기울기마저 변하는 임의기울기모형(Random Slope Model)을 적용할 수 있습니다.

yijkl=β0+x1jklβ1+x2ijklβ2+ul+δ0kl+x1jklδ1kl+νjkl+ϵijkly_{ijkl}=\beta_{0}+x_{1jkl}\beta_{1}+x_{2ijkl}\beta_{2}+u_{l}+\delta_{0kl}+x_{1jkl}\delta_{1kl}+\nu_{jkl}+\epsilon_{ijkl}

  • β1\beta_{1}은 교사 자격에 대한 고정계수이며, δ1kl\delta_{1kl}은 교사 자격의 효과 중 학교별로 변하는 임의 요소를 나타냅니다.
  • 만약 δ1kl\delta_{1kl}의 분산이 크다면 석사 학위 보유의 결과가 학교마다 크게 다르다는 뜻이므로, 일괄적인 자격 요건 적용이 주 전체에 동일한 효과를 내지 못할 것임을 시사합니다.

3. 종단 데이터(Longitudinal Data) 분석

정책이나 프로그램은 멈춰있지 않습니다. 교육 프로그램 역시 여러 해에 걸쳐 단계적으로 도입되거나 폐지되기도 하므로 연구자들은 종단 데이터를 분석할 준비가 되어 있어야 합니다.

패널 데이터는 횡단면 개인들을 시간 경과에 따라 여러 번 관찰한 데이터입니다. 이 방식은 횡단면 데이터보다 프로그램에 대한 인과적 명제를 평가할 수 있는 더 나은 기회를 제공합니다. 정책 처리에 대한 반응으로서 결과의 변화를 관찰할 수 있기 때문입니다.

국가(ii)의 연도(tt)별 외국인 직접 투자(FDI)를 분석하는 임의효과 모형(Random Effects Model)의 예는 다음과 같습니다.

yit=xitβ+ui+ϵity_{it}=x_{it}\beta+u_{i}+\epsilon_{it}

  • 여기서 uiu_{i}는 각 단위(국가 등)의 무작위 절편입니다.
  • 일부 국가가 공변량으로 설명되지 않는 이유로 매년 지속적으로 더 높은 수준을 유지한다면, 이러한 단위 이질성(unit heterogeneity)을 설명하는 것이 필수적입니다.

4. 다른 모형과의 연결 및 공간적 의존성

정책 데이터는 다층분석뿐만 아니라 다른 발전된 기법과도 연결됩니다.

  • 사건사 분석(Event History Analysis): 주 단위에서 새로운 교육 정책을 채택할 때까지 걸리는 ‘시간’을 종속변수로 볼 때 사용됩니다. 시간 데이터는 정규분포를 따르지 않으며 중도절단(censoring) 문제가 발생하므로 이 기법이 유용합니다.
  • 공간 모델링(Spatial Modeling): 학교나 진료소는 지도상의 지점으로 위치를 나타낼 수 있으며 지리적 이웃 여부를 분류할 수 있습니다. 관찰되지 않은 변수나 결과 변수가 이웃 간에 더 유사한 공간적 자기상관을 보일 때, 조건부 자기회귀(CAR: conditionally autoregressive) 모형을 통해 지리적 의존성을 통제하면 보다 정확한 결과를 얻을 수 있습니다.

5. 다층분석의 한계점과 대안

다층분석이 완벽한 것은 아니며, 연구 상황에 따라 대안을 고민해야 합니다.

  1. 소표본 문제 (Micronumerosity): 상위 수준의 단위가 매우 적을 때(예: 미국 50개 주, 라틴 아메리카 20개국) 통계적 검정력이 떨어집니다. 이 경우 데이터 전체를 모집단으로 간주하고 불확실성을 유연하게 다루는 베이지안(Bayesian) 방법을 사용하는 것이 큰 이점이 될 수 있습니다.
  2. 임의효과 모형의 한계: 임의효과 모형은 단위 효과가 모든 공변량과 독립적이라고 가정합니다. 그러나 상위 수준의 단위 효과가 하위 수준 예측 변수와 상관관계가 있다면 내생성 편향이 발생합니다.
  3. 고정효과 모형(Fixed Effects Model): 이럴 때는 더미 변수를 추가하여 단위 이질성을 제어하는 고정효과 모형(LSDV)이 대안이 될 수 있습니다. 하지만 고정효과 모형은 시간이나 수준에 따라 변하지 않는 변수(time-invariant variables)의 효과를 추정할 수 없다는 치명적인 단점이 있으므로 상황에 맞게 신중히 선택해야 합니다.

적용 사례: 대기오염방지법(Clean Air Act) 집행 2001-2009년 동안의 미국 50개 주의 환경 정책 집행 건수를 분석한 연구에서는, 위에서 배운 개념들을 모두 통합하였습니다. 종속변수가 건수(count)이므로 포아송 분포를 적용했고, 시간에 따른 동적 구조(Lagged variable)와, 이웃 주들끼리의 유사성을 통제하기 위한 공간적 조건부 자기회귀(CAR) 임의효과를 포함한 베이지안 상태공간 모형을 사용했습니다.

6. 모의 데이터 분석: 학교 현장의 다층분석 실습

자, 이제 교육심리통계 교수로서, 직접 실습을 해보겠습니다.

스토리: 어느 교육청에서 도입한 ‘디지털 리터러시 프로그램’의 효과를 검증하려 합니다. 학생(Level 1) 1,000명이 50개의 학교(Level 2)에 소속되어 있습니다. 학생의 이전 국어 점수(pre_score)와 교사의 디지털 연수 여부(teacher_training)가 학생의 최종 디지털 리터러시 점수(post_score)에 미치는 영향을 확인해 보겠습니다.

R 코드를 활용한 모의 데이터 생성 및 분석

R

# 필수 패키지 로드
library(lme4)
library(lmerTest)
set.seed(2026)

# 1. 데이터 생성
n_schools <- 50
n_students_per_school <- 20
total_students <- n_schools * n_students_per_school

# 학교 수준 데이터 (Level 2)
school_id <- rep(1:n_schools, each = n_students_per_school)
# 교사 연수 여부 (학교/학급 단위로 부여된다고 가정)
teacher_training <- rep(rbinom(n_schools, 1, 0.5), each = n_students_per_school)
# 학교별 임의효과 (각 학교의 고유한 평균적 성취도 차이)
school_effect <- rep(rnorm(n_schools, mean = 0, sd = 5), each = n_students_per_school)

# 학생 수준 데이터 (Level 1)
pre_score <- rnorm(total_students, mean = 50, sd = 10)
student_error <- rnorm(total_students, mean = 0, sd = 8)

# 종속변수 계산: 최종 점수 = 절편 + 이전점수 효과 + 교사연수 효과 + 학교효과 + 오차
post_score <- 20 + (0.6 * pre_score) + (8 * teacher_training) + school_effect + student_error

df <- data.frame(school_id = as.factor(school_id),
                 student_id = 1:total_students,
                 pre_score = pre_score,
                 teacher_training = as.factor(teacher_training),
                 post_score = post_score)

# 2. 다층모형 분석 (Random Intercept Model)
# null model (ICC 확인용)
model_null <- lmer(post_score ~ 1 + (1 | school_id), data = df)
summary(model_null)

# full model
model_full <- lmer(post_score ~ pre_score + teacher_training + (1 | school_id), data = df)
summary(model_full)

Jamovi에서의 분석 방법

연구자 분들이 코딩 없이 마우스 클릭만으로 분석할 수 있는 Jamovi 가이드입니다.

  1. 위에서 만든 데이터를 CSV로 저장하여 Jamovi로 불러옵니다.
  2. 상단 메뉴의 Modules에서 GAMLj (General Analyses for Linear Models) 모듈을 설치합니다.
  3. GAMLj -> Mixed Model을 클릭합니다.
  4. Dependent Variable에 post_score를 넣습니다.
  5. Covariates에 pre_score (연속형 변수)를, Factors에 teacher_training (범주형 변수)을 넣습니다.
  6. Cluster Variables에 school_id를 넣습니다.
  7. Random Effects 탭을 열고, school_id를 오른쪽 박스로 넘겨 무작위 절편(Random Intercept)을 지정합니다.
  8. 결과를 확인하면 R의 lmer 패키지와 완벽히 동일한 다층분석 결과를 직관적인 표로 얻을 수 있습니다.

참고문헌

  • Allison, P. (2005). Fixed Effects Regression Models for Longitudinal Data Using SAS. Cary, NC: SAS Publishing.
  • Banerjee, S., Carlin, B. P., & Gelfand, A. E. (2004). Hierarchical Modeling and Analysis for Spatial Data. New York: Chapman and Hall.
  • Bryk, A. S., & Raudenbush, S. W. (1987). Application of Hierarchical Linear Models to Assessing Change. Psychological Bulletin, 101, 147-158.
  • Cameron, A. C., & Trivedi, P. K. (2005). Microeconometrics. New York: Cambridge University Press.
  • Flay, B. R. et al. (1995). The Television, School And Family Smoking Prevention And Cessation Project: VIII Student Outcomes And Mediating Variables. Preventive Medicine, 24, 29-40.
  • Monogan III, J. E. (n.d.). Modeling Policy Adoption and Impact with Multilevel Methods. In The SAGE Handbook of Multilevel Modeling (pp. 503-520).
  • Wood, B. D. (1992). Modeling Federal Implementation as a System: The Clean Air Case. American Journal of Political Science, 36, 40-67.