안녕하세요? 이번에는 ‘표본은 작고 변수는 많은(Small $N$, Large $p$)’ 상황에서의 구조방정식 모델링(Structural Equation Modeling, SEM)입니다. 현장에서 교육 연구를 진행하다 보면 설문 문항(변수)은 수백 개에 달하는데, 특정 소수 집단이나 특수 학교 학생들을 대상으로 하여 표본을 충분히 확보하지 못하는 경우가 비일비재하죠.

이런 고차원적 문제(High-dimensional problems) 상황에서 기존의 통계적 방법론을 그대로 적용하면 어떤 오류가 발생하는지, 그리고 이를 해결하기 위한 최신 기법들은 무엇인지 함께 알아보겠습니다.

1. 작은 표본과 많은 변수의 딜레마

구조방정식(SEM)의 핵심 강점은 측정 오차를 분리하고 잠재 변수 간의 관계를 명확히 추정하는 것입니다. 하지만 본래 SEM은 대표본($N$)과 상대적으로 적은 변수($p$)를 가정하고 개발된 점근적(Asymptotic) 방법론입니다.

교육 연구 현장에서 흔히 발생하는 문제는 다음과 같습니다.

• 수렴 실패 및 불안정성: 표본이 적으면 표본 공분산 행렬($S$)이 ‘full rank’가 되지 않아 수렴에 수천 번의 반복 계산이 필요하거나 아예 수렴하지 않을 수 있습니다.
• 다중공선성: 변수가 많아지면 변수 간 상관관계가 지나치게 높아져 행렬이 근사 특이(Near-singular) 상태에 빠지기 쉽습니다.
• 부적절한 적합도: 점근적 이론에 기반한 카이제곱($\chi^2$) 통계량은 변수가 많고 표본이 작을 때 모델을 과도하게 기각하는 경향(Type I error 인플레이션)이 있습니다.

[사례 연구: 학업 스트레스와 학교 적응]

어느 중학교의 학습 지원 대상 학생 50명을 대상으로 ‘학업 스트레스 지표(150문항)’를 조사했다고 가정해 봅시다. 150개의 문항(변수)에 대해 표본이 50명뿐이라면, 기존의 최대우도법(ML)은 거의 확실하게 오류를 뱉어낼 것입니다.

2. 모델 매개변수 추정의 해결책

표본 공분산 행렬 $S$가 특이 행렬(Singular matrix)이 되어 계산이 불가능할 때, 우리는 릿지(Ridge) 방법을 고려할 수 있습니다.

2.1 릿지 최대우도법 (Ridge ML)

전통적인 방법은 $S$의 대각선에 일정한 상수를 더해 양의 정구조(Positive definite) 행렬로 만드는 것입니다.

• Yuan & Chan (2008) 제안: $S$ 대신 $S_a = S + aI$ (여기서 $a = p/N$)를 사용하여 추정의 속도와 수렴율을 획기적으로 높였습니다.

2.2 릿지 일반화최소자승법 (Ridge GLS)

일반적인 GLS는 표본이 작고 변수가 많을 때 매우 불안정합니다. 이를 보완하기 위해 가중치 행렬 $W$를 조정한 릿지 GLS가 제안되었습니다.

• Yang & Yuan (2019): 비정규 분포 데이터에서 릿지 GLS가 NML(정규분포 기반 ML)보다 효율적인 추정치를 제공함을 입증했습니다.

2.3 베이지안(Bayesian) 접근법

베이지안 방식은 점근적 이론에 의존하지 않기 때문에 소표본 연구에서 강력한 대안이 됩니다.

• 사전 정보(Priors)의 활용: 과거 연구나 전문가 견해를 바탕으로 사전 분포를 설정하면, 데이터가 부족하더라도 안정적인 추정이 가능합니다.
• 주의사항: 잘못된 사전 정보를 설정할 경우 편향된 결과를 초래할 수 있으므로 신중해야 합니다.

3. 모델 적합도 평가의 교정

전통적인 $T_{ML}$ 통계량은 소표본에서 믿을 수 없습니다. 이를 교정하기 위한 다양한 ‘휴리스틱’ 및 ‘통계적 교정’ 방법들이 제안되었습니다.

교정 방법	주요 특징	추천 상황
Swain 교정	$(N-1)$을 $N_{Swain}$으로 대체하여 교정	일반적인 소표본
Yuan & Bentler (2017) $T_{rml}^{(c20)}$	경험적 결과에 기반한 평균 및 분산 교정	비정규 분포 및 소표본
Tian & Yuan (2019) $T_{a}^{(b)}$	2,000개 이상의 조건에서 캘리브레이션된 최신 통계량	변수가 매우 많은 경우($p \le 120$)

4. 실전 가이드: R을 활용한 소표본 SEM 분석

많은 교육학도가 사용하는 jamovi의 기본 SEMLj 모듈은 이러한 고차원 교정 기능을 모두 제공하지는 못합니다. 따라서 R의 lavaan 패키지를 활용한 분석이 권장됩니다.

[모의 데이터 시나리오]

• 스토리: ‘교사 효능감’과 ‘직무 만족도’의 관계 모델링.
• 상황: 특수 교사 80명 대상($N=80$), 문항 수는 총 60개($p=60$).

R

# 필요한 라이브러리 로드
library(lavaan)

# 1. 모의 데이터 생성 (N=80, p=60인 고차원 데이터)
set.seed(2026)
data <- matrix(rnorm(80 * 60), 80, 60)
colnames(data) <- paste0("v", 1:60)
df <- as.data.frame(data)

# 2. 모델 정의 (간략화된 예시)
model <- '
  F1 =~ v1 + v2 + v3 + v4 + v5 + v6 + v7 + v8 + v9 + v10
  F2 =~ v11 + v12 + v13 + v14 + v15 + v16 + v17 + v18 + v19 + v20
  F2 ~ F1
'

# 3. Satorra-Bentler 교정 적용 분석 (소표본/비정규성 대비)
fit_sb <- sem(model, data = df, test = "Satorra.Bentler")

# 4. 결과 출력
summary(fit_sb, fit.measures = TRUE, standardized=TRUE)

5. 결론 및 제언

소표본과 다변수 상황에서의 SEM은 “불가능한 작업”이 아니라 “세심한 교정이 필요한 작업”입니다. 분석 시 다음 원칙을 기억하세요.

1. 릿지 추정법을 통해 수렴 불안정성을 해결하세요.
2. 단순 카이제곱 대신 경험적으로 교정된 통계량($T_{rml}$, $T_{a}^{(b)}$)을 확인하세요.
3. 표준 오차의 정확성을 위해 부트스트랩(Bootstrap) 기법 활용을 검토하세요.
4. 가능하다면 강력한 사전 정보를 바탕으로 한 베이지안 SEM을 고려해 보시기 바랍니다.

참고문헌

• Marcoulides, K. M., Yuan, K.-H., & Deng, L. (2022). Structural equation modeling with small samples and many variables. In Handbook of Structural Equation Modeling.
• Yuan, K.-H., & Chan, W. (2008). Structural equation modeling with near singular covariance matrices. Computational Statistics & Data Analysis, 52, 4842-4858.
• Tian, Y., & Yuan, K.-H. (2019). Mean and variance corrected test statistics for structural equation modeling with many variables. Structural Equation Modeling, 26, 827-846.

WaurimaL의 한 마디:

이 내용이 여러분의 학위 논문이나 연구 설계에 실질적인 도움이 되길 바랍니다. 혹시 여러분의 연구 데이터에서 “표본이 너무 적어 분석이 안 된다”는 경고 메시지가 뜬다면, 제가 제안한 릿지(Ridge) 옵션을 먼저 검토해 보시는 건 어떨까요?