카테고리 보관물: 교육통계

교육통계

Chap 03. 구조방정식모델링(SEM)과 인과추론: 상관관계를 넘어 원인을 찾아서

1. 서론: SEM은 단순히 통계적 적합도 놀이인가?

교육학이나 심리학 연구를 하다 보면 우리는 늘 이런 경고를 듣습니다. “상관관계는 인과관계를 증명하지 않는다(Correlation does not prove causation).”

하지만 아이러니하게도 우리는 구조방정식(SEM)을 사용하여 경로 모형을 그리고, 화살표를 그으며 내심 “이 변수가 저 변수의 원인이야”라고 해석하고 싶어 합니다. 실제로 SEM의 초기 개척자들(Sewall Wright, Haavelmo 등)은 SEM을 데이터와 이론적 가정을 결합하여 인과적 결론을 도출하는 강력한 도구로 여겼습니다.

그러나 시간이 지나며 통계학자들의 비판(예: Freedman, Holland) 속에 SEM 연구자들은 자신감을 잃었습니다. “이 파라미터는 인과 효과가 아니다”라며 방어적인 태도를 취하게 되었죠. 이 챕터의 목적은 SEM이 어떻게 다시 강력한 인과추론의 도구가 될 수 있는지, 그 논리적 기반을 명확히 하는 것입니다.

2. SEM의 논리적 구조: 가정, 질의, 그리고 데이터

SEM이 인과관계를 주장할 수 있는 이유는 데이터가 마법을 부려서가 아닙니다. 바로 연구자가 투입하는 ‘가정(Assumptions)’ 때문입니다.

Judea Pearl은 SEM을 하나의 추론 엔진(Inference Engine)으로 봅니다.

  • 입력 (Input):
    1. 가정(AA): 연구자가 이론적으로 정당화할 수 있는 인과적 가정들입니다. (예: “지능은 학업성취에 영향을 주지만, 학업성취가 지능을 바꾸지는 않는다.”)
    2. 질의(QQ): 우리가 알고자 하는 질문입니다. (예: “방과 후 수업(XX)을 들으면 성적(YY)이 얼마나 오를까?”)
    3. 데이터(DD): 우리가 수집한 관찰 데이터입니다.
  • 출력 (Output):
    1. 논리적 함의(AA^*): 데이터와 무관하게, 가정만으로 도출되는 논리적 결론입니다.
    2. 조건부 주장(CC): “가정 AA가 맞다면, 효과는 CC이다”라는 형태의 주장입니다.
    3. 검증 가능한 함의(TT): 데이터로 우리 모형의 가정이 틀렸는지 확인할 수 있는 부분입니다(적합도 검증).

WaurimaL의 팁: SEM 결과표에 있는 숫자가 “진짜 인과 효과”가 되려면, 여러분이 그린 화살표(가정 AA)가 이론적으로 탄탄해야 합니다. 통계 프로그램은 여러분의 가정이 참이라고 믿고 계산만 해줄 뿐입니다.

3. 구조방정식의 본질: ‘본다(Seeing)’와 ‘한다(Doing)’의 차이

가장 중요한 개념 중 하나는 do(x)do(x) 연산자입니다.

  • P(y|x)P(y|x): XXxx인 학생들을 관찰했을 때(Seeing), YY의 확률입니다. (예: 학원을 다니는 학생들의 성적)
  • P(y|do(x))P(y|do(x)): 모든 학생에게 강제로 X를 하게 했을 때(Doing/Intervention), YY의 확률입니다. (예: 교육청이 모든 학생을 학원에 보내는 정책을 폈을 때의 성적).

구조방정식 y=βx+uyy = \beta x + u_y는 단순한 회귀식이 아닙니다. 이것은 자연이 YY의 값을 결정하는 메커니즘을 표현한 것입니다. 여기서 β\beta는 다른 모든 변수를 고정하고 XX만 1단위 증가시켰을 때 YY의 변화량을 의미하며, 이는 인과적 해석을 담고 있습니다.

4. 반사실적 사고(Counterfactuals): “만약 그랬다면?”

우리가 교육 연구에서 진짜 궁금한 것은 이런 것입니다.

“철수가 보충수업을 안 들었는데 성적이 70점이다. 만약 철수가 보충수업을 들었더라면(do(x)do(x)) 몇 점을 받았을까?”

이것이 바로 반사실(Counterfactuals)입니다. SEM은 이를 수학적으로 계산할 수 있는 도구를 제공합니다.

[예시] 철수의 성적 예측

다음과 같은 모형이 있다고 합시다 (Figure 3.4 참고).

Note. From Handbook of structural equation modeling (p. 57), by R. H. Hoyle (Ed.), 2023, Guilford Press. Copyright 2023 by Guilford Press.

  • XX: 보충수업 시간 (0.5시간)
  • ZZ: 자습 시간 (1시간)
  • YY: 시험 성적 (1.5점)

우리는 철수의 잠재적 특성(오차항 uu)을 계산한 뒤, 철수가 자습 시간을 2배로 늘렸다면(Z=2Z=2) 성적이 어떻게 되었을지 계산할 수 있습니다. 이것은 단순한 회귀분석으로는 불가능하며, 구조적 모형이 있어야만 가능합니다.

5. 모의 데이터 생성 및 분석 (R & Jamovi)

이론만으로는 어려우니, 구체적인 교육학 시나리오를 만들어 R과 Jamovi(매개분석)를 통해 인과 효과를 추정해 보겠습니다. Pearl이 강조한 매개 공식(Mediation Formula)의 개념을 적용해 봅니다.

시나리오: ‘메타인지 훈련 프로그램’의 효과

  • 독립변수 (XX): 메타인지 훈련 프로그램 참여 여부 (0: 미참여, 1: 참여)
  • 매개변수 (MM): 자기주도학습 시간 (연속형)
  • 종속변수 (YY): 기말고사 수학 성적 (연속형)
  • 교란변수 (CC): 사전 수학 능력 (기초학습능력)

이 시나리오에서 우리는 프로그램이 성적을 직접 올리는지(직접 효과), 아니면 학습 시간을 늘려서 성적을 올리는지(간접 효과) 알고 싶습니다.

1) 데이터 생성 (R Code)

먼저, 인과적 구조를 반영하여 데이터를 생성합니다.

R

# 필요한 패키지 로드
if(!require(MASS)) install.packages("MASS")
set.seed(1234) # 재현성을 위해 시드 설정

# 샘플 수
N <- 1000

# 1. 교란변수 (C): 사전 수학 능력 (평균 50, 표준편차 10)
C <- rnorm(N, mean = 50, sd = 10)

# 2. 독립변수 (X): 메타인지 훈련 (랜덤 배정이지만, 사전 능력이 높으면 참여 확률이 약간 높게 설정 - 현실 반영)
# 로지스틱 함수를 이용해 확률 생성
prob_X <- 1 / (1 + exp(-(-2 + 0.05 * C)))
X <- rbinom(N, 1, prob_X)

# 3. 매개변수 (M): 자기주도학습 시간
# 훈련(X)과 사전능력(C)이 학습 시간에 영향을 줌
# M = 10 + 2*X + 0.1*C + error
M <- 10 + 2 * X + 0.1 * C + rnorm(N, mean = 0, sd = 2)

# 4. 종속변수 (Y): 기말고사 성적
# 훈련(X), 학습시간(M), 사전능력(C)이 모두 성적에 영향을 줌
# Y = 20 + 3*X + 1.5*M + 0.5*C + error
# 진정한 인과 효과(True Parameters):
# - X -> M (a path): 2
# - M -> Y (b path): 1.5
# - X -> Y (c' path, 직접효과): 3
# - 간접효과 (a*b): 2 * 1.5 = 3
# - 총효과: 3 + 3 = 6
Y <- 20 + 3 * X + 1.5 * M + 0.5 * C + rnorm(N, mean = 0, sd = 5)

# 데이터 프레임 생성
data <- data.frame(
  Pre_Math = C,
  Program = factor(X, levels = c(0, 1), labels = c("Control", "Treatment")),
  Study_Time = M,
  Final_Score = Y
)

# CSV 파일로 저장 (Jamovi에서 불러오기 위함)
write.csv(data, "meta_cognition_data.csv", row.names = FALSE)

# 데이터 확인
head(data)

생성된 예제 파일: chap03

2) Jamovi를 이용한 분석 가이드

Jamovi에서는 jmv 모듈(GLM)이나 medmod (Mediation) 모듈을 사용하여 분석할 수 있습니다. Pearl이 제안한 매개 공식은 비선형 모델에서도 작동하지만, 여기서는 이해를 돕기 위해 선형 모델을 가정하고 분석합니다.

  1. 데이터 불러오기: 위에서 생성한 meta_cognition_data.csv를 엽니다.
  2. 분석 모듈: Analyses > Mediation > Mediation (jamovi library에서 medmod 설치 필요).
  3. 변수 설정:
    • Dependent Variable: Final_Score (YY)
    • Predictor: Program (XX)
    • Mediator: Study_Time (MM)
    • Covariates: Pre_Math (CC) – 중요! 교란변수를 통제해야 정확한 인과 효과 추정이 가능합니다(Back-door criterion).
  4. 결과 해석:
    • Indirect Effect (간접 효과): Study_Time을 경유하는 효과입니다. R 코드에서 설정한 참값은 2×1.5=3.02 \times 1.5 = 3.0입니다. Jamovi 결과가 이와 유사하게 나오는지 확인합니다.
    • Direct Effect (직접 효과): ProgramFinal_Score에 미치는 직접적인 영향입니다. 참값은 3.03.0입니다.
    • Total Effect (총 효과): 직접효과 + 간접효과 6.0\approx 6.0.

Pearl의 관점에서의 해석:

전통적인 Baron & Kenny 방법이나 단순 회귀분석은 비선형성이나 상호작용이 있을 때 인과 효과를 오해할 수 있습니다. Pearl의 Mediation Formula 20는 어떤 형태의 함수(비선형 포함)라도 반사실적 정의(Counterfactual definition)를 통해 정확한 직접/간접 효과를 정의합니다. Jamovi의 결과는 선형 가정 하에 Pearl의 공식과 일치하는 결과를 줍니다.

6. 식별(Identification): 언제 인과관계를 주장할 수 있는가?

데이터만 있다고 무조건 인과관계를 찾을 수 있는 것은 아닙니다. 모델이 식별 가능(Identifiable)해야 합니다.

d-분리(d-separation)와 검증

우리가 그린 화살표가 맞는지 어떻게 알 수 있을까요? 그래프 이론의 d-separation을 사용합니다.

  • 만약 XMYX \rightarrow M \rightarrow Y 경로만 있고 XYX \rightarrow Y 직접 경로가 없다면, MM을 통제했을 때 XXYY는 통계적으로 독립이어야 합니다.
  • 데이터에서 실제로 XXYYMM 통제 하에 독립이라면, 우리 모델은 데이터와 일치(Fit)하는 것입니다. 이것이 적합도 검증의 원리입니다.

뒷문 기준(Back-Door Criterion)

관찰 데이터에서 인과 효과(P(y|do(x))P(y|do(x)))를 구하기 위해 어떤 변수를 통제해야 할까요? Pearl은 뒷문 기준이라는 명확한 규칙을 제시합니다.

  1. XX의 결과(후손)인 변수는 통제하지 마십시오.
  2. XX로 들어오는 화살표(뒷문)를 막는 변수 집합을 통제하십시오.

위의 모의 데이터 예시에서 Pre_Math(사전 능력)는 Program(XX)과 Final_Score(YY) 모두에 영향을 주는 공통 원인이므로, 뒷문을 열어두고 있습니다. 따라서 이 변수를 통제해야만 편향 없는 인과 효과를 얻을 수 있습니다.

7. 결론

구조방정식모델링(SEM)은 단순한 통계 기법이 아니라, 인과적 가정을 수학적으로 표현하고 검증하는 언어입니다.

  • SEM의 파라미터는 적절한 가정 하에서 인과적 효과로 해석될 수 있습니다.
  • 반사실적 사고(dodo-calculus)를 통해 우리는 “실험하지 않은 상황”에 대한 예측을 할 수 있습니다.
  • 연구자는 자신의 가정을 그래프(Path Diagram)로 명확히 표현하고, d-separation과 같은 도구로 이를 검증해야 합니다.

교육 연구자로서 우리는 이제 “상관관계는 인과관계가 아니다”라는 말 뒤에 숨지 말고, “어떤 가정 하에서 이 상관관계를 인과관계로 해석할 수 있는가?”를 묻고 답해야 합니다.


참고문헌 (References)

  • Bareinboim, E., & Pearl, J. (2016). Causal inference and the data-fusion problem. Proceedings of the National Academy of Sciences, 113, 7345-7352.
  • Bollen, K. A. (1989). Structural equations with latent variables. New York: Wiley.
  • Freedman, D. A. (1987). As others see us: A case study in path analysis. Journal of Educational Statistics, 12, 101-223.
  • Muthén, B. (1987). Response to Freedman’s critique of path analysis: Improve credibility by better methodological training. Journal of Educational Statistics, 12, 178-184.
  • Pearl, J. (2000). Causality: Models, reasoning, and inference. New York: Cambridge University Press.
  • Pearl, J. (2009). Causality: Models, reasoning, and inference (2nd ed.). New York: Cambridge University Press.
  • Pearl, J. (2012). The mediation formula: A guide to the assessment of causal pathways in non-linear models. In C. Berzuini, P. Dawid, & L. Bernardinelli (Eds.), Causality: Statistical perspectives and applications (pp. 151-179). Hoboken, NJ: Wiley.
  • Pearl, J. (This Chapter). The Causal Foundations of Structural Equation Modeling.
  • Wilkinson, L., Task Force on Statistical Inference, & APA Board of Scientific Affairs. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54, 594-604.
  • Wright, S. (1921). Correlation and causation. Journal of Agricultural Research, 20, 557-585.

Chap 02. 구조방정식 모델링의 역사와 발전

안녕하세요, 여러분.

오늘은 우리가 배우고 있는 구조방정식 모델링(SEM: Structural Equation Modeling)이 도대체 어디서 왔고, 어떻게 지금의 강력한 도구가 되었는지 그 역사를 짚어보는 시간을 갖겠습니다. “역사”라고 하면 지루하게 느낄 수 있겠지만, SEM의 역사는 생물학, 사회학, 심리학, 경제학이라는 서로 다른 학문이 ‘인과관계 규명’이라는 하나의 목표를 향해 달려와 만나는 아주 흥미로운 대서사시입니다.

이 챕터는 Ross L. Matsueda의 “A Brief History of Structural Equation Modeling” 을 바탕으로, 내용을 대폭 보강하고 우리 교육학 분야의 예시를 곁들여 재구성했습니다.

제2장. 구조방정식 모델링의 역사와 발전: 융합과 혁신

1. 서론: SEM은 하루아침에 만들어지지 않았다

구조방정식(SEM)은 현대 사회과학 연구에서 가장 인기 있는 통계 기법 중 하나입니다. 하지만 SEM은 어느 한 천재가 뚝딱 만들어낸 것이 아닙니다. 지난 100여 년간 각기 다른 분야에서 “관찰된 데이터로 어떻게 보이지 않는 원인을 찾을 것인가?”라는 질문에 답하기 위해 개발된 방법론들이 1970년대에 극적으로 통합된 결과물입니다.

우리는 이 거대한 흐름을 크게 네 가지 단계로 나누어 살펴보겠습니다.

  1. 기초 확립기: 생물학, 사회학, 심리학, 경제학의 독자적 발전
  2. 학제 간 통합기: 1970년대, 잠재변수와 경로분석의 만남
  3. 확장기: 정규성 가정 위반과 범주형 자료의 처리
  4. 최신 발전기: 베이지안, 기계학습, 그리고 인과 추론의 재조명

2. SEM의 학문적 뿌리 (Foundations)

SEM의 뿌리는 놀랍게도 유전학(생물학)에서 시작되어 사회학, 심리학, 경제학으로 뻗어나갔습니다.

2.1. 생물학 및 유전학: Sewall Wright의 경로분석 (Path Analysis)

1918년, 젊은 유전학자 Sewall Wright는 기니피그의 뼈 크기와 털 색깔 유전을 연구하고 있었습니다. 그는 단순히 변수 간의 상관관계(Correlation)를 구하는 것만으로는 부족함을 느꼈습니다. 상관관계는 두 변수가 관련이 있다는 것은 알려주지만, “무엇이 원인이고 무엇이 결과인가?”는 말해주지 않기 때문이죠.

그래서 Wright는 경로분석(Path Analysis)을 창안했습니다. 그는 변수들 사이의 인과관계를 화살표로 연결한 경로도(Path Diagram)를 그렸습니다.

Note. From Handbook of structural equation modeling (p. 18), by R. H. Hoyle (Ed.), 2023, Guilford Press. Copyright 2023 by Guilford Press.

  • 교육학적 예시: 여러분이 ‘부모의 지원(X)’이 ‘학생의 성적(Y)’에 미치는 영향을 본다고 가정해 봅시다. Wright의 방식에 따르면, 단순히 상관계수 rr을 보는 것이 아니라, 인과적 가정을 담은 경로 계수(path coefficient)를 통해 이 관계를 설명하려고 시도한 것입니다.

Wright는 이 복잡한 연립방정식 체계를 통해 유전(Heredity)과 환경(Environment)이 기니피그의 특성에 미치는 영향을 분해했습니다. 하지만 당시 통계학계의 주류였던 피어슨(Pearson) 학파와 피셔(Fisher) 학파는 Wright의 아이디어를 외면했습니다. “상관관계에서 인과를 찾으려 한다”는 이유로 말이죠.

2.2. 사회학: 인과 모델의 도입

사회학에서는 실험이 불가능한 경우가 많습니다. 예를 들어 “빈곤이 범죄에 미치는 영향”을 보기 위해 사람들을 강제로 빈곤하게 만들 수 없으니까요. 따라서 비실험 데이터(관찰 데이터)로 인과관계를 추론하는 것이 절실했습니다.

  • Blalock과 Duncan: 1960년대 사회학자 Blalock과 Duncan은 Wright의 경로분석을 사회학으로 가져왔습니다.
  • 지위 획득 모델 (Status Attainment Model): Blau와 Duncan(1967)은 아버지의 직업이 아들의 교육 수준을 거쳐 아들의 직업에 영향을 미치는 경로 모형을 제시했습니다. 이는 오늘날 우리가 교육사회학에서 흔히 보는 “가정배경 \rightarrow 학업성취 \rightarrow 사회적 성취” 모델의 시초입니다.

2.3. 심리학: 요인분석 (Factor Analysis)

심리학의 관심은 조금 달랐습니다. 심리학자들은 “지능(Intelligence)”이나 “창의성”처럼 눈에 보이지 않는 잠재변수(Latent Variable)를 측정하는 데 관심이 있었습니다.

  • Spearman의 g요인: Spearman(1904)은 여러 과목의 성적(수학, 언어, 논리 등)이 서로 상관이 높은 것을 보고, 이들 뒤에 공통된 하나의 원인인 일반 지능(g factor)이 있다고 주장했습니다.
  • 교육학적 적용: 우리가 “수리력”을 측정하기 위해 여러 개의 수학 문제를 풀게 하고, 그 점수들의 공통된 분산을 뽑아내는 것이 바로 요인분석의 원리입니다. 이를 통해 측정 오차(measurement error)를 제외한 진정한 능력을 추정할 수 있게 되었습니다.

2.4. 경제학: 연립방정식 모델 (Simultaneous Equation Models)

경제학자들은 수요와 공급처럼 서로가 서로에게 영향을 주는 양방향 인과관계(Reciprocal relationship)를 고민했습니다. 가격이 오르면 수요가 줄지만, 수요가 늘어나면 가격이 오르기도 하니까요.

  • Haavelmo와 Cowles 위원회: 이들은 연립방정식 모델을 통해 변수들이 동시에 결정되는 시스템을 추정하는 방법을 개발했습니다. 이는 훗날 SEM에서 양방향 화살표(비재귀 모형)를 다룰 수 있는 이론적 토대가 되었습니다.

3. 학제 간 대통합 (Integration): 현대 SEM의 탄생

1970년대는 SEM의 역사에서 가장 중요한 시기입니다. 서로 다른 길을 걷던 경로분석(사회학/생물학), 요인분석(심리학), 연립방정식(경제학)이 하나로 합쳐졌기 때문입니다.

3.1. Jöreskog와 LISREL

이 통합의 중심에는 스웨덴의 통계학자 Karl Jöreskog가 있습니다. 그는 1970년, LISREL (Linear Structural RELations)이라는 모델과 컴퓨터 프로그램을 발표했습니다.

  • 혁신: Jöreskog는 “측정 모델(요인분석)”과 “구조 모델(경로분석)”을 하나의 수식으로 결합했습니다.
    • 측정 모델: x=Λξ+δx = \Lambda \xi + \delta (관측변수가 잠재변수를 어떻게 측정하는가?)
    • 구조 모델: η=Bη+Γξ+ζ\eta = B\eta + \Gamma\xi + \zeta (잠재변수들끼리 어떤 인과관계를 맺는가?)
  • 이로써 우리는 “측정 오차를 통제한 상태에서 잠재변수 간의 인과관계”를 분석할 수 있게 되었습니다. 이것이 바로 오늘날 우리가 쓰는 SEM의 표준입니다.

3.2. Hauser와 Goldberger의 통찰

Hauser와 Goldberger(1971)는 관측되지 않는 변수(Unobservables)를 처리하는 방식을 정교화하며, 최대우도법(ML)이 어떻게 최적의 추정치를 제공하는지 증명했습니다. 그들은 “Walking Dog Model”(개 산책 모델)이라 불리는 다중 지표 모델을 통해 이를 설명했습니다.

Note. From Handbook of structural equation modeling (p. 23), by R. H. Hoyle (Ed.), 2023, Guilford Press. Copyright 2023 by Guilford Press.

4. [실습 및 시뮬레이션] 교육학적 예시: 통합된 SEM의 위력

이론만으로는 와닿지 않을 수 있습니다. 1970년대 통합의 의의를 보여주기 위해, 교육학적 상황을 가정한 모의 데이터를 생성하고 분석해보겠습니다.

시나리오: “가정의 사회경제적 배경(SES)”이 “학교 적응(School Adjustment)”을 매개로 “학업 성취도(Achievement)”에 미치는 영향을 보고 싶습니다.

  • 전통적 경로분석: SES, 적응, 성취도를 각각 하나의 점수(관측변수)로만 봅니다. 측정 오차를 고려하지 못합니다.
  • 통합된 SEM: SES, 적응, 성취도를 각각 여러 문항으로 측정한 잠재변수로 설정하여 측정 오차를 제거하고 구조적 관계를 봅니다.

아래는 R을 사용하여 이 가상의 상황을 시뮬레이션하고 분석하는 코드입니다. (jamovi에서는 SEMLj 모듈을 설치하여 아래와 유사한 구조로 분석할 수 있습니다.)

# 필요한 패키지 로드
if(!require(lavaan)) install.packages("lavaan")
library(lavaan)

# 1. 데이터 생성 (Backstory: N=500명의 고등학생 데이터)
# SES: 부모소득(inc), 부모학력(edu)
# School_Adj(학교적응): 교사관계(rel_t), 교우관계(rel_f), 학교흥미(intr)
# Ach(성취도): 중간고사(mid), 기말고사(fin), 모의고사(mock)

set.seed(1234)
N <- 500

# 구조 모델 (Latent Regression)
# SES -> Adj (0.4), SES -> Ach (0.3), Adj -> Ach (0.5)
SES <- rnorm(N)
Adj <- 0.4*SES + rnorm(N, 0, 0.8) # 오차항 포함
Ach <- 0.3*SES + 0.5*Adj + rnorm(N, 0, 0.7)

# 측정 모델 (Measurement Model)
# 각 잠재변수가 관측변수를 생성
inc <- 1.0*SES + rnorm(N, 0, 0.5)
edu <- 0.8*SES + rnorm(N, 0, 0.5)

rel_t <- 1.0*Adj + rnorm(N, 0, 0.6)
rel_f <- 0.9*Adj + rnorm(N, 0, 0.6)
intr  <- 0.8*Adj + rnorm(N, 0, 0.6)

mid <- 1.0*Ach + rnorm(N, 0, 0.4)
fin <- 1.1*Ach + rnorm(N, 0, 0.4)
mock <- 0.9*Ach + rnorm(N, 0, 0.4)

# 데이터프레임 생성
Data <- data.frame(inc, edu, rel_t, rel_f, intr, mid, fin, mock)

# 2. SEM 모델 명세 (Lavaan Syntax)
model <- '
  # 측정 모델 (Measurement Model)
  SES =~ inc + edu
  Adjustment =~ rel_t + rel_f + intr
  Achievement =~ mid + fin + mock
  
  # 구조 모델 (Structural Model)
  Achievement ~ Adjustment + SES
  Adjustment ~ SES
'

# 3. 모델 적합
fit <- sem(model, data=Data)

# 4. 결과 요약
summary(fit, standardized=TRUE, fit.measures=TRUE)

생성된 예제 파일: chap02

해설: 위 코드를 실행하면, 단순히 관측값의 평균을 내어 회귀분석을 한 것보다 더 정교한 결과를 얻습니다. 측정 오차(Measurement Error, ϵ\epsilon)가 분리되었기 때문입니다. 이것이 바로 Jöreskog가 이룩한 혁신의 핵심입니다.

5. 방법론적 확장: 현실 데이터의 문제 해결

1980년대 이후, 연구자들은 SEM의 기본 가정(다변량 정규성 등)이 실제 데이터에서는 잘 지켜지지 않는다는 비판에 직면했습니다.

5.1. 정규성 가정 위반의 해결 (Browne의 기여)

대부분의 교육 데이터(예: 설문조사 5점 척도)는 완벽한 정규분포를 따르지 않습니다.

  • ADF (Asymptotically Distribution-Free) 추정: Browne(1984)은 데이터가 정규분포를 따르지 않아도 정확한 추정치를 얻을 수 있는 ADF 추정법을 개발했습니다. 다만, 이 방법은 매우 큰 표본을 요구한다는 단점이 있어, 이후 Satorra-Bentler와 같은 수정된 통계량들이 개발되어 널리 쓰이게 되었습니다.

5.2. 범주형 자료와 서열 척도

설문조사의 “매우 그렇다 ~ 매우 아니다”는 엄밀히 말하면 연속형 변수가 아니라 서열(Ordinal) 변수입니다.

  • Muthén의 기여: Muthén(1984)은 범주형 변수를 분석할 때 다류 상관계수(Polychoric correlation)를 사용하여 잠재변수 간의 관계를 추정하는 프레임워크를 완성했습니다. 이를 통해 리커트 척도 데이터도 SEM에서 엄밀하게 다룰 수 있게 되었습니다.

6. 최신 흐름: SEM의 현재와 미래 (Recent Advances)

이제 SEM은 단순한 인과모형을 넘어 다양한 통계적 난제들을 해결하는 종합 플랫폼으로 진화했습니다.

6.1. 잠재성장모형 (Latent Growth Models)

학생들의 성적은 시간에 따라 변합니다. SEM은 이제 횡단적 분석뿐만 아니라 종단적 변화도 모델링합니다.

  • LGM: 학생들의 초기 성적(Intercept)과 성장 속도(Slope)를 잠재변수로 설정하여, “누가 더 빨리 성장하는가?”, “무엇이 성장을 촉진하는가?”를 분석합니다.
  • 잠재계층 성장모형 (LCGA): 모든 학생이 똑같은 패턴으로 성장하지 않습니다. 어떤 그룹은 성적이 급상승하고, 어떤 그룹은 정체될 수 있습니다. Nagin과 Muthén은 이러한 이질적인 하위 그룹을 찾아내는 혼합 모형(Mixture Model)을 SEM에 결합했습니다.

6.2. 베이지안 접근 (Bayesian Approaches)

전통적인 빈도주의(Frequentist) 통계는 p-value에 의존하지만, 최근에는 사전 정보(Prior)를 결합하여 추정의 정확성을 높이는 베이지안 SEM이 확산되고 있습니다.

  • MCMC: 복잡한 모형의 파라미터 분포를 시뮬레이션을 통해 추정하는 기법으로, 기존 ML 방식으로는 풀기 어려웠던 복잡한 모델도 추정 가능하게 했습니다.

6.3. 인과 추론의 재발견 (Causality)

“상관관계는 인과관계가 아니다”라는 말은 통계학의 철칙이었습니다. 하지만 Pearl, Rubin 등은 “그렇다면 언제 인과라고 부를 수 있는가?”에 대해 수학적으로 답하기 시작했습니다.

  • 반사실적 접근 (Counterfactuals): “만약 이 학생이 다른 교수법을 받았다면 어땠을까?”라는 잠재적 결과(Potential Outcomes) 프레임워크가 SEM에 도입되었습니다.
  • Pearl의 그래프 모형: 변수 간의 인과 구조를 그래프로 표현하고, d-separation과 같은 규칙을 통해 어떤 변수를 통제해야 진정한 인과효과를 얻을 수 있는지 식별합니다.

6.4. 기계학습과 SEM (Machine Learning)

최근에는 기계학습(Machine Learning)이 SEM에 들어왔습니다.

  • SEM Trees: 의사결정나무(Decision Tree) 기법을 사용하여, 모형의 경로 계수가 달라지는 집단(예: 성별, 소득수준 등)을 자동으로 탐색합니다.
  • TETRAD: 인공지능 알고리즘을 사용하여 데이터만으로 인과 구조를 “발견”하려는 시도들도 이루어지고 있습니다.

7. 결론

구조방정식 모델링(SEM)은 단순한 통계 도구가 아닙니다. 그것은 생물학의 유전 법칙, 사회학의 인과 추론, 심리학의 잠재적 구성 개념, 경제학의 상호의존성이 만나 빚어낸 지적 융합의 결정체입니다.

여러분은 이제 이 강력한 도구를 손에 쥐고 있습니다. 중요한 것은 복잡한 수식이 아니라, “내 연구 가설을 어떤 구조로 설명할 것인가?“라는 여러분의 통찰력입니다. SEM은 그 통찰력을 검증해 주는 든든한 파트너가 될 것입니다.


참고문헌 (References)

  • Bollen, K. A. (1989). Structural equations with latent variables. New York: Wiley.
  • Browne, M. W. (1984). Asymptotically distribution-free methods for the analysis of covariance structures. British Journal of Mathematical and Statistical Psychology, 37, 62-83.
  • Duncan, O. D. (1966). Path analysis: Sociological examples. American Journal of Sociology, 72, 1-16.
  • Hauser, R. M., & Goldberger, A. S. (1971). The treatment of unobservable variables in path analysis. In H. L. Costner (Ed.), Sociological methodology 1971 (pp. 81-87). San Francisco: Jossey-Bass.
  • Jöreskog, K. G. (1970). A general method for analysis of covariance structures. Biometrika, 57, 239-251.
  • Matsueda, R. L. (2012). A Brief History of Structural Equation Modeling. In R. H. Hoyle (Ed.), Handbook of Structural Equation Modeling (pp. 17-48). Guilford Press.
  • Muthén, B. (1984). A general structural equation model with dichotomous, ordered categorical, and continuous latent variable indicators. Psychometrika, 49, 115-132.
  • Pearl, J. (2000). Causality: Models, reasoning, and inference. Cambridge, UK: Cambridge University Press.
  • Spearman, C. (1904). General intelligence, objectively determined and measured. American Journal of Psychology, 15, 201-293.
  • Wright, S. (1921). Correlation and causation. Journal of Agricultural Research, 20, 557-585.

Chap 01. 구조방정식 모형이란 무엇인가?

안녕하세요? 구조방정식 연구실에 오신 것을 환영합니다.
저는 여러분과 함께 구조방정식 모형(Structural Equation Modeling, SEM)의 기초부터 실제 적용까지 깊이 있게, 하지만 아주 쉽게 풀어갈 예정입니다.

많은 대학원생이 SEM을 “복잡한 수식이 난무하는 어려운 통계”라고 생각합니다. 하지만 걱정 마세요. SEM은 우리가 교육 현장에서 늘 고민하는 “눈에 보이지 않는 잠재적 능력(Latent Variable)과 그들 간의 인과관계”를 증명해 주는 아주 강력하고 매력적인 도구입니다.

리크 H. 호일(Rick H. Hoyle) 교수의 저서인 “Handbook of Structural Equation Modeling”을 기반으로 하되, 여러분이 이해하기 쉽도록 학교 현장의 예를 들어 재구성할 예정입니다.


1. 구조방정식 모형(SEM)이란 무엇인가?

1.1. SEM의 정의: 눈에 보이지 않는 것을 그리기

구조방정식(SEM)은 관찰된 데이터의 패턴, 분산, 공분산을 일으킨다고 가정되는 메커니즘을 모델링하는 일반적인 통계적 접근법입니다.

교육학에서 우리는 종종 ‘학업 동기’, ‘지능’, ‘교사 효능감’ 같은 개념을 다룹니다. 이것들은 키나 몸무게처럼 자로 잴 수 있나요? 아닙니다. 이것들은 잠재 변수(Latent Variable)입니다. 우리는 설문지 문항이나 시험 점수 같은 관측 변수(Observed Variable)를 통해 이 잠재 변수를 추론합니다. 그래서 SEM을 잠재 변수 모델링(Latent Variable Modeling)이라고도 부릅니다.

1.2. SEM은 ‘종합 선물 세트’

SEM은 기존의 통계 방법들(ANOVA, 회귀분석, 요인분석)을 하나로 통합하고 확장한 것입니다.

  • 요인분석(Factor Analysis)의 기능: 여러 설문 문항(관측 변수)이 하나의 개념(잠재 변수)을 얼마나 잘 측정하는지 확인합니다.
  • 회귀분석(Regression)의 기능: 변수들 간의 인과관계를 파악합니다.

SEM의 가장 큰 장점은 이 두 가지를 동시에(Simultaneously) 수행한다는 점입니다.

🎓 교육분야 예시:

여러분이 “가정 배경(X)이 학생의 자아효능감(M)을 통해 학업 성취(Y)에 미치는 영향”을 연구한다고 합시다.

  • 기존 방법: 자아효능감 설문지 점수를 다 더해서 평균을 낸 뒤(측정오차 무시), 회귀분석을 돌립니다.
  • SEM: 자아효능감이라는 ‘잠재 변수’를 설정하여 측정 오차를 제거하고, 동시에 변수 간의 구조적 관계를 파악합니다. 훨씬 정확하겠죠?

2. SEM의 핵심 논리: 공분산의 마법

2.1. 데이터는 공분산이다

일반적인 회귀분석은 개별 학생의 점수(Case-level data)와 회귀선 간의 차이(잔차)를 최소화하는 방식(OLS)을 씁니다. 하지만 SEM은 다릅니다. SEM의 데이터는 공분산(Covariance) 그 자체입니다.

  • 목표: 연구자가 설정한 모형이 만들어내는 ‘모형 함의 공분산 행렬(Implied Covariance Matrix)’이 실제 데이터의 ‘관측된 공분산 행렬(Observed Covariance Matrix)’과 얼마나 비슷한지를 봅니다.
  • 이 두 행렬의 차이가 0에 가까울수록 “모형이 데이터에 적합하다(Fit)”라고 말합니다.

2.2. 경로도(Path Diagram) 이해하기

SEM은 수식 대신 그림(경로도)으로 표현할 때 가장 직관적입니다.

위의 개념을 바탕으로 그림 1.1에 나온 기호들을 설명해 드리겠습니다.


Note. From Handbook of structural equation modeling (p. 5), by R. H. Hoyle (Ed.), 2023, Guilford Press. Copyright 2023 by Guilford Press.

  • 타원 (Ovals): 잠재 변수 (예: 수리 능력).
  • 사각형 (Squares): 관측 변수 (예: 수학 시험 1, 2, 3번 문항).
  • 작은 원 (Small Circles): 오차(Error) 또는 고유 분산(Uniqueness).
  • 화살표 (Arrows): 영향력의 방향 (인과관계).

3. SEM 실행 프레임워크 (Implementation Framework)

Hoyle 교수는 SEM 실행을 4단계의 필수 과정과 4단계의 관련 과정으로 정리했습니다. 이를 실제 연구 시나리오에 대입해 봅시다.

🎓 시나리오: 교사 지지가 학업 성취에 미치는 영향

  • 가설: 교사의 정서적 지지가 학생의 학습 동기를 높이고, 이것이 결국 학업 성취를 향상시킬 것이다 (매개효과).

1단계: 모형 명세화 (Specification)

연구 가설을 수식이나 그림으로 표현하는 단계입니다.

  • 변수 설정: 잠재 변수(교사 지지, 동기, 성취)와 이를 측정할 관측 변수를 정합니다.
  • 파라미터 설정: 어떤 경로를 추정할지(Free), 어떤 값을 고정할지(Fixed) 정합니다. 보통 잠재 변수의 척도를 맞추기 위해 관측 변수 중 하나의 경로계수를 1로 고정합니다.
  • 식별(Identification) 확인: 해를 구할 수 있는지 확인합니다. 미지수의 개수가 정보의 개수보다 많으면 계산이 불가능합니다.

2단계: 추정 (Estimation)

데이터를 수집하고, 모수(Parameter)의 값을 찾아내는 단계입니다.

  • 가장 많이 쓰이는 방법은 최대우도법(Maximum Likelihood, ML)입니다.
  • 반복 계산(Iterative process): 컴퓨터는 임의의 값에서 시작하여, 실제 공분산 행렬과 모형이 예측한 행렬의 차이가 최소화될 때까지 값을 계속 수정합니다. 이 과정이 끝나면 “수렴(Converged)했다”고 합니다.

3단계: 적합도 평가 (Evaluation of Fit)

모형이 데이터를 얼마나 잘 설명하는지 성적표를 받는 시간입니다.

  • χ2\chi^2(Chi-square): 전통적인 지표지만, 표본 크기에 민감하여 “모형이 완벽히 일치한다”는 비현실적인 가설을 검정하므로 이것만으로 판단하지 않습니다.
  • 대안적 적합도 지수: CFI, TLI (0.90 이상이면 좋음), RMSEA (0.08 이하, 0.05 이하면 매우 좋음), SRMR 등을 종합적으로 봅니다.

4단계: 해석 및 보고 (Interpretation and Reporting)

  • 계수 해석: 경로 계수가 통계적으로 유의한지 확인합니다 (t값 또는 z값).
  • 보고: 모형 명세, 추정 방법, 적합도 지수, 결측치 처리 방법 등을 투명하게 보고해야 합니다.

4. 실습: jamovi와 R을 이용한 분석

이제 이론은 충분합니다. 실제로 어떻게 분석하는지 보여드리겠습니다.
jamovi는 클릭만으로 복잡한 통계를 수행할 수 있는 훌륭한 도구이며, 그 안에는 SEMLj (혹은 jmv)라는 강력한 모듈이 있습니다. 이것은 R의 lavaan 패키지를 기반으로 작동합니다.

4.1. 모의 데이터 생성 (Backstory)

우리는 서울 소재 중학교 2학년 학생 300명의 데이터를 수집했다고 가정합니다.

  • Teacher_Support (교사 지지): 3문항 (TS1, TS2, TS3)
  • Motivation (학습 동기): 3문항 (Mot1, Mot2, Mot3)
  • Achievement (학업 성취): 3과목 점수 (Math, Eng, Sci)

이 데이터를 생성하고 분석하는 R 코드를 작성해 드리겠습니다. jamovi의 ‘R Editor’ 모듈을 사용하거나 R Studio에서 실행할 수 있습니다.

# 필요한 패키지 로드
if (!require(lavaan)) install.packages("lavaan")
if (!require(semPlot)) install.packages("semPlot")

library(lavaan)

# 1. 모의 데이터 생성 (Data Generation)
set.seed(1225) # 재현성을 위해 시드 설정
N <- 300

# 진점수(True Score) 생성 구조
# 교사지지 -> 동기 -> 성취
Teacher_Support_True <- rnorm(N, 0, 1)
Motivation_True <- 0.6 * Teacher_Support_True + rnorm(N, 0, 0.8)
Achievement_True <- 0.7 * Motivation_True + rnorm(N, 0, 0.8)

# 관측 변수 생성 (잠재변수 + 측정오차)
Data <- data.frame(
  # 교사 지지 문항 (1~5점 척도 가정)
  TS1 = round(Teacher_Support_True * 0.8 + rnorm(N, 0, 0.5) + 3),
  TS2 = round(Teacher_Support_True * 0.9 + rnorm(N, 0, 0.5) + 3),
  TS3 = round(Teacher_Support_True * 0.7 + rnorm(N, 0, 0.6) + 3),

  # 학습 동기 문항
  Mot1 = round(Motivation_True * 0.8 + rnorm(N, 0, 0.5) + 3),
  Mot2 = round(Motivation_True * 0.85 + rnorm(N, 0, 0.5) + 3),
  Mot3 = round(Motivation_True * 0.75 + rnorm(N, 0, 0.6) + 3),

  # 학업 성취 (점수)
  Math = round(Achievement_True * 10 + rnorm(N, 0, 5) + 70),
  Eng  = round(Achievement_True * 9 + rnorm(N, 0, 6) + 72),
  Sci  = round(Achievement_True * 8 + rnorm(N, 0, 5) + 68)
)

# 2. 모형 명세 (Specification)
# lavaan 문법: 
# =~ : 측정 모형 (Latent variable defined by indicators)
# ~  : 구조 모형 (Regression)
model <- '
  # 측정 모형 (Measurement Model)
  Teacher_Support =~ TS1 + TS2 + TS3
  Motivation      =~ Mot1 + Mot2 + Mot3
  Achievement     =~ Math + Eng + Sci

  # 구조 모형 (Structural Model)
  Motivation ~ Teacher_Support
  Achievement ~ Motivation
'

# 3. 추정 (Estimation)
fit <- sem(model, data = Data)

# 4. 결과 요약 (Evaluation & Interpretation)
summary(fit, fit.measures = TRUE, standardized = TRUE, rsquare = TRUE)

# 5. 경로도 그리기 (선택사항)
# library(semPlot)
# semPaths(fit, whatLabels = "std", layout = "tree")

생성된 예제 파일: chap01

4.2. jamovi에서의 분석 절차 (SEMLj 모듈 사용 시)

R 코드가 어렵다면 jamovi의 SEMLj 모듈을 설치하고 다음 순서로 진행하세요.

  • 데이터 불러오기: 위에서 생성된 CSV 데이터를 엽니다.
  • SEMLj > Structural Equation Models 선택.
  • Endogenous Models (내생변수 설정):
    • Motivation을 Latent Variable로 정의하고 TS1, TS2, TS3를 할당.
    • Achievement를 Latent Variable로 정의하고 Math, Eng, Sci를 할당.
  • Exogenous Models (외생변수 설정):
    • Teacher_Support를 Latent Variable로 정의하고 TS1, TS2, TS3 할당.
  • Path 설정:
    • Teacher_Support -> Motivation
    • Motivation -> Achievement
  • Options: Standardized estimates, Fit measures (CFI, RMSEA 등) 체크.

5. 다양한 모형의 종류 (Types of Models)

SEM은 유연성이 매우 뛰어나 다양한 형태의 모형을 만들 수 있습니다.

5.1. 잠재 구조에 초점을 둔 모형

  • 확인적 요인분석 (CFA): 연구자가 설정한 요인 구조가 맞는지 확인합니다. 예: “지능은 언어, 수리, 공간 지각의 3요인으로 구성된다”.
  • 고차 요인 모형 (Second-order Factor Model): 여러 개의 1차 요인(예: 대수, 기하, 확률)이 더 높은 수준의 2차 요인(예: 수학적 능력)으로 묶이는 경우입니다.

5.2. 방향성 효과에 초점을 둔 모형

  • 경로 분석 (Path Analysis): 잠재 변수 없이 관측 변수들만으로 인과관계를 봅니다.
  • 매개효과 모형: 위 실습 예제처럼 X가 M을 거쳐 Y로 가는 경로를 분석합니다.
  • 다집단 분석 (Multigroup Modeling): 남학생 집단과 여학생 집단에서 모형이 동일하게 적용되는지(형태 동일성, 측정 동일성 등) 비교합니다.

5.3. 평균과 성장을 다루는 모형

  • 잠재 성장 모형 (Latent Growth Models): 시간이 지남에 따라 학생들의 성적이 어떻게 변하는지(초기치와 변화율)를 모델링합니다. 종단 연구의 꽃이라 할 수 있습니다.

6. 결론

SEM은 단순한 통계 기법을 넘어, 연구자의 이론적 아이디어를 현실의 데이터와 연결해 주는 강력한 가교입니다. 오늘 배운 내용을 정리하면 다음과 같습니다.

  1. SEM은 이론 검증 도구다: 막연한 탐색보다는 확고한 이론적 가설이 있을 때 가장 빛납니다.
  2. 과정은 체계적이어야 한다: 명세 -> 추정 -> 평가 -> 해석의 단계를 엄격히 따르십시오.
  3. 해석은 신중하게: 통계적으로 유의하다고 해서 무조건 인과관계가 증명된 것은 아닙니다.

이제 여러분은 자신의 데이터를 가지고 “보이지 않는 마음의 구조”를 그려낼 준비가 되었습니다.

참고문헌 (APA Style)

  • Bollen, K. A., & Hoyle, R. H. (2012). Latent variables in structural equation modeling. In R. H. Hoyle (Ed.), Handbook of structural equation modeling (pp. 56–67). Guilford Press.
  • Brown, T. A. (2012). Confirmatory factor analysis. In R. H. Hoyle (Ed.), Handbook of structural equation modeling (pp. 361–379). Guilford Press.
  • Hoyle, R. H. (2012). Structural equation modeling: An overview. In R. H. Hoyle (Ed.), Handbook of structural equation modeling (pp. 3–16). Guilford Press.
  • Kline, R. B. (2012). Assumptions in structural equation modeling. In R. H. Hoyle (Ed.), Handbook of structural equation modeling (pp. 111–125). Guilford Press.
  • Pek, J., Davisson, E. K., & Hoyle, R. H. (2012). Visualizing structural equation models. In R. H. Hoyle (Ed.), Handbook of structural equation modeling (pp. 43-55). Guilford Press.
  • Preacher, K. J., & Yaremych, H. E. (2012). Model selection in structural equation modeling. In R. H. Hoyle (Ed.), Handbook of structural equation modeling (pp. 207-216). Guilford Press.
  • West, S. G., Wu, W., McNeish, D., & Savord, A. (2012). Model fit and model selection. In R. H. Hoyle (Ed.), Handbook of structural equation modeling (pp. 209-231). Guilford Press.

HLM vs R(lme4)

HLM 프로그램과 R의 lme4 패키지를 결과 신뢰도(추정 정확성, 표준오차 계산, 가정 검토 기능)까지 포함하여 비교해 보겠습니다.


1. HLM 프로그램 vs. R의 lme4 패키지 비교

비교 항목 HLM 프로그램 R의 lme4 패키지
가격 ❌ 유료 ✅ 무료
GUI 지원 ✅ 있음 (쉽게 사용 가능) ❌ 없음 (코딩 필요)
PVs(확률값) 자동 처리 ✅ 가능 (Rubin’s Rule 자동 적용) ❌ 직접 계산 필요
HLM (다층 선형 모델) 분석 ✅ 최적화됨 ✅ 가능
GLMM (로지스틱/포아송 등) ✅ 지원 (HGLM) ✅ 지원 (GLMM)
베이지안 HLM 분석 ❌ 불가능 ✅ 가능 (brms, rstanarm 사용)
대규모 데이터 처리 속도 ❌ 상대적으로 느림 ✅ 빠름 (C++ 기반 최적화)
데이터 전처리 ❌ 제한적 (외부 프로그램 필요) ✅ R 패키지 (dplyr, tidyr 등)과 연계 가능
시각화 ❌ 기본 제공 없음 ggplot2, sjPlot 등으로 가능
표준오차 계산 방식 ✅ 일반적인 방법 사용 ✅ 기본 제공 (lmerTest로 추가 가능)
신뢰구간 계산 ✅ 기본 제공 ✅ 기본 제공 (confint 함수 활용)
PVs(확률값) 신뢰도 계산 ✅ Rubin’s Rule 자동 적용 ❌ 별도 수작업 필요
랜덤 효과 신뢰도 검토 (ICCs 등) ✅ 자동 계산 ✅ 직접 계산 필요
모델 가정 검토 기능 (잔차 분석 등) ❌ 제한적 ✅ 잔차 플롯, Q-Q 플롯 등 가능 (DHARMa, performance 패키지 활용)

2. 결과 신뢰도 측면에서의 비교

분석 결과의 신뢰도를 판단할 때 중요한 요소들을 고려해 보겠습니다.

① 신뢰도 높은 추정치 제공 여부

  • HLM 프로그램

    • 최대우도 추정(MLE) 또는 제한된 최대우도 추정(REML) 사용.
    • PVs(확률값) 사용 시 Rubin’s Rule을 자동 적용하여 신뢰도 높은 결과 제공.
    • 다층적 구조를 고려한 적절한 표준오차 계산 가능.
  • R의 lme4 패키지

    • 기본적으로 REML 방식을 사용하며, MLE로 변경 가능 (REML = FALSE 옵션).
    • PVs(확률값)를 사용할 경우 직접 반복 분석 후 Rubin’s Rule을 적용해야 함.
    • 표준오차 계산은 lmerTest 패키지를 추가하면 더욱 정확한 결과 제공 가능.

➡ HLM 프로그램이 PVs 자동 처리가 가능하기 때문에, 확률값을 활용한 연구에서는 HLM의 신뢰도가 더 높을 수 있음. 하지만 PVs를 사용하지 않는다면 lme4도 높은 신뢰도를 제공할 수 있음.


② 모델 가정 검토 기능

  • HLM 프로그램

    • 기본적으로 잔차 분석 및 가정 검토 기능이 제한적이며, 잔차 플롯 같은 시각적 분석 도구가 부족함.
    • 정규성 가정 검토 등을 위해서는 SPSS, R 등의 추가 프로그램을 활용해야 함.
  • R의 lme4 패키지

    • performance, DHARMa 같은 패키지를 활용하면 잔차 플롯, Q-Q 플롯, 이상치 탐색 등 모델 진단 기능을 수행 가능.
    • 랜덤 효과(ICC) 신뢰도 분석을 쉽게 수행할 수 있음 (performance::icc() 등 활용).

➡ 모델 가정 검토 기능 측면에서는 R의 lme4가 훨씬 강력함. 특히 잔차 분석을 통해 정규성 가정 위반 여부를 확인하는 것이 가능하여, 연구 신뢰도를 높일 수 있음.


③ 표준오차 및 신뢰구간 계산

  • HLM 프로그램

    • 기본적으로 표준오차(SE)와 신뢰구간(CI) 제공.
    • PVs 사용 시 Rubin’s Rule 자동 적용.
  • R의 lme4 패키지

    • confint() 함수로 신뢰구간(CI) 계산 가능.
    • lmerTest 패키지를 추가하면 더 정확한 표준오차 및 p-value 제공 가능.

➡ 두 프로그램 모두 표준오차 및 신뢰구간을 계산할 수 있지만, R의 lme4는 추가 패키지를 활용해야 더욱 신뢰도 높은 결과를 얻을 수 있음.


3. 결론: 어떤 경우에 더 적합할까?

분석 목적 HLM 프로그램 R의 lme4 패키지
GUI 환경에서 쉽게 HLM 분석 ✅ 가능 ❌ 불가능 (코딩 필요)
PVs(확률값) 자동 분석 ✅ 지원 ❌ 직접 반복 분석 후 Rubin’s Rule 적용 필요
HLM 분석 정확도 ✅ 매우 정확함 ✅ 표준오차 보정 시 정확
대규모 데이터 처리 속도 ❌ 다소 느림 ✅ 빠름
GLMM (로지스틱/포아송 등) 분석 ✅ 가능 ✅ 가능
베이지안 분석 ❌ 지원 안 됨 brms 패키지 활용 가능
잔차 분석 및 가정 검토 ❌ 제한적 (기본 제공 안 됨) DHARMa 패키지 활용 가능
랜덤 효과 신뢰도 검토 (ICC 등) ✅ 자동 계산 performance 패키지 활용 가능

📝 최종 추천

HLM 프로그램이 더 적합한 경우

  • PVs(확률값)를 사용해야 하는 연구
  • GUI 환경에서 쉽게 HLM 분석을 수행하고 싶은 경우
  • 교육 및 사회과학 연구에서 학교-반-학생 같은 계층적 데이터를 다루는 경우

R의 lme4 패키지가 더 적합한 경우

  • 오픈소스 및 무료 소프트웨어를 사용하고 싶은 경우
  • 베이지안 HLM 분석이 필요한 경우 (brms 활용)
  • 잔차 분석, 이상치 탐색 등 모델 검토 기능이 필요한 경우
  • 대규모 데이터를 빠르게 분석해야 하는 경우

최종 결론: 연구 목적에 따라 선택해야 한다!

  • PVs(확률값)를 자동으로 처리하고 싶은 경우 → HLM 프로그램 추천
  • 모델 가정 검토(잔차 분석, Q-Q 플롯 등)를 철저히 하고 싶다면 → R의 lme4 패키지 추천
  • 무료 & 확장성 높은 분석 환경이 필요하다면 → R의 lme4 패키지 추천

💡 가장 좋은 방법은 HLM 프로그램과 lme4 패키지를 함께 사용하여 분석의 신뢰도를 높이는 것입니다. 😊

보조 변수(Auxiliary Variables)

보조 변수(Auxiliary Variables)는 주로 구조 방정식 모델링(SEM)이나 회귀 분석과 같은 통계 분석에서 결측 데이터를 다루기 위해 사용되는 변수입니다. 이러한 변수는 연구의 주요 관심사가 되는 변수는 아니지만, 결측 데이터를 처리하는 과정에서 중요한 역할을 할 수 있습니다.

보조 변수의 역할
보조 변수는 주로 결측 데이터의 패턴을 설명하거나, 결측 데이터가 발생한 이유를 모델링하는 데 사용됩니다. SEM에서 보조 변수를 사용하면, 다음과 같은 이점이 있습니다:

  • 결측 데이터 처리의 향상: 결측 데이터를 더 잘 설명하고, 그로 인해 발생할 수 있는 편향을 줄이는 데 도움을 줍니다. 보조 변수가 결측의 원인과 관련이 있으면, 결측 데이터의 무작위성을 가정하지 않아도 되는 경우가 많습니다.

  • 모델의 정확성 향상: 보조 변수를 포함하면 결측 데이터를 보충하는 데 더 많은 정보를 사용할 수 있어, 결과적으로 모델 추정치의 정확성이 향상될 수 있습니다.

  • 편향 줄이기: 결측 데이터가 발생할 가능성이 있는 이유를 보조 변수가 설명할 수 있다면, 이 변수들을 포함함으로써 결측 데이터로 인한 편향을 줄일 수 있습니다.

예시
예를 들어, 설문 조사에서 특정 질문에 대한 응답이 누락된 경우, 응답자의 인구통계학적 특성(예: 나이, 성별, 교육 수준)이 보조 변수로 사용될 수 있습니다. 이러한 변수들은 결측 데이터가 발생한 이유를 설명할 수 있으며, 따라서 결측 데이터를 보다 정확하게 처리하는 데 기여할 수 있습니다.

또 다른 예로는, 의료 연구에서 환자의 특정 바이탈 사인이나 생체 신호가 측정되지 않은 경우, 그 환자의 다른 건강 상태나 치료 기록이 보조 변수로 사용될 수 있습니다. 이러한 보조 변수는 결측 데이터를 보완하고, 분석의 정확성을 높이는 데 도움이 됩니다.

보조 변수의 선택
보조 변수를 선택할 때 중요한 점은 해당 변수가 결측 데이터와 밀접한 관련이 있어야 한다는 것입니다. 이는 보조 변수가 결측 데이터를 더 잘 설명하고, 모델의 추정치에 긍정적인 영향을 미치도록 하기 위해서입니다. 단순히 사용 가능한 모든 변수를 보조 변수로 사용하는 것이 아니라, 결측과 관련성이 높은 변수를 신중히 선택해야 합니다.

결론
보조 변수는 SEM 및 기타 통계 모델에서 결측 데이터를 보다 효과적으로 처리하는 중요한 도구입니다. 올바른 보조 변수를 사용하면 결측 데이터로 인한 편향을 줄이고, 모델의 정확성을 향상시킬 수 있습니다. 따라서 보조 변수를 잘 선택하고 적절히 사용하는 것이 중요합니다.

성향점수 추정 시 사용해야 할 변수

성향점수 추정 시 사용해야 할 변수

출처:
백영민, 박인서(2021). R 기반 성향점수분석: 루빈 인과모형 기반 인과추론. 한나래 아카데미.
Leite, W. (2016). Practical propensity score methods using R. Sage Publications.

  • 원인처치 배치과정과 결과변수 모두와 상관관계가 있는 공변량 변수들은 모두 포함시킴
  • 원인처치 배치과정과 결과변수 모두와 상관관계가 있더라도 처치효과를 매개하는 매개변수는 배제함
  • 원인처치 배치과정과는 무관하지만 결과변수와 상관관계가 있는 결과변수 예측변수는 포함시킴
  • 연구표본이 충분하지 않은 경우, 원인처치 배치과정과 상관관계를 갖지만 결과변수와는 무관한 원인변수 예측변수는 배제함

공변량(confounding Variables)
출처: https://www.practicalpropensityscore.com/uploads/9/4/5/3/94532409/slide7_orig.jpg

Rubin’s Rule

Rubin’s rule은 여러 개의 대체적(imputed) 데이터셋에서 추정된 계수를 결합하는 방법입니다.

PISA 데이터에서는 응답자의 능력치를 직접 관측할 수 없기 때문에, 능력모수의 사후분포를 이용해 무작위로 생성된 여러 개의 plausible value(PV1READ, PV2READ 등)를 제공합니다. 각 유의측정값을 개별 데이터셋으로 간주하고 분석한 후, 그 결과를 하나로 결합해야 합니다.

Rubin’s rule은 이렇게 여러 대체 데이터셋에서 얻은 계수를 결합하는 규칙입니다. 구체적인 계산법은 다음과 같습니다.

  • 최종 계수 추정치 = 각 데이터셋 계수의 평균
  • 합성 표준오차 = sqrt((각 데이터셋 표준오차의 평균)^2 + (1+1/m)*B)
    여기서 m은 데이터셋 수, B는 각 데이터셋 계수의 분산

이렇게 하면 여러 측정유의값을 고려하여 최종 계수와 정확한 표준오차를 구할 수 있습니다.

가중치

모집단에서 성별 비율이 남자 6 : 여자 4인 경우를 예로 들어 설명해볼게요. 여기서 모집단이란, 우리가 관심을 가지고 연구하거나 조사하고자 하는 그룹 전체를 말해요. 이 경우는 남자와 여자로 구성된 그룹이에요.

상상해 보세요, 우리가 이 모집단에서 몇 명을 무작위로 선택해서 조사를 한다고 할게요. 우리의 목표는 이 작은 그룹(샘플)을 통해 전체 모집단에 대한 정보를 얻는 거예요. 그런데 매우 중요한 포인트가 있어요. 우리가 선택한 이 작은 그룹이 모집단의 성별 비율을 잘 반영해야 한다는 거예요. 즉, 조사 대상인 샘플 그룹에도 남자가 60%, 여자가 40%가 되어야 한다는 것이죠.

예를 들어, 우리가 조사할 샘플 그룹으로 100명을 선택한다면, 남자는 60명(100명의 60%), 여자는 40명(100명의 40%)이 선택되어야 모집단의 성별 비율이 정확하게 반영된 것으로 볼 수 있어요.

하지만 현실에서는 항상 완벽한 비율로 샘플을 뽑기가 어려울 수 있어요. 그래서 여기서 ‘가중치’가 등장하는 거예요. 만약 우연히 여자가 더 많이 선택되어서 남자 50명, 여자 50명이 된다면, 우리는 여자에게 더 낮은 가중치를, 남자에게는 더 높은 가중치를 줘서 모집단에서의 실제 비율을 반영하도록 조정할 수 있어요.

예를 들어 남자의 가중치를 1.2 (60명이 되어야 하는데 50명이라면, 50 X 1.2 = 60), 여자의 가중치를 0.8 (40명이 되어야 하는데 50명이라면, 50 X 0.8 = 40)으로 설정할 수 있어요. 이렇게 가중치를 조정함으로써, 우리의 조사 결과가 전체 모집단을 더 잘 대표하도록 할 수 있는 거예요.

이처럼 가중치를 사용함으로써 조사나 연구 결과가 진짜 모집단을 정확하게 반영하도록 하는 게 매우 중요해요. 이를 통해 우리가 얻는 정보가 더 유용하고 신뢰할 수 있게 돼요!

규모비례확률표집 적용과 기본 확률 가중치 계산 단계

기본 개념

  • 1단계: PPS 표집 -> 군집이 클수록 표집될 확률이 더 큼
  • 2단계: 군집마다 정확하게 동일한 수의 개인이 표집됨 -> 대규모 군집에서의 개인은 표집될 확률이 더 낮음
  • 전체: 2단계는 1단계를 보상하므로 모집단에서 각 개인이 표집될 확률은 동일함

절차

  1. 각 계층(strata)의 표본 크기를 계산함

  2. 모집단 데이터를 계층으로 분리함. 다음 단계부터는 각 계층에 대해 적용되어야 함

  3. 주표집 단위(열 A)와 모집단 크기(열 B)를 나열함. 각 군집은 자체 군집 모집단 크기(a)가 있음

  4. 모집단 크기의 누적 합계를 계산함(열 C). 모집단 총계(b)는 열 C의 마지막에 나타남

  5. 각 계층에서 표집될 군집 수(d)를 결정함

  6. 각 군집에서 표집될 개인 수를 결정함(c). 모집단의 모든 개인이 군집 크기에 관계없이 동일한 선택 확률을 갖도록 하려면 각 군집에서 동일한 수의 개인을 표집해야 함

  7. 표집구간(Sampling Interval)을 구하려면 전체 모집단을 표집할 군집 수로 나눔

  8. 1과 표집구간 사이의 난수를 선택함. 이것이 무작위 시작(Random Start)임. 표집될 첫 번째 군집은 누적 모집단(C 열)이 포함됨.

    [Excel 명령어 = rand () SI]
    다음 시리즈를 계산함:
    RS;
    RS + SI;
    RS + 2SI;
    ….
    RS + (d-1)
    SI.RS + (d-1) * SI.

  9. 선택된 군집은 누적 모집단(열 C)에 항목 8에서 계산된 일련 번호 중 하나가 포함된 군집임. 군집의 모집단 크기에 따라 큰 군집은 두 번 이상 표집될 수 있음. 표집된 군집을 다른 열(열 D)에 표시함

  10. 표집된 각 군집에 대해 표집될 각 군집의 확률(Prob 1) (열 E)을 계산함

    Prob 1 = (a x d) ÷ b
    a = 군집 모집단
    b = 모집단 총계
    d = 군집 수

  11. 표집된 각각의 군집에 대해 각 군집에서 표집될 각 개인의 확률을 계산함(Prob 2) (열 G).

    Prob 2 = c / a
    a = 군집 모집단
    c = 각 군집에서 표집될 개인 수
    모집단에서 표집되는 개인의 전체 기본 가중치를 계산함
    기본 가중치(Basic Weight)는 선택의 역확률임
    BW = 1 / (prob 1 * prob 2)

예제:
30개의 군집에 20000명의 모집단이라고 가정함
PPS를 사용해 10개의 군집에 3000명의 표본을 산출하고자 함
Prob 1: 각 표본 군집에 대한 선택 확률
Prob 2: 각 표본 군집에서의 개인에 대한 선택 확률
전체 가중치 계산: 모집단에서 각 개인이 선택될 확률의 역

출처: Steps in applying Probability Proportional to Size (PPS) and calculating Basic Probability Weights

CHECKLIST FOR SEM

SEM 연구를 발표할 때 유용한 일반적 제안

  1. Provide a review of literature that supports your theoretical model.
  2. Provide information about the software program used along with the version.
  3. Indicate the type of SEM model analysis.
  4. Include correlation matrix, sample size, means, and standard deviations of
    variables.
  5. Include a diagram of your theoretical model.
  6. Describe issues concerning normality and missing data.
  7. For interpretation of results, indicate estimation procedure used and why:
    describe fit indices used and why; include power and sample size determination.
  8. Provide unstandardized parameter estimates with corresponding standard
    errors as well as standardized parameter estimates.
  • Basic Issues

    1. Is sample size sufficient (power, effect size)?
    2. Have you addressed missing data (MCAR, MAR, etc.)?
    3. Have you addressed normality, outliers, linearity, restriction of range?
    4. Are you using the correct covariance matrix?
    5. Have you selected the correct estimation method?
    6. Is the theoretical model identified (df = 0 or greater)?
  • Analysis Issues

    1. Have you reported the correct fit indices?
    2. Have you provided unstandardized estimates (with corresponding standard
      errors) and standardized estimates?
    3. Have you scaled the latent factors appropriately?
    4. Have you justified any model modifications (e.g., adding error covariances)?
    5. Have you cross- validated the model (assuming sufficient sample size)?
    6. Have you diagrammed the model and/ or provided estimates in the diagram?