안녕하세요, 이번에는 다중특성-다중방법(MTMM; Multitrait-Multimethod) 모델의 세계를 탐구하려 합니다.

연구자가 학생의 ‘자기통제력’이나 ‘창의성’ 같은 심리적 특성을 측정할 때, 우리는 흔히 한 가지 설문지만을 사용하곤 합니다. 하지만 학생의 답변(자기보고), 교사의 관찰, 학부모의 평가가 서로 다르다면 무엇이 진짜일까요? 이 질문에 답하기 위해 1959년 캠벨(Campbell)과 피스크(Fiske)가 제안한 것이 바로 MTMM입니다.

이 챕터에서는 구조방정식 모델링(SEM)을 활용하여 MTMM 데이터를 분석하는 최신 기법들을 교육 현장의 사례와 함께 아주 자세히 살펴보겠습니다.

1. MTMM의 핵심 개념: 수렴 타당도와 판별 타당도

MTMM의 목적은 명확합니다. 우리가 측정한 점수가 실제 측정하고자 하는 ‘특성(Trait)’ 때문인지, 아니면 측정한 ‘방법(Method)’ 때문인지를 가려내는 것입니다.

• 수렴 타당도(Convergent Validity): 서로 다른 방법(예: 교사 관찰, 학생 자기보고)으로 동일한 특성(예: 성실성)을 측정했을 때, 그 결과들이 얼마나 일치하는지를 의미합니다.
• 판별 타당도(Discriminant Validity): 동일한 방법으로 서로 다른 특성(예: 성실성과 외향성)을 측정했을 때, 이들이 충분히 구별되는지를 의미합니다. 만약 방법 효과가 너무 크면, 성실성과 외향성이 실제로는 다른데도 방법이 같다는 이유만으로 비슷하게 나타날 수 있습니다.

[WaurimaL의 팁]

학교 현장에서 ‘수업 태도’를 측정할 때, 학생은 긍정적으로 답하지만 교사는 엄격하게 평가할 수 있습니다. 이때 두 점수 사이의 상관이 높다면 ‘수렴 타당도’가 확보된 것입니다. 반면, 교사가 한 학생의 ‘수업 태도’와 ‘교우 관계’를 모두 좋게 평가하는 경향이 있다면, 이는 특성의 차이가 아니라 교사의 ‘관대함’이라는 방법 효과(Method Effect)일 수 있습니다.

2. 구조적 비독립성 모델: 구조적으로 다른 방법들

현실적으로 가장 많이 쓰이는 설계는 구조적으로 다른 방법(Structurally Different Methods)입니다. 예를 들어, 한 학생을 평가할 때 ‘학생 본인’, ‘담임 교사’, ‘학부모’가 평가하는 경우입니다. 이들은 각기 다른 역할과 관점을 가진 고정된 평가자 그룹입니다.

2.1. 상관 특성-상관 방법(CTCM) 모델

가장 고전적인 CFA 기반 MTMM 모델입니다.

• 특성 요인(Trait Factor): 동일한 특성을 측정하는 모든 문항에 영향을 미칩니다.
• 방법 요인(Method Factor): 동일한 방법(평가자)을 사용하는 모든 문항에 영향을 미칩니다.

하지만 이 모델은 수렴 실패(Convergence problems)나 음수 분산(Heywood cases) 같은 통계적 결함이 자주 발생한다는 치명적인 단점이 있습니다. 이를 해결하기 위해 제안된 것이 바로 다음의 CTC(M-1) 모델입니다.

2.2. CTC(M-1) 모델: 기준 방법의 도입

이 모델은 하나의 방법을 ‘기준(Reference)’으로 정하고, 나머지 방법들을 이 기준과 비교하는 방식입니다. 교육 연구에서는 보통 ‘자기보고’를 기준으로 삼거나, 가장 객관적이라고 판단되는 ‘표준화 검사’를 기준으로 삼습니다.

• 장점: 통계적으로 더 안정적이며, 기준 방법 대비 다른 방법들이 가지는 ‘고유한 관점’을 분산으로 추출할 수 있습니다.
• 해석: 방법 요인의 점수가 0보다 크면 기준(예: 자기보고)보다 해당 특성을 과대평가하고 있음을 의미합니다.

3. 교체 가능한 방법들: 다층 구조방정식(ML-CFA)

학생 한 명을 여러 명의 또래 친구들이 평가하는 경우는 어떨까요? 이때 친구 A, B, C는 ‘친구’라는 동일한 집단에서 무작위로 추출된 교체 가능한 방법(Interchangeable Methods)입니다. 이 데이터는 다층(Multilevel) 구조를 가집니다.

• 1수준(Level 1; 평가자 수준): 개별 평가자들의 독특한 편향이나 측정 오차를 모델링합니다.
• 2수준(Level 2; 대상 수준): 평가 대상(학생)의 실제 특성 차이를 모델링합니다.

4. 실습: 교육용 가상 데이터 생성 및 분석 (R 기반)

jamovi의 기본 메뉴로는 복잡한 CTC(M-1) 제약 조건을 설정하기 어렵기 때문에, 구조방정식 분석의 표준인 R의 lavaan 패키지를 사용하여 실습을 진행하겠습니다.

[가상 시나리오]

중학교 1학년 학생 300명을 대상으로 ‘성실성(Con)’과 ‘협력성(Coop)’이라는 두 가지 특성을 측정합니다. 방법은 학생 자기보고(Self), 담임 교사(Teacher), 학부모(Parent) 세 가지를 활용합니다. 각 특성-방법 단위(TMU)당 2개의 문항(indicator)을 사용한다고 가정합니다.

R

# 필요한 패키지 로드
if(!require(lavaan)) install.packages("lavaan")
library(lavaan)

# 1. 모의 데이터 생성 (Story-based Synthetic Data)
set.seed(2025)
N <- 300

# 잠재 변수 생성 (성실성, 협력성)
Con_Trait <- rnorm(N, 0, 1)
Coop_Trait <- rnorm(N, 0, 1)

# 방법 효과 생성 (교사 특유의 관점, 학부모 특유의 관점 - 자기보고 대비)
T_Method <- rnorm(N, 0, 0.5)
P_Method <- rnorm(N, 0, 0.6)

# 관측 변수 생성 (단순화를 위해 로딩 0.7, 오차 0.5)
# T1:성실성, T2:협력성 / M1:자기보고, M2:교사, M3:학부모
# Y(문항)(특성)(방법)
dat <- data.frame(
  Y111 = 0.8*Con_Trait + rnorm(N,0,0.6), # 성실성-자기보고 문항1
  Y211 = 0.7*Con_Trait + rnorm(N,0,0.6), # 성실성-자기보고 문항2
  
  Y112 = 0.6*Con_Trait + 0.4*T_Method + rnorm(N,0,0.6), # 성실성-교사 문항1
  Y212 = 0.5*Con_Trait + 0.5*T_Method + rnorm(N,0,0.6), # 성실성-교사 문항2
  
  Y113 = 0.5*Con_Trait + 0.6*P_Method + rnorm(N,0,0.6), # 성실성-학부모 문항1
  Y213 = 0.4*Con_Trait + 0.7*P_Method + rnorm(N,0,0.6),  # 성실성-학부모 문항2

  Y121 = 0.8*Coop_Trait + rnorm(N,0,0.6), # 협력성-자기보고
  Y221 = 0.7*Coop_Trait + rnorm(N,0,0.6),
  
  Y122 = 0.6*Coop_Trait + 0.4*T_Method + rnorm(N,0,0.6), # 협력성-교사
  Y222 = 0.5*Coop_Trait + 0.5*T_Method + rnorm(N,0,0.6),
  
  Y123 = 0.5*Coop_Trait + 0.6*P_Method + rnorm(N,0,0.6), # 협력성-학부모
  Y223 = 0.4*Coop_Trait + 0.7*P_Method + rnorm(N,0,0.6)
)

# 2. CTC(M-1) 모델 정의 (자기보고를 기준 방법으로 설정)
ctcm1_model <- '
  # 특성 요인 (기준 방법인 자기보고의 TMU 요인이 곧 특성 요인이 됨)
  Con  =~ 1*Y111 + Y211 + Y112 + Y212 + Y113 + Y213
  Coop =~ 1*Y121 + Y221 + Y122 + Y222 + Y123 + Y223

  # 방법 요인 (자기보고를 제외한 교사, 학부모 요인 설정)
  # 특성별 방법 효과 (Trait-specific method factors)
  M_Teacher_Con  =~ 1*Y112 + Y212
  M_Parent_Con   =~ 1*Y113 + Y213
  M_Teacher_Coop =~ 1*Y122 + Y222
  M_Parent_Coop  =~ 1*Y123 + Y223

  # 직교 제약 (방법 요인은 해당 특성 요인과 상관이 0이어야 함)
  Con  ~~ 0*M_Teacher_Con
  Con  ~~ 0*M_Parent_Con
  Coop ~~ 0*M_Teacher_Coop
  Coop ~~ 0*M_Parent_Coop
'

# 3. 모델 적합
fit <- cfa(ctcm1_model, data = dat, std.lv = TRUE)
summary(fit, standardized = TRUE, fit.measures = TRUE)

5. 결과 해석 및 주요 계수

분석 결과에서 우리는 다음의 네 가지 핵심 계수를 산출하여 측정의 품질을 평가합니다.

주요 분산 분해 지표

지표 (Coefficient)	정의 및 의미	교육적 해석 예시
신뢰도 (Reliability)	관측 분산 중 오차를 제외한 진점수 분산의 비율	검사 도구가 학생의 상태를 얼마나 정확하게 측정하는가?
일관성 (Consistency)	기준 방법(자기보고)과 공유하는 분산의 비율 (수렴 타당도 지표)	교사의 평가가 학생의 실제 자기 인식과 얼마나 일치하는가?
방법 특수성 (Method Specificity)	기준 방법과 공유되지 않는 해당 방법만의 고유한 분산 비율	교사만이 포착할 수 있는 학생의 특별한 행동 특성이 존재하는가?
문항 특수성 (Indicator Specificity)	특정 문항(지표)에만 존재하는 고유한 특성 분산	이 질문이 다른 질문들과 달리 측정하는 독특한 내용이 있는가?

[계산 원리]

한 문항의 전체 분산($Var(Y)$)은 특성 분산 + 방법 분산 + 문항 특수 분산 + 오차 분산으로 구성됩니다.

$Rel = \frac{Var(Trait) + Var(Method) + Var(ISpe)}{Var(Total)}$

6. 결론 및 향후 과제

MTMM 모델은 단순한 통계 기법을 넘어, “우리가 사람을 어떻게 이해해야 하는가”에 대한 철학적 질문을 던집니다. 한 사람의 특성은 하나의 점수로 고정되는 것이 아니라, 누구의 눈으로(방법) 보느냐에 따라 달라질 수 있다는 점을 데이터로 보여주기 때문입니다.

최근에는 이를 확장하여 종단적 MTMM(시간에 따른 타당도 변화), 잠재 중재 분석(방법 효과가 성별에 따라 다른지 등) 등 매우 정교한 분석들이 이루어지고 있습니다.

참고문헌

• Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81–105.
• Eid, M., Koch, T., & Geiser, C. (2025). Multitrait-multimethod models. In Handbook of Structural Equation Modeling (Chap. 19).
• Eid, M., Geiser, C., & Koch, T. (2016). Measuring method effects: From traditional to design-oriented approaches. Current Directions in Psychological Science, 25(4), 275–280.
• Geiser, C., Eid, M., & Nussbeck, F. W. (2012). On the meaning of the latent variables in the Correlated Trait-Correlated Method-1 model. Structural Equation Modeling, 19(3), 409–436.
• Marsh, H. W., Byrne, B. M., & Craven, R. (1992). Overcoming problems in confirmatory factor analyses of MTMM data: The correlated uniqueness model and factorial invariance. Multivariate Behavioral Research, 27(4), 489–507.