태그 보관물: item parceling

Chap 16. 구조방정식 모델링에서의 문항 꾸러미화: 기회주의적 사용의 위험성과 올바른 지침

안녕하세요.
이번에는 구조방정식 모델링(SEM)에서 자주 사용되지만 동시에 오용되기도 쉬운 ‘문항 꾸러미화(Item Parceling)’에 대해 깊이 있게 다뤄보겠습니다.

이 글은 단순한 이론 요약을 넘어, 실제 교육 현장에서 데이터를 분석하는 연구자들이 마주할 수 있는 고민과 해결책을 담고 있습니다. 특히 구조방정식 전용 툴인 jamovi와 더 정밀한 분석을 위한 R 코드를 병행하여 설명하겠습니다.

1. 문항 꾸러미화(Item Parceling)란 무엇인가?

문항 꾸러미화는 잠재변수를 측정하기 위한 원래의 개별 문항들을 2개 이상의 소그룹으로 묶어, 그 점수의 평균이나 합계를 지표(Indicator)로 사용하는 기법을 말합니다.

교육 연구에서 우리는 종종 다음과 같은 상황에 직면합니다:

  • 표본 크기는 작은데 문항 수는 너무 많을 때 (예: 학생 150명인데 문항은 40개)
  • 개별 문항의 신뢰도가 낮거나 데이터가 정규분포를 따르지 않을 때
  • 모델의 적합도가 낮아 논문 통과가 걱정될 때

이때 연구자들은 ‘쉬운 해결책’으로 꾸러미화를 선택합니다. 꾸러미화를 하면 지표의 수가 줄어들어 추정해야 할 모수가 감소하고, 분포가 더 정규성을 띠며, 모델 적합도가 ‘마법처럼’ 좋아지기 때문입니다. 하지만 이는 ‘양날의 검’입니다.

2. 꾸러미화 전략: 어떻게 묶을 것인가?

문항을 묶는 방법은 크게 세 가지로 나뉩니다.

1) 단순 무작위 전략 (Simple Random Strategy)

문항들을 아무런 규칙 없이 무작위로 할당하는 방법입니다. 이론적으로 문항들이 단일차원(Unidimensional)을 이룰 때 가장 보편적으로 사용됩니다.

2) 내용 중심 전략 (Content-Driven Strategy)

이론적 배경을 바탕으로 문항을 묶는 방법입니다.

  • 분산형(Distributed) 꾸러미화: 각 꾸러미가 전체 요인을 대표하도록 하위 요인 문항들을 골고루 섞습니다.
  • 고립형(Isolated) 꾸러미화: 같은 성격의 문항(예: 역채점 문항들, 동일 소검사 문항들)끼리만 묶습니다.

3) 경험적 전략 (Empirical Strategy)

데이터의 통계적 특성(요인 부하량, 상관관계 등)을 보고 결정합니다. 예를 들어 부하량이 높은 문항과 낮은 문항을 짝지어 꾸러미 간 균형을 맞추는 ‘Balancing’ 방법이 있습니다.

3. 꾸러미화의 위험성: 감춰진 진실

꾸러미화가 적합도를 높여주는 이유는 모델의 오류를 은폐하기 때문입니다.

  1. 오류 탐지 능력 저하: 문항 수준에서 발생하는 교차 부하량(Cross-loading)이나 잔차 간 상관관계를 번들 안에 가두어 버립니다. 즉, “틀린 모델인데도 잘 맞는 것처럼” 보이게 합니다 (제2종 오류 증가).
  2. 구조계수 왜곡: 측정 모델의 오류가 가려진 상태에서 계산된 경로계수(Structural parameters)는 편향될 수 있습니다.
  3. 꾸러미 할당 가변성(Parcel-allocation variability): 같은 데이터를 가지고도 문항을 어떻게 묶느냐에 따라 결과가 달라집니다. 수억 가지의 조합 중 단 하나의 결과만 보고하는 것은 연구자의 기회주의적 선택일 수 있습니다.

4. 실습: 교육 데이터 시뮬레이션 및 분석

이제 가상의 스토리를 통해 문항 꾸러미화의 효과와 위험성을 확인해 보겠습니다.

[시나리오]

A 초등학교 교사인 김 연구원은 학생들의 ‘학업 참여도(Engagement)’가 ‘학업 성취도(Achievement)’에 미치는 영향을 연구하고자 합니다. ‘학업 참여도’, ‘학업 성취도’는 모두 9개 문항으로 구성되어 있으나, 표본 수가 150명으로 적어 모델 수렴이 잘 안 되고 적합도가 낮게 나옵니다. 김 연구원은 이를 3개의 문항씩 3개의 문항 꾸러미로 묶어 분석하기로 했습니다.

1) 모의 데이터 생성 (R 코드)

실제 상황과 유사하게 약간의 측정 오류(일부 문항의 상관성)를 포함한 데이터를 생성합니다.

R

# 1. 필요 라이브러리 로드
if(!require(lavaan)) install.packages("lavaan")
if(!require(semTools)) install.packages("semTools")
library(lavaan)
library(semTools)

# 2. 교육 현장 모의 데이터 생성 (N=150)
# 스토리: 성장 마음가짐(f1)이 수학 흥미(f2)를 예측함.
# 일부러 문항 수준에서 '역채점 문항 효과'와 같은 오류를 심어둠.
set.seed(2025)
sim_model <- '
  f1 =~ 0.7*e1 + 0.6*e2 + 0.5*e3 + 0.7*e4 + 0.6*e5 + 0.5*e6 + 0.7*e7 + 0.6*e8 + 0.5*e9
  f2 =~ 0.8*a1 + 0.7*a2 + 0.6*a3 + 0.8*a4 + 0.7*a5 + 0.6*a6 + 0.8*a7 + 0.7*a8 + 0.6*a9
  f2 ~ 0.4*f1  # 경로계수 설정
  e1 ~~ 0.3*e2  # 문항 수준의 잔차 상관(오류)
'
school_data <- simulateData(sim_model, sample.nobs = 150)
chap16다운로드

2) jamovi에서의 분석 (일반 SEM)

jamovi의 SEMLj 모듈을 사용합니다.

  1. Engagement 요인에 e1~e9를 모두 넣고 분석합니다.
  2. Achievement 요인에 a1~a9를 모두 넣고 분석합니다.
  3. 아마도 RMSEA나 CFI 값이 권장 기준에 미치지 못할 것입니다. (문항 수준의 오류 때문)

3) R을 이용한 문항 꾸러미화 민감도 분석 (Sensitivity Analysis)

단순히 한 번 묶고 끝내는 것이 아니라, 무작위로 여러 번 묶었을 때 결과가 얼마나 널뛰는지 확인해야 합니다.

R

# 3. 모델 설정
# 원래 문항 수준의 구조 (item.syntax)
item_syntax <- '
  f1 =~ e1 + e2 + e3 + e4 + e5 + e6 + e7 + e8 + e9
  f2 =~ a1 + a2 + a3 + a4 + a5 + a6 + a7 + a8 + a9
'

# 번들 수준의 구조 (mod.parcels)
# 각 요인을 3개의 번들로 묶음
parcel_model <- '
  f1 =~ p1 + p2 + p3
  f2 =~ p4 + p5 + p6
  f2 ~ f1
'

# 4. 민감도 분석 실행 (100번의 무작위 할당)
# parcelAllocation 함수를 통해 가변성을 확인합니다.
results <- parcelAllocation(
  model = parcel_model, 
  data = school_data, 
  nAlloc = 100, 
  parcel.names = c("p1","p2","p3","p4","p5","p6"),
  item.syntax = item_syntax
)

# 5. 결과 요약 및 해석
summary(results)

5. 연구자를 위한 최종 권고문

문항 꾸러미화를 사용할 때는 다음의 7가지 원칙을 반드시 지켜야 합니다.

  1. 문항 수준 분석 선행: 꾸러미화 전, 반드시 개별 문항 수준에서의 확인적 요인분석(CFA)을 시도하고 그 결과를 보고하십시오.
  2. 동기 명시: 단순히 ‘적합도를 높이기 위해’가 아니라, 이론적 근거를 제시하십시오.
  3. 꾸러미화 전략 기술: 무작위인지, 내용 중심인지, 왜 그렇게 결정했는지 상세히 적으십시오.
  4. 민감도 분석 실시: 단 하나의 꾸러미 조합만 보고하지 말고, semTools 등을 활용해 여러 조합의 평균적인 결과를 보고하십시오.
  5. 측정 불변성 주의: 다집단 분석 시 꾸러미화는 집단 간 차이를 왜곡할 위험이 큽니다.
  6. 단일차원성 검증: 꾸러미로 묶이는 문항들이 정말 하나의 요인을 측정하는지 사전에 검증하십시오.
  7. 투명한 보고: 꾸러미화를 했다는 사실을 숨기지 마십시오. 이는 재현 가능한 과학을 위한 기본 매너입니다.

참고문헌

  • Bandalos, D. L. (2002). The effects of item parceling on goodness-of-fit and parameter estimate bias in structural equation modeling. Structural Equation Modeling, 9(1), 78-102.
  • Bandalos, D. L., & Finney, S. J. (2001). Item parceling issues in structural equation modeling. In G. A. Marcoulides (Ed.), New developments and techniques in structural equation modeling (pp. 269–297). Lawrence Erlbaum Associates Publishers.
  • Little, T. D., Rhemtulla, M., Gibson, K., & Schoemann, A. M. (2013). Why the items versus parcels controversy needn’t be one. Psychological Methods, 18(3), 285-300.
  • Sterba, S. K. (2011). Implications of parcel-allocation variability for comparing fit of item-solutions and parcel-solutions. Structural Equation Modeling, 18(4), 554-577.
  • Sterba, S. K., & Rights, J. D. (2017). Effects of parceling on model selection: Parcel-allocation variability in model ranking. Psychological Methods, 22(1), 47-68.