[사회복지조사론] 측정의 신뢰도와 타당도

신뢰도와 타당도

 

측정의 신뢰도와 타당도(신뢰성과 타당성)에 대해 서술 하시오.

(각 개념의 정의 및 특성, 유형과 종류, 측정 방법 등이 나타나게 서술하시오)

 

---

 

올바른 정보를 얻으려면 측정이 잘 되어야 한다. 그러나 변수의 내용을 다양한 측정 방법으로 조사한 것이 과연 현실적으로 믿을 수 있는가, 그래서 데이터를 신뢰할 수 있느냐를 판단하는 것이 필요하다. 측정의 질을 판단하는 기준이 바로 신뢰도와 타당도이다. 연구자가 자신의 주관적 판단에 의존하지 않고 보다 객관적으로 평가할 수 있도록 신뢰도와 타당도는 그 평가 기준을 제시한다.

 

신뢰도는 측정 수단에 대한 신뢰성을 평가하는 것이다. 측정 수단을 반복하여 사용해도 동일한 자료를 수집할 수 있는지를 평가한다. 예를 들어, 대학생의 급진 성향을 측정하는 측정 수단을 시차 간격 없이 사용하였다면, 그 결과가 동일한 경우에 이 측정 수단은 신뢰도가 있다고 할 수 있다. 따라서 신뢰도는 일관성 또는 반복 가능성이라고 하기도 한다. 신뢰도가 높다는 것은 믿을 수 있다는 의미이다. 그래서 동일한 내용을 측정할 때는 동일한 값을 구할 수 있어야 하고, 변화된 내용을 측정할 때는 역시 변화된 상태의 정도를 측정할 수 있어야 한다. 신뢰도를 평가하는 방법은 크게 3가지이다.

 

1. 재검법

동일한 측정 대상자에게 동일한 측정 수단을 사용하여 자료를 수집한 결과가 동일하다면 측정 수단이 신뢰성이 있다고 평가하는 방법이다. 시차 간격을 무시하고서 측정 수단의 신뢰성을 평가할 수 있는 방법이다. 그래서 가장 간단하면서도 쉽게, 그리고 널리 이용되는 평가 방법이다.

 

2. 복수 양식법

재검법에서 발생하기 쉬운 이월 효과를 줄이기 위해서 개발된 신뢰도 평가 방법이다. 복수 양식법은 동일한 측정 대상에게 동일한 내용을 측정하는 유사한 형태의 두 개 측정 수단을 동시에 실시하여 측정값이 동일하다면 측정 수단은 신뢰성이 있다고 평가하는 방법이다. 핵심은, 측정 내용은 동일하지만 이것을 여러가지의 다양한 형태로 표현하여 측정 대상에게 동시에 시행하여야 한다는 것이다.

재검법보다 우수한 신뢰성 평가 방법이며, 교육학이나 심리학 등에서 가장 많이 이용한다. 시험 분야인 대학수학능력 시험을 비롯해 문제은행식 시험 등은 복수양식법으로 신뢰성을 평가하고 있는 대표적인 분야라고 할 수 있다.

 

3. 반분법

반분법은 측정 수단을 복수로 구성해서 동일한 내용을 측정할 수 있어야 하는 복수 양식법의 어려움을 극복하려는 노력에서 개발된 방법이다. 두 개 이상의 측정 수단을 별개로 만드는 것이 아니라, 하나의 측정 수단에 동일한 내용을 측정할 수 있도록 문항을 두 개로 구성하는 방법이다. 즉 측정 내용을 질문지로 만든다면 앞면과 뒷면을 사용해서 앞면의 내용과 같은 것을 뒷면에 동시에 사용하여 현장에서 질문 대상자들이 질문에 응답할 수 있게 하여 앞면과 뒷면의 응답 내용이 상관 관계가 있으면 그 측정 수단은 신뢰성이 있다고 평가하는 방법이다.

 

타당도는 실험조사연구에서 변수의 인과적 관계를 설명하는 과정에 요구된다. 연구대상인 각 변수 사이의 인과관계를 알고자 하는 조사연구에서 각 변수들의 관계에 대해 인과적 추론을 할 수 있는 정도를 말한다. 크게 내적 타당도와 외적 타당도로 나눌 수 있다.

 

내적타당도는 종속변수의 변화가 독립변수에 의한 것이라고 확신할 수 있는 정도이다. 종속변수(결과)에서 나타나는 변이(변화차이)가 허위변수나 혼란변수에 기인한 것이 아니라 독립변수(원인)의 변이에 따른 것임을 경험적으로 확신할 수 있는 정도를 말하는 것이다. 내적타당도는 앞서 기술한 인과관계의 성립 조건을 얼마나 충족시키는지 여부에 따라 좌우된다. 이에 허위변수나 혼란변수 등 제3의 변수를 적절히 통제하지 못할 경우 관심의 대상이 되고 있는 구성요소의 효과를 과대추정 혹은 과소추정함으로써 바이어스(bias)가 발생하게 된다. 그러므로 내적 타당성이 높은 조사설계를 갖추려면 인과성 저해요인들이 배제될 수 있어야 한다..

 

내적타당도의 저해요인은 다음과 같다.

1. 성숙효과 또는 시간적 경과

연구기간 중에 발생하는 개인의 신체적, 심리적 성숙의 의미로 시간 경과에 따른 자연적 성숙 효과를 말한다. 인간은 시간이 지나면 자연적으로 성숙하는 측면이 있고 이러한 자연스러운 성숙 효과가 실험적 개입의 효과인 것처럼 섞여 있는 경우가 있다.

 

2. 우연한 사건, 역사적 사건, 외부 사건

조사 연구의 과정에서 외부적인 어떤 사건들이 발생하여 연구결과에 영향을 미칠 수 있다. 사전사후 검사 사이에 발생하는 통제 불가능한 사건으로 조사자의 의도와 관계없이 일어나는 사건으로 종속변수에 영향을 미칠 수 있는 사건이다. 조사기간 중에 조사에 영향을 미치는 사건이 발생할 경우, 그 영향 때문에 실험대상집단의 특성이 변할 수 있다. 조사기간이 길수록 외부 사건의 영향을 받을 가능성이 커진다.

 

3. 테스트 효과, 측정(검사) 효과

동일한 측정 도구를 사용하여 두번 이상 테스트를 실시하는 조사연구에서 나타나는 현상이다. 개입 전후에 측정을 반복할 때 사전검사가 사후검사에 영향을 미칠 수 있다. 즉 , 반복되는 측정은 검사에 대한 연습이 될 수 있으므로 측정검사를 왜곡시킬 가능성이 있다.

 

4. 측정도구 효과

테스트 전, 후의 검사 도구를 각기 달리 했을 때 발생할 수 있는 문제이다. 측정도구 효과는 측정도구의 사용, 도구의 점수 산정방법 등의 측정절차와 관련하여 의도하지 않은 영향을 주는 것을 말한다. 사전조사와 사후조사 실시 요원이 다른 경우, 측정방법의 변화나 신뢰도가 낮은 척도를 사용할 경우 전-후 차이가 진정한 변화인지 알 수 없다.

 

5. 대상자 선정 오류(선별 편향성)

실험집단과 통제집단이 서로 상이한 경우나 모집단을 정확히 대표하지 못하는 경우로, 이질적인 집단들을 대상으로 개입의 효과를 비교하려고 할 때 나타난다. 즉, 실험집단과 통제집단에 할당되는 연구대상자는 비교적 비슷한 조건이어야 하는데 공교롭게도 실험집단에 할당된 대상자에 편견이 개입된 경우이다. 이런 경우 내적 타당도를 저해하는 것을 방지하기 위해서는 무엇보다 무작위 표본추출과 집단 배정이 이루어져야 한다.

 

6. 통계적 회귀

유동적인 점수들은 정상치(평균)로 근접하는 경향을 있다는 의미로, 극단적인 사례를 집단에 포함시킬 때 발생하는 오류이다. 종속변수의 값이 가장 높거나 가장 낮은 극단적인 사람들을 실험집단으로 선택했을 경우 다음 검사에는 독립변수의 효과가 없더라도 높은 집단은 낮아지고 낮은 집단은 높아지는 현상이 나타난다. 이러한 문제는 무작위 배정이나 통제집단을 활용하여 통제가 가능하다. 정상치에서 심하게 벗어난 인구 집단을 대상으로 하는 서비스나 프로그램에서는 이러한 통계적 회귀 성향을 적절히 통제할 수 있는 조사 설계를 갖추는 것이 중요하다.

 

7. 중도 탈락(실험도중 탈락)/실험대상자 상실

사전 측정을 한 실험대상자가 사후 측정을 하기 전에 실험 대상에서 탈락된 경우로서 실험과정에서 일부 실험대상자가 이사, 질병, 사망, 싫증 등의 사유로 탈락하는 경우 조사대상의 표본의 숫자가 줄어들면서 잘못된 실험결과가 될 수 있는 경우를 말한다. 실험에 잔류한 사람들과 탈락한 사람들의 특성을 적절하게 선별해 내는 방법이 없다면 실험조사설계에서는 이러한 중도 탈락의 효과가 인과관계에 대한 설명을 어지럽히게 된다.

 

8. 선택과의 상호작용 영향

내적 타당도의 위협요소 간에 상호작용이 일어날 때 발생한다. 선택의 편의가 있을 때 잘못된 선택과 역사, 성숙 또는 탈락의 상호작용이 문제가 된다. 선정오류와 성숙의 상호작용에서는 실험집단 및 통제집단의 선정에 있어서 동질적이 아닌 데다 성장 속도도 다르게 되는 경우가 있다. 선정오류와 탈락의 상호작용은 특정 집단에서 탈락하는 비율이 두드러지게 나타날 때 내적 타당도를 위협하게 된다.

 

9. 인과관계 방향의 모호성/인과적 시간-순서

시간적 우선성에 대한 불확실성은 인과관계를 곤란하게 만들 수 있다. 독립변수와 종속변수의 관계에서 종종 시간-순서가 모호한 경우가 많다. 두 변수 간에 어느 것이 원인인지 불확실해서 인과관계의 방향을 결정하기가 곤란한 경우가 있다. 특히 시간적 우선성을 경험적으로 보여줄 수 없는 비 실험조사 설계들에서는 원인변수와 결과변수간의 인과관계의 방향을 결정하기 곤란할 때가 많다.

 

10. 개입(치료)의 확산/모방

피 실험자들 간의 상호작용이나 모방으로 애당초 의도했던 집단 간 차이에 대한 설명이 불분명해지는 것을 말한다. 실험집단에서 실시한 프로그램이나 특정한 자극들에 의해서 실험집단의 사람들이 효과를 얻게 되고, 그 효과들이 다른 집단의 사람들(통제집단)에게 전파되어 두 집단 간의 차이가 약해져서 비교가 어려워질 수 있다. 실험집단과 통제집단에 속한 대상자들이 서로 대화하거나 만날 가능성이 있을 경우 프로그램 개입을 받고 있는 실험집단의 성원들이 통제집단의 성원들에게 자신의 집단 경험을 알려 줄 수 있다, 이때 통제집단의 대상자들은 실험집단의 대상자를 모방하려 하게 됨으로써 실험 효과를 알 수 없게 된다는 것이다. 일상적인 사유방식으로는 이런 요인들이 쉽게 파악되지 않으므로, 과학적 조사연구에서는 이들을 의식적으로 배제하거나 통제하기 위한 장치를 갖춰야 한다.

 

내적 타당도를 높이려면 (1) 조사(실험) 기간을 가능한 짧게 한다(성숙, 역사적 사건 통제 가능). (2) 무작위 할당으로 조사대상자들을 실험집단 및 통제집단에 무작위로 배치하는 방법이다. 이는 두 집단의 동질적인 집단이 될 가능성을 높이는 외생변수들을 가장 효과적으로 통제하는 방법이며 참여자 선정문제를 어느 정도 해결할 수 있다. (3) 측정도구를 한번만 사용하거나 사후검사 시 조금 다른 측정도구를 사용하면 측정의 영향을 줄일 수 있다. (4) 진행요원에게 훈련을 통해 측정 시 동일한 방법 및 절차를 시행하도록 하여 측정도구에 관련된 영향을 제거한다. (5) 조사대상자, 특히 통제집단 참여자들과 계속 접촉을 유지한다면 자연 감소나 소멸을 예방할 수 있다. (6) 극단적인 측정값을 보이는 대상자를 피한다. 즉, 한 번의 측정으로 극단적인 대상자를 선정하지 않도록 한다. 이를 통해 통계적 회귀문제를 통제할 수 있다.

 

외적 타당도(external validity)는 실험 또는 연구조사에서 얻은 결론들이 다른 이론적 구성요소(theoretical constructs)나 현상들에까지도 일반화될 수 있는 정도를 의미한다. 일반화가 가능한가, 즉 다른 대상자 및 다른 상황에서도 동일한 결과를 얻을 수 있는가에 관한 이슈를 말한다. 즉, 종속변수의 변화가 상이한 대상이나 상이한 상황에서도 나타날 수 있는 것인가, 즉 일반화할 수 있는가에 관한 문제를 말한다. 외적 타당도는 조사(연구)표본의 대표성, 조사(연구)환경 및 절차, 실험조사에 대한 반응성 등에 의해 저해 받을 수 있다.

 

외적 타당도를 높이려면 (1) 조사대상자가 대표성을 갖도록 한다. 표본의 대표성을 높일 수 있는 방법, 즉 확률적 표집으로 연구대상을 선정하거나 표본의 크기를 크게 함 등으로 높일 수 있다. (2) 개입자체가 분명하고 구조화되어야 한다. (3) 가실험효과(위약효과)를 제거하기 위해서는 가실험 통제집단설계 등의 방법을 사용할 수도 있다. (4) 조사 진행요원은 훈련되고 자질을 갖춘 자로 하며 개입이 동일하게 진행되도록 한다.

 

신뢰도와 타당도는 측정 수단의 정확성과 일관성을 평가하는 중요한 개념이다. 타당도는 측정 수단이 얼마나 정확하게 측정하고자 하는 현상을 측정할 수 있는가를 판단하는 기준인 반면에, 신뢰도는 측정 수단이 얼마나 일관성 있고 반복적으로 측정 현상을 측정할 수 있는가를 판단하는 기준이다. 따라서 타당도의 관점에서 보면 측정 대상이 조금이라도 변화하거나 변동되면 그 내용을 놓치지 않고 측정할 수 있어야 한다. 그러나 신뢰도는 일관성이기 때문에 측정 대상의 변동보다 측정 수단이 일관적이고 변화되지 말아야 측정 대상을 측정할 수 있다는 개념이다. 그래서 일면적으로 보면 신뢰도와 타당도는 서로가 비대칭 관계라고 할 수 있다. 그러나 궁극적으로는 신뢰도와 타당도는 서로 보완 관계에 해당한다.