과학적 방법론 개론

과학적 방법론은 주장과 근거를 적절하게 결합하는데 쓰이는 원리들을 말한다. 무언가를 연구하는 과학자들은 무언가에 대한 생각을 세우고, 증거를 통해 생각이 맞는지 알아본다. 생각은 보통 이론(theory)이라 불리며, 이론은 자연현상에 대한 체계적 설명을 말한다. 진화론은 생명의 진화에 대한 체계적인 설명이다. 비슷하게 판구조론도 지각판의 이동에 대한 체계적인 설명이다. 이 두 설명 모두 어떤 대상의 기원이나 작동방식을 체계적으로 설명하며, 증거를 통해 뒷받침되어야 유지될 수 있다. 그렇기 때문에 과학 이론은 언제든 증거를 통해 검증되거나 반증될 수 있어야 하며, 따라서 절대적으로 맞는 과학 이론은 엄밀히 말하면 존재하지 않는다.

 

이론은 밑에 현상과 법칙, 그리고 가설을 가진다. 현상과 법칙은 관찰된 자연현상으로, 이론은 이들을 설명해야만 한다. 이러한 설명이 합당한지 알기 위해 여러가지 방법이 동원되는데, 대부분 가설연역법이란 방법을 지지한다. 여기서 쓰이는 가설(Hypothesis)은 이론에서 논리적으로 도출된 예측으로, '먼 별에서 세차운동이 발견될 것이다.'는 지동설에서 자동적으로 도출되는 예측이다. 가설연역법은 이론으로부터 이러한 가설을 도출하고 이것이 사실과 부합하는지 확인하여 이론의 판별여부를 확인하는 방법이다.^[각주:1] 자연선택론은 돌연변이 형질이 유전되고 축적되어 변화가 일어난다는 가설을 검증받아 용불용설을 이겨냈다. 판구조론이 예측한 여러가지 가설도 해양탐사선의 활약으로 사실로 확인되었다. 모든 이론은 자신의 자식들로 시험받아야 하며, 치열한 검증싸움에서 이긴 이론만이 학계에서 살아남는다.

 

과학적 방법론은 다양한 연구방법을 포괄한다. 상관관계 연구(correlational study)처럼 두 변인의 상관관계만 연구하는 방법도 있고, 아예 가설없이 대상을 있는 그대로 관찰하는 자연관찰이나 사회조사, 참여관찰, 아니면 연구대상을 소수 사례로 한정하는 사례연구도 있다. 그러나 가설을 검증하는 가장 좋은 방법은 실험이다.^[각주:2]

 

 

1.사회과학 방법론의 역사

예나 지금이나 사회과학은 연성과학에 속하며, 사회과학이 태동하던 시기에는 그러한 경향이 더 심하였다. 당시에는 통계적 기술은 커녕 실험의 도입도 잘 이뤄지지 않았기 때문에 사회연구는 단순히 해석이나 사례연구에 불과하였다. 그러다가 통계적 기법이 발전하고 사회과학을 과학화하려는 움직임이 일어나면서 실증적 방법론이 도입되었다. 이를 통해 사회과학자들은 처음으로 대상을 객관적으로 다루고 분석할 수 있었다. 예를 들어 행동주의심리학자들은 연구하는 대상을 측정가능한 자극과 반응으로 간단하게 나눈 후 여러 조작적 정의를 통해 최초로 심리학에 과학적 방법론을 도입하였다. 이를 통해 심리학은 경성과학에 걸맞는 연구결과들을 배출할 수 있었으며, 뒤이어 다른 분야에서도 실증적 방법론이 도입되었다.

 

실증적 방법론(자연과학에서는 과학적 방법론)은 사회과학에서 많은 성공을 거뒀지만 비판도 있었다. 왜냐하면 실증연구라는 타이틀을 단 연구가 여러 부분에서 오류를 범했기 때문이다. 당시 사회과학자들은 대상을 실증적이고 양적으로 분석하는데만 집중한 나머지, 가설의 논리구조를 명확하게 하거나 검증 방법, 결과해석의 타당성을 확보하는 데에는 소홀하였다. 그래서 실험은 철저히 감독되고 결과도 명확하게 나옴에도 불구하고, 결과를 잘못 해석하거나 가설/실험 자체에 문제가 있는 경우가 나타났다. 또한 많은 학자들이 자신의 연구를 과대해석하였는데, 가령 현재 심리학적 성차를 연구하는 학자들도 여러 이유로 인해 실제로는 매우 작은 차이를 본질적인 차이처럼 서술하는 경향이 있다. 이처럼 연구의 해석에 문제가 생기는 경우가 다발하면서 연구의 해석과 비판을 중시하는 경향이 나타났다.

 

80년대부터 사회가 변화하면서 자연과학까지 합하여 새로운 연구방법이 출현하였다. 먼저 포스트모더니즘 연구는 기존에 비정상/이상치로 간주되어 연구되지 않았던 대상들에 관심을 가지고 연구하기 시작했다. 가령 성소수자나 비서구문화는 사회학/심리학처럼 일반적 인간을 연구하는 분야에서는 큰 관심을 가지지 않았지만 20세기 말부터 이러한 주제에 관심을 가지기 시작했다. 또한 각 분야가 발달하면서 서로 연구하는 주제가 겹치게 되었는데, 이러한 주제에 대한 통합적 이해를 위해 여러 분야의 연구자가 협력하는 다차원적 연구가 나타났다. 최근에는 이러한 다차원적 연구가 진행되면서 하나의 고유한 분야로 변화하여 아예 자신들만의 새로운 패러다임을 산출하는 등 융합 연구도 나타나고 있다.

 

FGI의 발달^[각주:3]

FGI는 46년 사회학에서 처음 시작되었는데,^[각주:4] 이전에도 지식사회학자 카를 만하임의 연구^[각주:5]와 사회학자 보가더스(bogardus)의 연구^[각주:6]에서도 그 시초를 확인할 수 있다. 그러나 FGI의 주요 가정과 방법은 대개 사회학과 임상심리학에서 유래했다.

 

최초의 FGI는 사회학자 폴 라자스펠드(Paul Lazarsfeld)가 1941년 컬럼비아대학 라디오 연구실에서 사회학자 로버트 머튼(Robert Merton)과 함께 한 라디오 프로그램에 대한 청취자 반응을 평가한 연구에서 시작되었다. 이 연구에서 연구자들은 대중매체 스튜디오 청취자들에게 녹음된 라디오 프로그램을 들려주고, 분노나 따분함, 불신과 같은 부정적 반응이 나타날 때는 빨간 버튼, 긍정적 반응이 나타날 때는 녹색 버튼을 눌러달라고 요청했다. 이러한 반응은 lazarsfeld-stanton 프로그램 분석기에 녹음되었고, 프로그램 마지막에 참여자들은 자신들이 녹음한 긍정/부정 반응에 집중하고 이러한 반응들에 대해 집단으로 토의하였다.^[각주:7]

 

2차 대전 발발 후 머튼은 새뮤얼 스토퍼(Samuel Stouffer) 산하의 미군 정보교육부 연구부서에서 자신의 기술을 적용하였다. 그리고 이때의 경험을 바탕으로 FGI의 윤곽을 제시하는 논문^[각주:8]을 발표하고 책^[각주:9]으로도 출판하였다. 이 문헌들은 곧 FGI의 근간을 이루는 주요 문헌이 되었다.^[각주:10] 이후로도 머튼은 계속해서 자신의 FGI를 사용하였고, 다른 학자들도 이를 변용하면서 따라하기 시작했다.

 

한편 비슷한 시기에 임상심리학의 발전도 FGI에 일부 기여했다. 1931년에 제이콥 모레노가 연극치료를 개발했고, 뒤이어 임상심리학에서 집단역동에 관심을 가지게 되었다. 이후 임상심리학자들 일부는 마케팅 분야로 자신의 연구분야를 옮겼는데, 그러면서 임상심리학적 식견이 FGI에도 일부 반영되게 되었다. 에른스트 디히터(Ernest Dichter)^[각주:11]나 알프레드 골드만(Alfread Goldman)^[각주:12]이 이러한 움직임을 이끌었던 고전적인 임상심리학자들이며, 현재에도 다양한 임상가들이 CBT나 게슈탈트 치료 등 임상심리학적 통찰을 FGI에 적용하고 있다. 여기에는 교류분석과 같은 유사과학도 일부 기여하고 있다.

 

50년대에 흥행했던 FGI는 6-70년대에 잠시 침체기를 맞았다. 그러다가 80년대에 질적 연구가 부상하고, 특히 현상학적 사회학 패러다임^[각주:13]이 나타나면서 다시 사회학의 주요 방법론으로 떠올랐다. 심지어 일부에서는 FGI가 질적 사회학 연구의 모든 것을 대변한다는 오해도 발생하였다.^[각주:14] 아무튼 이때부터 FGI는 사회학을 중심으로 다른 사회과학 분야에도 확산되어 사용되었다.^[각주:15] 이외에 아래 문헌들을 통해 기초적인 FGI의 역사를 관찰할 수 있다.

Strong Jr, E. K. (1913). Psychological methods as applied to advertising. Journal of Educational Psychology, 4(7), 393.

Poffenberger, A. T. (1925). Psychology in advertising. AW Shaw Company.

Moreno, J. L. (1957). The first book on group psychotherapy.

Lazarsfeld, P. F. (1934). The psychological aspect of market research. Graduate School of Business Administration, Harvard University.

Lazarsfeld, P. F. (1937). The use of detailed interviews in market research. Journal of Marketing, 2(1), 3-8.

Edmiston, V. (1944). The group interview. The Journal of Educational Research, 37(8), 593-601.

Lewin, K. (1948). Resolving social conflicts; selected papers on group dynamics.

Smith, G. H. (1954). Motivation research in advertising and marketing. McGraw-Hill.

Bellenger, D. N., Bernhardt, K. L., & Goldstucker, J. L. (2011). Qualitative research in marketing. Marketing Classics Press.

Cox, K. K. (1979). Focus group interviews: A reader (pp. 36-43). J. B. Higginbotham (Ed.). American Marketing Assoc..

Fern, E. F. (1982). The use of focus groups for idea generation: the effects of group size, acquaintanceship, and moderator on response quantity and quality. Journal of marketing Research, 19(1), 1-13.

 

 

2.주요개념

반증 가능성(principle of refutability)

반증 가능성은 과학철학자 칼 포퍼가 제시한 개념이다. 칼 포퍼는 검은 백조 문제를 들어 결국 과학이론을 완벽히 검증하는 것은 불가능하다고 지적했다. 결국 우리가 우주의 모든 백조를 볼 수는 없기 때문이다.(있으면 굳이 이론을 만들 필요가 없다) 그렇기 때문에 과학을 불완전한 귀납법이 아니라 확실한 연역법에 기초하게 하기 위해선 과학이론의 검증이 아니라 과학이론의 반증이 목표가 되어야 한다고 주장했다. 검증은 논리적으로 불가능하지만 이론을 반증하여 폐기하는 일은 완전히 논리적이고 보편적이기 때문이다.

 

이런 배경에서 포퍼는 과학이론의 기준으로 반증가능성을 제시한다. 모든 이론은 자신과 반대되는 사실에 의해 반박될 준비가 되어 있어야 한다. 그러기 위해 이론은 알려지지 않은 사실을 예측해야 하며, 정확한 예측을 해서 반박될 가능성을 열어놓아야 한다. 그렇기 때문에 만약 반증가능성이 없다면 과학이라고 볼 수 없다. 이런 기준에서 기성 종교에서 가정하는 신이나 고전 정신분석, 마르크시즘은 갖은 논리적 오류를 동원해 반증가능성을 차단하기 때문에 과학이라고 볼 수 없다. 포퍼는 여기서 더 나아가 진화론과 심리학이 과학이 아니라고 주장했고, 과학의 역사를 반증가능성으로 설명할 수 있다고 주장했다. 전자는 무지에 의해, 후자는 후속 연구에 의해 신빙성이 없음이 드러났지만 반증가능성이라는 개념은 지금도 과학이론에 요구되고 있다. 모든 과학이론은 이론이 맞는지 틀린지 확실히 결정할 수 있는 예측을 해야 하며, 약간의 예외는 있을수 있지만 기본적으로 예측이 맞는지 틀린지에 따라 검증되거나 폐기되어야 한다.

 

실험(experiment)​

이론의 반증은 이론의 예측이 맞는지 관찰하는 방식으로도 할 수 있지만 대개는 이론이 설명하는 변수(변인. 변인은 점차 지양하는 단어이다)들을 인위적으로 조작하여 변수들이 이론의 예측대로 움직이는지 검증하는 방식으로 이뤄진다. 이러한 방법을 실험이라고 한다. 실험은 변수를 인위적으로 조작하여 인과관계의 여부를 알아보는 기법이다. 이미 앞에서 보았듯 상관관계만으로는 인과관계를 유추할 수 없으며 인과관계를 알아보기 위해서는 특별한 방법이 필요하다. 실험은 서로 인과관계에 있을것이라 예상되는 두 변수중 원인으로 보이는 변수를 인위적으로 조작하여 다른 변수가 변하는지 알아보는 방법이다. 만약 당신이 와이파이 유무와 인터넷 속도의 인과관계를 실험한다면, 와이파이의 유무를 인위적으로 끄거나 켤때 인터넷 속도가 변하는지 살펴볼 것이다. 이처럼 한 변수가 변할때 실제로 다른 변수가 영향을 받아 변하는지를 인공적인 상황을 만들어 관찰함으로써 과학자들은 두 변수의 인과관계를 알아볼 수 있다.

 

실험에서는 변수를 둘로 나눈다. 독립변수는 연구를 위해 조작하는 변수이고, 종속변수는 연구에서 관찰하는 변수이며, 가설에 따르면 어떠한 방식으로 변해야 하는 변수이다. 독립변수에 어떠한 조작을 가해서 원하는 변화가 나타나는지 관찰하는 집단이 실험집단이고, 반대로 아무 조작도 가하지 않고 무엇이 일어나는지 관찰하는데 사용되는 통제집단이 있다. 이러한 실험은 타당도가 확보되어야 하는데, 외적 타당도는 확보되면 좋으나 굳이 확보할 필요는 없다.

 

동료평가(peer review)

동료평가는 과학적 발견이 인정되고 출판되는 방식이다. 거의 대부분의 과학적 발견은 논문의 형태로 저널(학술지, journal)에 제출되는데, 논문이 저널에 제출되면 이 논문이 과연 과학적으로 타당한지 심사를 받는다. 이때 이 심사를 진행하는 것은 다른 사람이 아니라 바로 같이 연구를 실시하는 동료 연구자들이다. 즉 과학적 주장은 동료에 의해 검토된 후 비로소 인정되는 것이다. 이것은 비단 과학뿐만 아니라 다른 분야에서도 실시되는 방법이고 다소 엉성해 보이나, 지금까지 과학이 발전할 수 있었던 원동력이 되기도 하였다.

 

동료평가의 결과는 저널에 따라 다르다. 똑같이 과학적 타당성이 있더라도 수준높은 저널에 출판되는 논문은 더 적은데, 가령 APA에서 발간하는 저널의 경우 2010년 기준 탈락율이 71%였다.^[각주:16] 이러한 탈락의 기준은 과학적으로 타당한지 여부도 있지만, 논문이 저널의 목적에 부합하는지, 연구가 다른 연구자들의 관심을 끄는지도 영향을 받는다. 이때문에 유행하는 이론을 지지하는 형편없는 논문이 출판되는 경우도 있었으나, 과학이 발전하면서 그러한 경우는 점점 줄고 있다.

 

신뢰도와 타당도(Reliability and Validity)^[각주:17]

신뢰도와 타당도는 검사나 조사 등 어떤 이론을 기초로 한 측정을 평가할 때 쓰이는 두 가지 기준이다. 모든 연구 데이터들이 전부 의미 있는 것은 아니며, 검사 내적인 문제가 있으면 연구의 가치는 수직 낙하한다. 그렇다면 어떤 검사나 조사에 문제가 있는지 없는지를 어떻게 아는가? 그 여부를 판단하는 것이 바로 신뢰도와 타당도이다. 그 개념은 각각 다음과 같다.

 

신뢰도(Reliability)는 동일한 측정도구가 동일한 대상을 측정하는 정도이다. 사격 표적지로 말하면 탄착군이 서로 모여있는지의 여부이다. 탄착군이 형성이 안되어 있고 탄흔이 서로 제각기 떨어져 있다면 조교는 사수가 제대로 조준을 안한다고 결론을 내릴 것이다. 마찬가지로 어떤 측정도구가 똑같은 대상을 측정함에도 매번 결과가 들쭉날쭉하다면 이를 대상이 매우 단기적으로 바뀐다고 해석하기보다는^[각주:18] 측정도구에 결함이 있다고 해석함이 나을 것이다. 검사지의 신뢰도가 중요한 심리학에서는 신뢰도의 측정을 위한 기법을 많이 고안해냈으며, 질적 연구방법론을 사용하는 학자들도 자료수집을 연구자, 표본, 시기를 달리 하여 일관성 있는 결과가 나오는지 시험하는 삼각구도법(triangulation)을 통해 신뢰도를 보장하고자 노력한다.

 

타당도(validity)는 측정도구가 측정하려는 대상을 측정하는 정도이다. 사격 표적지로 말하면 탄이 목표물을 맞추고 있는지의 여부다. 탄착군이 제대로 형성되도 탄이 과녁 중앙을 맞추지 못한다면 조교는 총의 클리크를 수정할 것이다. 마찬가지로 어떤 측정도구가 측정하는 대상이 실제 측정하려는 대상과 동떨어져있다면 측정을 하건 말건 무의미할 것이다. 21세기 초 남자가 여자보다 월등히 지능이 높다고 주장한 우생학자의 연구^[각주:19]도 지능의 측정도구라 사용한 SAT가 타당도가 낮았기 때문에^[각주:20] 실패했다. 타당도는 연구대상이 모호할수록 측정도 어려워지며 타당도를 높이는 방법은 많은 통계학자, 심리측정학자들의 고민거리다.

 

타당도는 위에서 살펴봤듯이 내적 타당도(internal validity)와 외적 타당도(external validity)로 나눌 수 있다. 내적 타당도는 타당도의 정의에 가까운 개념으로, 종속변수가 실제로 독립변인에 받은 영향의 정도를 말한다. 내적 타당도는 종속변수와 독립변인 간의 관계의 강도도 반영하지만, 외부변인의 개입정도도 반영한다. 반면 외적 타당도는 현실과 더 관련되어 있는데, 실험에서 나온 결과가 외부현실에도 재현될 수 있는 정도이다. 위에서 보았듯이 외적 타당도가 낮아도 실험에 큰 문제는 없지만, 그 결과를 현실에 일반화하는 데에는 큰 문제가 있다. 많은 실험은 내적 타당도를 중시하지만, 현실과 가까운 실험은 둘 다 중시하기 마련이다.

 

2차적 연구방법

개개의 연구가 아무리 과학적 엄격성을 충족한다고 해도, 개개의 연구만으로는 과학활동을 하기 힘들다. 왜냐하면 과학의 특성상 서로 다른 결론을 내놓는 연구들이 끊임없이 튀어나오고, 생물학이나 사회과학처럼 변산성이 큰 과학의 경우 논쟁을 결론지을 단 하나의 연구를 제시하기가 힘들기 때문이다. 이들의 경우 통계적인 방법을 통해 대상을 연구하기도 하는데, 대부분 실제 모집단에 비해 적은 표본을 가진 경우가 많아 결론을 내리는데 애로사항이 많다. 그렇기 때문에 20세기 말부터 기존에 수행된 1차 연구들을 종합하여 분석하는 2차적 연구방법이 나타났다.

 

대표적인 2차적 연구방법은 앞서 말한 메타분석이다. 메타분석(meta analysis)은 같은 주제를 다룬 여러 연구들을 종합하여 한꺼번에 분석하는 연구방법이다. 메타분석을 시행하는 학자들은 어떤 주제에 대해 실행된 실험이나 상관관계 조사 연구를 특정 키워드를 중심으로 대량으로 수집하고, 이렇게 수집된 연구들의 결과를 특정한 통계절차를 통해 분석한다. 그리고 이를 통해 어떤 주제에 대한 종합적인 식견을 제공하는데, 보통 결과는 효과크기로 표현된다. 가령 한 메타분석 연구^[각주:21]에선 남성과 여성의 수학 성취도에 차이가 있는지 분석했는데, 남녀의 수학 성취도 차이를 cohen's d로 제시했다.

 

데이터 마이닝은 2차적 연구방법과 비슷한 연구방법으로, 메타분석과 비슷하게 대규모 데이터를 모으는 연구방법이다. 데이터 마이닝은 속칭 빅 데이터(big data)를 통해 진행되는데, 기계적 절차로 모은 무지막지한 양의 데이터를 분석하여 결과를 도출한다. 비록 데이터 마이닝이 1차 연구를 분석하는 2차 연구는 아니지만, 그 규모는 거기에 필적한다. 빅데이터는 대개 서열 척도를 사용하며, 사회과학에서 자주 사용된다. 데이터 마이닝은 기술통계만 제공하기 때문에, 결과를 해석하는 데에는 연구자의 해석이 중요하다. 이외에 기록자료를 활용하는 연구(literature study)도 가능하며, 사실 이미 수집된 자료를 대상으로 진행되는 연구는 심리학에도 종종 있고 경제학에서는 아주 상당한 비중을 차지하며, 역사학은 거의 모든 연구가 기록자료에 의존한다.

 

통계적 방법론

물리과학에서는 하나의 대상만을 실험하여 결과를 내는 일이 흔하지만, 다른 분야에서는 그렇지 않다. 왜냐하면 여러 가지의 개체들이 서로 큰 개인차를 가지기 때문이다. 같은 상황에서 같은 방식으로 반응하는 인간은 거의 없으며, 개도 그렇다. 이러한 경우 과학자들은 개인차를 제거하기 위해 엄청나게 많은 수의 자료를 다뤄야 하는데, 이러한 자료를 잘 다루는 틀이 통계학에 기초한 통계적 방법이다. 통계는 확률론적으로 판정하는 수리적 논리로, 확률 개념이 지배적인 생명과학과 사회과학(어쩌면 물리학까지도)의 문제들을 다루기 적합하다.

 

통계는 기술통계(descriptive statistic)와 추론통계(inferential statistic, 추리통계)로 나눌 수 있다. 기술통계는 관찰된 자료를 정리하여 간단하게 요약하는 통계로, 평균이나 표준편차 등이 속한다. 기술통계는 대체로 관찰된 자료를 잘 대표해야 하는데, 예를 들어 평균은 가장 널리 사용되는 기술통계지만 표본의 극단치가 너무 큰 경우 중앙값이 대신 사용된다.(최빈값은 거의 사용되지 않음) 이러한 통계는 자료의 모든 항목을 볼 필요 없이 자료에서 보고한 결과가 전반적으로 어떤지 알게 해주기 때문에 통계조사 등지에서 잘 쓰이지만, 이를 무언가 유추하는데 사용할 수 없다. 추론통계는 그러한 추리가 가능한 통계로, 수집된 자료를 통해 모집단의 특성을 추론하고 예측하는 통계를 말한다.

 

수많은 가설검정과 상관관계 분석, 회귀분석이 추론통계에 속하며, 대부분의 과학적 통계활용이 추론통계를 활용하지만 모집단의 특성을 담기 위해 그만큼 신중하게 표본 수집이 이뤄져야 한다. 성별과 인종, 문화권, 나이대가 비슷하게 포함되는 표본을 대표표집(representative sampling)이라고 하며, 이러한 표본이 제일 좋다. 모든 사람들이 표본으로 추출될 확률이 동일한 랜덤추출(random sampling)을 하면 대표표집을 달성할 수 있지만, 실제 실험에서는 단순히 실험 참가에 응하는 순서로 표본을 추출하는 경우가 많다. 학자들은 이러한 한계를 표본을 늘려서 해결하거나, 인터넷 설문^[각주:22]을 이용하여 극복하고자 한다.

 

척도(측정)

통계적 방법은 사용되는 측정에 따라 달라진다. 측정이 달라지는 이유는 측정하는 변수가 달라지기 때문이다. 어떤 변수는 양적인 크기를 가지는 양적변수인 반면, 어떤 변수는 성별이나 지역처럼 양적인 크기가 없는 질적변수이다. 또한 어떤 변수는 실수처럼 각 값들이 연속으로 이어지는 연속변수인 반면, 어떤 변수는 자연수처럼 서로 불연속적인 비연속변수이다. 어떤 변수가 양적인 크기를 가지는지, 또 서로 연속적으로 이어지는지의 특성은 변수에 대한 서로 다른 측정 수준(측도)을 요구하며, 이에 따라 측정 수준은 아래처럼 총 5가지(혹은 4가지)로 나뉜다.

 

1. 명목(명명) 척도(norminal scale): 양적 차이 없이 서로 구별되는 질적 변수의 경우. 명목 척도에서 측정하는 변수는 크기를 가지지 않으며 질적변수이다. 
2. 서열 척도(ordinal scale): 양적 크기를 지닌 질적변수의 경우. 각 측정치는 서로 크기에 따라 차이가 나지만, 각 측정치간 양의 차이는 일정하지 않다. 즉 서열 척도에서 1번과 2번의 차이는, 2번과 3번의 차이와 동일하지 않다.
3. 등간(구간) 척도(interval scale): 양적 크기를 가진 양적변수의 경우. 등간성이 확보되기 때문에 각 측정치간 차이가 일정하다. 그러나 영점이 인위적으로 설정되어 있으며 따라서 절대적인 영점과 다르다. 셀시우스 온도가 대표적인 등간 척도이다.
4. 비율 척도(ratio scale): 절대적 영점이 존재하는 양적 변수의 경우. 비율 척도로 측정하는 변수는 양적 크기를 가지고 연속적이며, 절대적인 0을 정의할 수 있다. 대표적인 예로 캘빈온도가 있다. 다만 구간을 정의하는 단위에 차이가 있을 수 있다.
5. 절대 척도(absolute scale): 구간을 정의하는 단위에 차이가 없는 경우. 길이는 절대적인 0이 존재하는 양적변수지만, 선택하는 단위(미터, 피트 등에 따라 다른 값이 나타난다. 하지만 자연수의 크기를 갖는 변수는 단위에 따른 수치 차이가 존재하지 않는다. 이러한 변수가 절대 척도에 해당하는데, 통계적 방법의 적용에서 비율 척도와 차이가 없기 때문에 보통 비율 척도와 동일시된다.

 

명목 척도와 서열 척도는 연속되지 않기 때문에 사칙연산을 사용할 수 없으며, 따라서 오직 특수한 통계적 기법만 사용할 수 있다. 반면 등간 척도는 값이 연속되기 때문에 덧셈이 가능하나, 절대적인 0이 없기 때문에 각 값이 상대적인 크기만을 보여주며 때문에 곱셈이 불가능하다. 사실 같은 이유로 덧셈도 엄밀히 말하면 불가능하나, 덧셈 법칙은 성립하기 때문에 학자들은 등간 척도에서도 덧셈이 가능한 것으로 간주한다. 비율 척도에는 거의 모든 통계적 기법이 적용가능하기 때문에, 실험에서의 측정은 가급적 비율 척도를 사용할 것이 권장된다.

 

리커트 척도(likert scale)

리커트 척도는 미국의 사회심리학자 리커트가 고안한 척도로, 측정하는 대상을 0에서 특정 값(보통 6. 이런 경우 6점 척도라고 한다) 중 하나로 평가하는 척도이다. 주로 개인의 신념이나 주관을 측정할때 사용되며, 이 경우 피험자는 질문 문항이 자신의 신념과 일치하는 정도를 0(매우 아니다)에서 6(매우 그렇다) 사이로 평가하여 체크한다. 사용된 가짓수에 따라 x점 척도라고도 불리며, 심리학과 사회과학에서 절찬리에 쓰이는 방법이다. 특히 심리학에서 가장 강력한 측정도구인 MMPI와 이를 비롯한 수많은 측정도구들이 리커트 척도를 사용한다.

 

리커트 척도가 어떤 척도에 속하는지에 대해 많은 논쟁이 있다. 간단하게 볼때 리커트 척도는 서열 척도로 보인다. 왜냐하면 각 값들의 차이가 균일하지 않아 보이기 때문이다. 그러나 다른 식으로 생각해보면 각 값들의 차이는 균일해 보인다. 애초에 같은 선을 정확히 5등분했으며 각 값들의 차이도 균일하지 않을까? 현재 통계학자들과 심리학자들은 리커트 척도를 등간 척도로 다뤄도 문제없다고 보고 있으며, 여기에는 리커트 척도가 등간 척도일 경우 각종 통계적 분석을 수월하게 수행할 수 있다는 저의가 깔려있다. 비록 학계의 정설이 리커트 척도를 등간 척도로 상관없다는 쪽이지만, 아직도 여기에 반대하는 많은 학자들이 있다. 이중 어느 사회심리학자는 리커트 척도를 폐기해야 한다고 주장하며, 리커트 측정치를 포함한 회귀곡선을 'dangerous curve'라 부르며 매우 취약한 분석이라고 비판한다.

 

표본

표본(sample)은 모집단에서 임의적으로 추출된 일련의 시행들이다. 거의 대부분의 연구들은 모집단이 아닌 표본을 대상으로 연구하며, 통계적 방법론도 표본을 분석하여 모집단의 특성을 추론하는 것을 목표로 한다. 표본추출도 하나의 시행으로 해석될 수 있는데, 여기서 가능한 모든 표본들로 구성된 표본공간을 정의할 수 있으며 이때 한 표본은 하나의 시행이자 사건인 표본점이 된다. 그리고 이러한 표본에서 얻어지는 표본평균, 표본분산 등은 표본에 따라 그 값이 달라지는데, 이러한 변수들을 확률변수라 한다.

 

확률변수를 함수로 표현하면 확률밀도함수가 되는데, 확률밀도함수는 여러 분포를 가질 수 있다. 특이한 것은 표본평균의 평균으로, 표본평균의 평균은 모집단의 형태와 상관없이 특정한 값을 갖는다. 이를 중심극한정리라 하는데, 중심극한정리에 따르면 표본평균의 평균은 모집단의 평균과 일치하고, 표본평균의 분산은 모집단 분산을 각 표본의 원소 개수로 나눈 것과 일치한다. 정확히 말하면 표본평균을 구성하는 원소의 수가 적으면 표본평균의 평균이 모집단의 평균과 비슷해지지만, 원소의 수가 30이 넘으면 충분히 모집단과 비슷해지며 원소 수를 무한으로 확장하면 모집단의 평균과 일치한다. 이는 분산도 마찬가지고, 표본평균의 분포는 정규분포와 일치하는데 이도 원소 수가 30이 넘어가면서 정규분포에 매우 근사해진다. 이 놀라운 발견은 과학자들이 30이라는 매우 적은 수로 모집단에 도달할 수 있게 해주었고, 통계적 가설검정의 가능성을 열어주었다. 

 

그래프

그래프(graph)는 어떤 통계적 측정치를 설명하기 위해 사용되는 방법으로, 통계치를 그림으로 보여주는 방법이다. 인간은 시각적인 자극을 더 수용하기 쉽고 자료의 나열은 가독성이 떨어지기 때문에 그래프는 결과를 보여주기 위해 많은 과학분야에서 애용된다. 하지만 그래프에서 보여지는 차이가 실제로 얼마정도의 차이인지는 쉽게 알수 없기 때문에 이 차이를 알려주는 다른 수적 지표가 같이 제공되는게 좋다. 그래프가 사용되는 연구가 어떤 변수를 사용했는지에 따라 그래프의 종류가 달라지며, 종류에 따라 그래프를 그리는 법도 달라진다.

 

그래프를 그릴때 일반적으로 x축에는 독립변수를, y축에는 종속변수를 넣는다. 즉 그래프의 가로는 서로 다른 표본을 배치하고, 그래프의 세로는 이들 집단이 측정한 양을 얼마나 가지고 있는지 보여줘야 한다. 각 축에는 측정단위를 기입해야 하며, 눈금을 적절하게 조정하여 각 집단의 차이를 적절하게 보여줄 수 있도록 해야한다. 보통의 경우 각 표본이 가진 값들의 최소-최대 범위를 그래프의 아래-위의 상한선으로 정하며, 남는 부분은 물결표시를 하거나 아예 영점에 0이 아닌 값을 기입하여 생략한다. 변수의 속성과 그래프의 목적에 따라 그래프를 막대그래프, 선그래프, 히스토그램, 꺾은선그래프, 누가백분율도표로 나눌 수 있는데, 후자로 갈수록 연속변수를 표현하는데 적합하다.

 

그래프의 종류

막대그래프는 가장 널리 쓰이는 그래프로, 질적이고 명목적인 변수를 사용할때 사용된다. 그래서 사회조사를 보도하는 언론이나 통계조사에서 자주 사용되며, 원형으로 각 범주의 빈도수를 보여주는 원그래프(파이차트)도 막대그래프에 속한다. 막대그래프를 그리려면 먼저 조사된 범주를 가로에 나열하는데, 기타나 무응답 항목의 경우도 나름의 정보가치를 가지기 때문에 같이 나열한다. 이후 각 범주에 해당하는 도수를 계산하고, 가로세로 비율이 3:2이나 4:3이 되도록 세로축을 그린 후 각 범주가 가진 도수를 막대로 그려넣는다. 이후 세로축의 단위를 기입하고 제목을 붙여주면 막대그래프가 완성된다.

 

막대그래프. 질적이고 명목적인 범주의 빈도를 조사한다.

선그래프는 양적변수이나 실수가 아닌 변수를 사용할때 사용된다. 즉 시험점수처럼 자연수 단위인 양적변수가 선그래프에 적합하다. 선그래프는 엄연히 꺾은선그래프와 다른 것으로, 선기둥을 통해 도수를 표현한다. 선그래프의 범주는 특정값으로, 가령 100점 만점에서 89점이 선그래프에서 표현되는 범주이다. 선그래프를 그릴때는 먼저 자료가 지닌 모든 수를 열거하고, 각 수의 도수를 계산한 다음, 막대그래프에서 하듯이 세로축을 긋고 도수를 선으로 그려넣으면 된다. 이후 각 축에 단위를 넣고 제목을 붙이는 것은 모든 그래프가 동일하다. 선그래프는 각 수의 도수를 모두 표현하기 때문에 점수의 범위가 넓어지면 사용하기 어렵고, 무응답을 표현할 방법이 없기 때문에 무응답에 취약하다. 일반적으로 선그래프는 드물게 보인다.

 

선그래프. 각 날짜에 해당하는 확진자수가 기록되어 있다. 누적확진자 그래프는 선그래프가 아니라 꺾은선그래프이다.

히스토그램은 선그래프 대신 주로 쓰이는 그래프로, 양적변수(연속이든 불연속이든)를 표현할때 주로 사용된다. 히스토그램은 얼핏 보면 막대그래프와 구분할수 없지만. 자세히 보면 막대가 모두 붙어있어 양적변수를 사용함을 알리고 있다. 히스토그램에서 사용하는 범주는 구간인데, 가령 80점-90점 사이의 구간이 범주로 지정되는 방식이다. 히스토그램에서는 각 값에 대해 진점수(true score)를 가정하는데, 진점수는 측정도구를 비롯해 여러가지 문제로 인해 실제 범주의 값이 완벽하게 측정되지 못하는 현상이다. 예를들어 우리가 일반적인 밀리미터 자로 길이를 측정한다면, 그 값이 항상 밀리미터까지 나타나서 마이크로미터 단위까지 실제 길이를 보여주지는 못할 것이다. 그렇기 때문에 히스토그램을 사용할때는 각 값이 고정된 하나의 값이 아니라 특정 구간 내의 값을 가진다고 표기하는데, 이 구간은 측정단위와 같은 크기를 가진다. 그래서 센티미터 자로 길이를 측정했을때 길이가 2cm라면, 진점수는 1.5cm-2.5cm로 표현된다.

 

히스토그램. 막대가 모두 붙어있다.

히스토그램이 선그래프에 비해서는 표현상 좋은 점이 많지만, 위 그림에서 보듯이 추세를 정확히 보여주기에는 어렵다. 특히 위의 히스토그램을 보면 4분대와 8분대에서 도수가 두드러지게 상승하는데, 이를 이봉분포라 한다. 이봉분포는 정확한 추세를 보는데 방해가 될 수 있기 때문에, 많은 학자들은 꺾은선그래프로 양적변수를 표현한다.

 

꺾은선그래프(polygon, 절선도표, 도수분포다각형도표, 빈도분포다각형도표)는 양적이고 연속적인 변수를 표현할때 사용한다. 꺾은선그래프는 각 도수를 나타내는 점들을 선으로 이어 도수를 표현하는데, 도수의 변화량에 대한 기울기를 보여주기 때문에 히스토그램보다 값의 변화 추이를 보는데 적합하다. 구간을 설정하는 방법은 동일하다. 다만 하한구간에서는 하한값을, 상한구간에서는 상한값을 기준점으로 정한다. 둘 이상의 집단이 각 변수에서 어떤 차이를 보이는지도 꺾은선그래프로 표현할 수 있는데, 이때 하나는 실선, 하나는 점선을 사용하며 색을 통해서도 구분할 수 있다. 이렇게 비교하는 경우 두 집단이 보이는 차이의 양상을 어느정도 알 수 있다.

 

꺾은선그래프. 두 변수가 연도마다 어떻게 차이를 보이는지 표현되어 있다.

1종 오류와 2종 오류

1종 오류(type α error)와 2종 오류(type β error)는 통계 결과를 해석할때 나타나는 오류이다. 자료를 수집하여 통계를 가설검정을 하면 특정 값이 나오는데 이 값은 특정한 p값을 가진다. 여기서 연구자는 아마 영가설을 기각하거나, 기각하지 않을 것이다. 1종 오류는 영가설이 옳은데도 불구하고 영가설을 기각하는 경우이다. 반대로 2종 오류는 영가설을 기각해야 하지만 기각하지 않는 경우이다. 신약 실험을 예로 들면 돌팔이 약을 실제 효과가 있다고 착각하는게 1종 오류, 명약을 돌팔이라고 착각하여 버리는게 2종 오류이다. 어떤 통계연구를 수행하던 저 두개의 오류는 피할수 없기 때문에 학자들은 오류를 완전히 없애기보단 적절히 통제하려고 한다. 예를 들어 학자들은 보통 p<.05이면 영가설을 기각한다. 이는 특정 실험결과가 우연히 나타날 확률이 5% 이하이면 영가설을 기각한다는 말인데 이는 필연적으로 1종 오류를 일으킬 가능성 5%를 일으킨다. 이런 방법을 통해 과학자들은 오류를 완전히 없애지는 못하더라도 1종 오류를 일으킬 가능성을 최소화할수 있다.

 

1종 오류를 줄일지 2종 오류를 줄일지는 실시하는 대상마다 기준이 다르다. 대부분의 과학계에선 1종 오류를 줄이는데 초점을 둔다. 과학은 특정 가설이나 이론을 엄밀하게 증명할것을 요구하기 때문에 거짓 가설을 증명하는 1종 오류를 최소화하고자 한다. 이는 사법 분야도 비슷하다. 형사소송법은 백 명의 범죄자를 놓치더라도 한 명의 무고한 사람을 잡지 않을 것을 요구하기 때문에 1종 오류에 과학계보다 훨씬 민감하다. 무죄추정의 원칙은 1종 오류에 대한 극단적인 대응책이라 볼 수 있다. 하지만 진단의학의 경우, 병을 잘못 짚는 한이 있더라도 위험한 병을 놓쳤다가는 환자의 건강에 지대한 해를 미치기 때문에 2종 오류를 줄이고자 최선을 다한다. 의사들이 따르는 히캄의 격언(Hickam's dictum)은 처음엔 환자가 거의 모든 병을 가지고 있다고 가정하라고 조언한다. 이 격언을 따르면 무수한 1종 오류를 범하겠지만 적어도 암세포를 놓칠 일은 없다.

 

 

3.실험(experiment)^[각주:23]

실험은 변수를 인위적으로 조작하여 인과관계의 여부를 알아보는 기법이다. 이미 앞에서 보았듯 상관관계만으로는 인과관계를 유추할 수 없으며 인과관계를 알아보기 위해서는 특별한 방법이 필요하다. 실험은 서로 인과관계에 있을것이라 예상되는 두 변수중 원인으로 보이는 변수를 인위적으로 조작하여 다른 변수가 변하는지 알아보는 방법이다. 만약 당신이 와이파이 유무와 인터넷 속도의 인과관계를 실험한다면, 와이파이의 유무를 인위적으로 끄거나 켤때 인터넷 속도가 변하는지 살펴볼 것이다. 이처럼 한 변수가 변할때 실제로 다른 변수가 영향을 받아 변하는지를 인공적인 상황을 만들어 관찰함으로써 과학자들은 두 변수의 인과관계를 알아볼 수 있다.

 

실험을 시작하려면 먼저 실험에 대한 몇가지 기본 지식을 알아야 한다. 먼저 기본적으로 실험은 조작을 통해 시작된다. 조작(manipulation)은 하나의 변수를 인위적으로 조작하는 것을 말한다. 실험의 목적은 원인으로 보이는 변수를 조작할때 실제로 연구하는 다른 변수가 변하는지 관찰하는 것인데, 이때 다른 변수에 영향을 끼치는 변수를 독립변인(independent variable, 독립변수, 예측변수^[각주:24])이라 하고, 영향을 받아 변하는 변수를 종속변수(dependent variable, 준거변수)라 한다. 보통 독립변수는 X, 종속변수는 X라고 표현되며 가끔식 상수를 표기해야 하는 경우 상수를 C로 표기한다. 실험자는 독립변인을 조작하여 종속변수가 변하는지를 관찰한다. 여기서 실험자는 실험을 진행하는 연구자를 말하고, 반면에 인간을 대상으로 한 실험에서 실험에 참여하여 독립변인의 조작을 받는 사람을 피험자라고 한다. 최근에는 연구윤리의 관점에서 피험자의 권리를 존중하기 위해 피험자를 실험 참여자라고 부르자는 주장이 일고 있다.

 

이때 실험자들은 종속변수의 변화가 정말 독립변인에 의한 것인지 확인할 필요가 있는데, 왜냐하면 단순히 실험대상이 되었다거나 그냥 시간이 지나면서 변화가 일어날 수 있기 때문이다. 인과적으로 대부분의 사람은 1L의 물을 매일 마시면 150안에 사망하는데, 이는 물이 해롭기 때문이 아니라 그냥 사람이 150년을 못살기 때문이다.(지금은 그렇다) 그리고 생물이나 인간은 개개인이 너무 특이하게 다르기 때문에 종속변수의 변화가 단지 그 개인에게서만 일어나는 일일수도 있다. 그래서 실험자들은 연구하는 모든 대상이 보편적으로 변하는지 알기 위해 적어도 30개 이상의 대상에게 실험하며, 변화가 독립변인의 영향을 일어났는지 알아보기 위해 독립변인에 조작이 가해진 실험집단(experimental group)과 독립변인에 조작이 가해지지 않은 통제집단(control group, 통제군, 대조군)을 나눈다. 

 

실험을 할때 무엇보다 중요한 것은 적절한 통제이다. 앞서 말했듯이 실험은 두 변인간 인과관계를 알아보기 위해 행해진다. 하지만 만약 종속변수의 변화가 독립변인이 아닌 다른 변인에 의해 초래된다면 실험은 무용지물이 될 것이다. 가령 새로운 고혈압약의 효과를 시험하기 위해 피험자에게 약을 투여했는데, 피험자가 다른 이유로 운동을 열심히 하거나 반대로 게을러진다면 혈압은 오르거나 낮아질 것이다. 혈압이 낮아진다면 좋은 결과이지만 신약의 효능은 알수 없게 되버린다. 이러한 외부변수를 가외변수(confounding variable, 가외변인, 혼입변인)이라 부르는데, 이러한 가외변인이 종속변수를 임의로 조작해버리면 실험이 무용지물이 되기 때문에 실험자는 독립변인과 종속변수를 제외한 모든 변수를 최대한 통제해야 한다. 실험집단과 통제집단은 가능한 한 모든 상태에서 동일해야 하며, 오로지 독립변인에서만 차이가 나타나야 한다. 

 

무선할당(random assignment, 무선표집)은 인간을 대상으로 한 연구에서 외부 변수를 통제하는 방법 중 하나이다. 무선할당을 실시하는 실험에서 피험자가 실험집단이나 통제집단에 들어갈 확률은 50%에 근접한다.(50%가 가장 이상적이다) 왜냐하면 실험자들이 여러가지 방법을 통해 피험자를 무작위로 배정하기 때문이다. 만약 피험자를 무작위로 배정하지 않으면 어떻게 될까? 키순으로 피험자를 배정한다면 키 큰 피험자와 작은 피험자의 차이(키, 용적, 신체적 자신감 등)가 외부 변수로 작용할 수 있다. 성적 순으로 배정한다면 역시 성적의 차이가 독립변인의 효과를 알 수 없게 만들어버린다. 이렇듯 어떤 기준으로 피험자를 배정하면 그 기준이 다른 변수로 작용할 수 있기 때문에 피험자는 무작위로 배정되어야 한다. 대개 학자들은 난수표나 난수발생기를 사용하여 피험자를 배정하며, 지금은 통계 프로그램을 통해 피험자를 배정한다. 한편 집단에 배정된 피험자는 자신이 실험집단인지 통제집단인지 알지 못하는데, 알려주지 않는 이유는 밑의 요구특성과 관련되어 있다.

 

요구특성^[각주:25]

요구특성(demand characteristics)은 실험 결과를 왜곡하는 요인 중 하나로, 실험대상으로 하여금 어떤 방향이나 방식으로 움직이게 하는 특성이다. 예를 들어 심리학 실험에서는 피험자가 실험자의 눈치를 봐서 실험자가 추구하는 가설을 입증하는 방식으로 행동하는 경우가 있다. 이렇게 되면 독립변인이 아니라 다른 변인(눈치) 실험자의 주관이 알게 모르게 반영되어 실험결과가 왜곡되는데 을 할때 피험자가 눈치를 봐서 실험자가 추구하는 가설대로 행동하는 것이 요구특성이 작용한 결과이다. 요구특성은 대개 연구자나 피험자의 주관에 의해 나타나는데, 이러한 주관은 피험자로 하여금 자신의 행동을 특정한 방향(실험과 관계없는)으로 왜곡하여 실험을 망친다. 주로 의학이나 심리학처럼 인간을 대상으로 하는 연구에서 나타나지만 동물 연구나 물리학 연구에서도 나타날수 있는데, 대개 실험통제를 충실히 하지 못하여 연구자의 주관이 개입된 경우에 나타난다. 초심리학 지지자들의 RNG 연구결과가 대표적인 이러한 요구특성의 예시이다.(사실 초심리학의 거의 모든 결과가 요구특성의 산물이다)

 

요구특성을 방지하는 가장 좋은 방법은 이중맹검 실험(double-blind experiment, 더블 블라인드, 이중맹목)이다. 단일맹검 실험은 피험자를 통제하는 실험으로, 단일맹검 실험에서 피험자는 자신이 통제조건인지 실험조건인지 알지 못한다. 거의 모든 심리학자와 의학자가 단일맹검 실험을 지키고 있지만 단일맹검 실험은 연구자의 주관을 통제하지 못한다. 이중맹검 실험은 연구자도 속이는 실험으로, 이중맹검 실험에서 연구자는 자신이 대하는 피험자가 통제조건인지 실험조건인지 알지 못한다. 피험자가 통제조건인지 실험조건인지는 컴퓨터가 무작위로 배분하며 사람들은 그저 따르기만 한다. 이중맹검 실험은 요구특성을 가장 효과적으로 통제하는 방법이며, 약의 임상시험에서도 이중맹검 실험이 행해진다. 많은 유사과학 지지자들은 이중맹검 절차 자체가 잘못되었기 때문에 자신들의 주장이 입증되지 않는다고 주장한다. 이를 돌려 말하면 어떤 학문이 이중맹검 실험을 수용하는지 거부하는지로 이들이 신뢰할만한지 아닌지 판별할 수 있다.

 

이중맹검 실험 외에도 요구특성을 억제하는 방법은 있다. 사회과학자들은 오래전부터 자연관찰(naturalistic observation)을 통해 요구특성을 억제했다. 자연관찰은 자연스러운 상황에서 아무런 영향을 받지 않는 사람들을 관찰하는 기법으로, 아마존에서 야노마미족을 관찰하는 인류학자나 아기들이 노는 모습을 관찰하는 발달심리학자가 대표적인 예시이다. 자연관찰은 실험 조건에 의한 요구특성은 없앨수 있지만 비용이 크고, 특정한 상황을 연구하기 힘들며, 무엇보다 자연관찰에서도 연구자의 행동이 필요하기 때문에 요구특성의 위험이 잔존한다. 심리학자들은 이외에 피험자가 혼자 있게 하거나 익명을 반응하게 하여 사회적 영향의 효과를 줄이거나 아예 요구특성이 적게 반영되는 행동을 측정하여 요구특성을 피하고자 한다.

 

실험자 편향^[각주:26]

요구특성은 여러가지 실험자 편향(experimental bias, observer bias, expectancy effect, 관찰자 편파, 관찰자 편향, 연구자 기대 효과, 기대 효)의 하나이다. 실험자 편향은 과학자들이 대상을 측정할때 측정치가 실험자의 가설과 부합하도록 편향되는 현상을 말한다. 실험자 편향은 가설의 진위여부와 관련없이 일어난다. 이러한 현상은 쥐를 연구한 한 심리학 실험에서 잘 드러났는데,^[각주:27] 이 실험에서 연구자들은 쥐가 미로를 학습하는데 걸리는 시간을 측정하였다. 연구를 진행한 한 집단의 학생들은 자신들이 연구하는 쥐가 미로학습이 더디도록 양육된 쥐라는 얘기를 들었고, 다른 집단의 학생은 자신들이 맡은 쥐가 미로학습을 효율적으로 하도록 양육된 쥐라는 얘기를 들었다. 실험결과 후자 집단의 쥐가 전자 집단의 쥐보다 미로학습이 빨랐다는 결과가 보고되었다. 하지만 쥐들은 모두 같은 우리에서 나서 같은 곳에서 자란 똑같은 놈들이었다. 이처럼 실험자 편향은 연구자의 기대에 의해 실제로 옳지 않은 가설을 옳다고 결론내리도록 만든다. 요구특성이 그렇듯이 이중맹검 절차가 실험자 편향을 가장 강력하게 예방한다. 

 

실험자 편향이 일어나는 이유로 2가지가 제시되었다. 먼저 연구자의 기대가 측정 자체에 영향을 줄 수 있다. 가령 위의 실험에서 쥐의 미로통과속도를 스톱워치로 측정한다고 해보자. 스톱워치를 쥐의 앞발이 결승을 넘었을때 눌러야 할까, 아니면 꼬리까지 통과했을때 눌러야 할까? 대부분의 사람들은 그 중간 어디에서 누를 것이다. 그러나 이처럼 모호한 규정 아래서 사람들은 약간씩 자신의 가설에 부합하는 쪽으로 선택(빠른 쥐 집단에서는 매우 신속하게 스탑)할 공산이 크다. 마찬가지로 스톱워치가 18.4999999초를 가리킨다면 빠른 쥐 집단에서는 이를 19초로 기록할 가능성이 크다. 또한 측정치들을 정리하다보면 한두개씩 오류가 날수 있는데, 무의식적 처리(이중처리과정 이론에 따라)가 작동하는 일(대개 반복되고 자동적이며 지루하다)에서 이런 오류는 대개 확증 편향에 노출된다. 쥐의 골인에 반응하는 반응시간에서 실수로 기록을 지웠을때의 대처까지 측정 자체에 영향을 주는 요인들은 수없이 있다. 그리고 모호한 상황은 사실이 아니라 사람의 믿음이 강해지는 가장 좋은 순간이다. 

 

실험자 편향은 측정 오류뿐만 아니라 아예 연구대상 자체가 왜곡된 결과일수 있다. 다시 쥐를 연구한 사례로 돌아가 보자. 똑똑한 쥐 집단의 학생들은 어쩌면 다른 집단에 비해 쥐를 좀더 잘 대해줬을지도 모른다. 쥐가 똑똑하다는 말은 그만큼 사람을 잘 이해한다는 말로도 해석될수 있기 때문에 학생들은 똑똑한 쥐들에게 이름을 붙여주거나 자주 놀아줄수도 있다.(이는 평균적으로 더 많은 자극과 더 높은 학습능률로 이어진다) 그리고 멍청한 쥐 집단에 비해 쥐가 잘못된 길로 들어설때 소리를 치거나 멘트를 던질 가능성이 크다.(이는 쥐에게 잘못된 경로에 대한 청각적 신호를 제공한다) 비슷하게 전라도에 위치한 어느 군부대에서는 칭찬을 들으면 식물이 잘 자란다는 잘못된 실험결과를 병사들에게 보여주기 위해 한 화분에는 '칭찬해주세요' 팻말을, 다른 화분에는 '욕해주세요' 팻말을 걸고 지통실 바깥벽에 비치하였다. 실험결과 간부의 예상대로 칭찬 조건의 식물이 더 잘 자랐는데 이는 칭찬의 효과가 아님이 분명했다. 실험이 시작되자 병사나 간부들이 담뱃재나 쓰레기를 욕 조건 화분에 자주 던졌기 때문이다. 어차피 죽을게 확실한 화분이었기 때문에 관리도 되지 않았고 담뱃재만 가득했다. 이처럼 연구자의 기대가 실험에 반영되는 경우 연구자는 통제집단과 실험집단을 다르게 대우할 가능성이 있고, 이 가능성은 주의하지 않으면(간혹 주의를 해도) 대개 편향된 결과로 이어진다.

 

외적 타당도^[각주:28]

실험자 편향을 적절히 배제하고 외부변인의 간섭도 최소화한 실험은 이제 인과관계를 알아보기에 딱좋다. 이러한 조건이 제대로 갖추어져 두 변인의 인과관계 여부를 정확하게 추론하게 해주는 정도를 내적 타당도(internal validity)라 하는데, 내적 타당도가 높을수록 좋은 실험이다. 하지만 아무리 내적 타당도가 높더라도 실험결과를 일반적인 상황에 적용하려고 한다면 그전에 먼저 외적 타당도(external validity)를 고려해야 한다.

 

외적 타당도(전집타당도, 생태학적 타당도)는 실험에서의 두 변인이 일반적이며 보편적인 상태이고, 현실을 반영한 방식으로 조작적 정의가 되었는지의 정도이다. 쉽게 말하면 외적 타당도는 실험이 현실세계와 비슷한 조건에서 실시되었는지의 정도이다. 절대역치가 별로 중요하게 여겨지지 않는 이유가 외적 타당도이다. 절대역치는 지각심리학에서 사용하는 개념인데 인간이 감지할 수 있는 최소한의 자극을 말한다. 이를 찾아내기 위해 심리학자들은 어둡고 폐쇄된 실험실에서 피험자를 고정한 상태로 실험을 진행하는데, 여기서 얻어지는 지식은 절대역치에 관한 이론에는 도움이 되겠지만 실제 사람이 자극을 지각하는지에 대한 정보는 많이 주지 못할 것이다. 왜냐하면 사람들은 보통 밝고 넓은 공간에서 쉴새없이 움직이기 때문이다. 그래서 '인간은 48km 밖의 촛불을 볼수 있다.'는 연구결과는 실제적으로 아무 쓸모가 없는데,(낮이면 48m밖도 못본다) 이것이 외적 타당도가 낮기 때문이다. 외적 타당도는 표본이 모집단을 충분히 대표하지 못하거나, 실험실에서의 대상의 반응이 실제 환경에서의 반응과 다른 경우 나타나기 쉽다.

 

외적 타당도가 낮으면 무슨 문제가 생길까? 많은 실험들은 현실적인 상황을 고려하지 않은채 진행된다. 대표적인 경우가 위의 절대역치 실험이다. 저 실험에서 피험자가 처하는 조건은 별로 현실적이지 않다.(심문받는 군인이 아니고서야) 비슷하게 많은 사회과학자들은 최후통첩 게임으로 인간의 이타성을 연구하지만, 실제 협상이나 사회적 상호작용은 최후통첩 게임과 매우 다르다. 사람들은 대개 여러 이해관계가 걸려있고, 서로가 다른 정보를 가지고 판단하며, 협상결과도 매우 다양하다.(기본금을 불려서 모두가 이득을 볼수도 있고 핵단추를 눌러 폴아웃을 찍을수도 있다) 그렇기 때문에 한 사람이 최후통첩게임에서 양보를 많이 했다고 실제 사회생활에서도 착한 사람일 것이라는 추측은 매우 허황되다. 그래서 실제 현장과 관련된 분야에서는 외적 타당도가 중요한데, 외적 타당도를 높이려면 실험을 할때 다음과 같은 점을 고려해야 한다.

 

• 모집단과 동일한 표본
• 연구결과가 연구가 시행된 맥락과 다른 맥락에서 실현가능한지 여부
• 결과가 다른 실험방법을 통해서도 재현될 수 있는지 여부
• 사회적/시대적 요인: 이건 사회과학에서 중요하다.

 

여기서 오해하지 말아야 할 사항은 외적 타당도가 떨어진다고 실험에 하자가 있는건 아니라는 사실이다. 정밀한 실험이 외적 타당도가 낮은 이유는 실험의 결함보다는 대개 현실이 너무 복잡하기 때문이다. 최후통첩 게임을 사용하는 연구자들은 대개 인간의 이타성에 대한 자신의 이론을 검증하는게 목표이다. 반면 실제 협상에는 이타성뿐만 아니라 이기성, 정보 불평등, 분위기, 첫인상, 자본 등 무수한 요인이 개입한다. 세상은 인드라망처럼 거의 무한한 요인들이 엮여있기 때문에 현실적인 상황에서 두 변인의 인과관계를 파악하기는 매우 힘들다. 다른 변수를 통제하고 두 변인의 관계만을 파악하기 위해선 현실을 왜곡하더라도 관련된 다른 변수들을 내쳐야 하며, 설령 실험이 비현실적인 상황을 가정하더라도 이론 검증에는 문제가 없다. 외적 타당도도 같이 높다면 물론 좋겠지만 외적 타당도가 낮은 실험도 충분히 훌륭한 실험이다.^[각주:29] 

 

설령 현실적인 가정에서 이뤄진 실험일지라도 외적 타당도는 낮을수 있다. 가령 종교에 따라 이타성에 차이가 있는지 알아보기 위해 인근 식당에서 개개인이 주는 팁의 양을 측정한다고 하자. 실험은 매우 현실적인 상황에서 일어나지만 결과를 일반화하기 전에 주의해야 할 사항이 있다. 종교에 따른 이타성을 연구하는 사람들은 주로 대학원생이고, 대학원 근처 식당은 주로 대학생이 이용한다. 이들은 보통 돈이 적고, 종교성이 약하며, 어리고, 때에 따라 다른 식당을 이용한다.(김밥천국 단골이더라도 데이트할때는 다른데로 간다) 만약 연구자가 학생식당에서 사람들을 관찰한다면, 연구자들은 일반적인 사람보다는 돈이 적고, 진지한 주제에 관심이 없고, 젊으며, 남의 신경을 덜 쓰는 사람들을 관찰할 것이다. 그러한 관찰에서 얻은 연구결과를 다른 사람, 예컨데 부자나 진지충, 노인, 로비스트에 적용하기는 상당히 힘들 것이다. 이처럼 현실적인 상황에서 실험을 하더라도 표본이 편향되어 있으면 결과도 편향되어 있을수 있다. 이러한 상황은 보편적인 설명을 지향하는 과학에 별로 좋지 못하다.

 

과학자들은 이를 예방하기 위해 무선표집(random sampling)을 사용한다. 무선표집은 연구하고자 하는 집단의 개체 모두가 모두 동등한 확률로 표본에 포함되도록 하는 기법이다. 여론조사원들은 전화번호부를 뽑은 다음 난수표를 이용해 전화번호를 무작위로 선정하여 설문조사를 진행하는데 이런 조사가 대표적인 무선표집이다. 하지만 피험자를 모집하기 힘든 의학이나 심리학에서는 무선표집을 잘 사용할수 없다. 또한 한번 실험하는데 탱크 몇대값이 나가는 가속기 실험은 두번 이상 실험을 하기가 극히 힘들다. 그렇다면 표본 편향에 의한 실험 왜곡은 피할수 없는가?

 

먼저 알아야 할 사항은 편향된 연구라도 가치가 없지는 않다는 것이다. 사례연구(case study, case method, 케이스 스터디)는 한 개인, 한 개체를 연구하는 과학적 방법이다. 사례연구를 하는 경우 피험자는 한명이거나 많아봐야 30을 못넘는다. 그러나 이런 연구에서 귀중한 자료가 나타나는 경우가 종종 있다. 기억에 대한 많은 지식들은 주로 HM이라는 환자를 연구하여 얻어졌으며,입자가속기를 이용한 실험도 한번 할때마다 수없이 정보가 쏟아진다. 2020년 초 유행하는 신종코로나바이러스의 치료법에 대한 연구도 완치자에 대한 사례연구에서 출발했다. 물리학이나 해부학처럼 연구하는 개체간의 차이가 없거나 극히 미미한 분야에서는 편향의 가능성이 극히 낮기 때문에 표본 편향을 걱정하지 않아도 된다. 설령 의학처럼 개체간의 차이가 큰 분야라 해도, 사례연구에서 눈에 띄는 효과가 나타나면 다른 개체에서도 눈에 띄는 효과가 나타날 수 있다. 물론 이는 100%가 아니기에 더 많은 실험 연구가 필요하지만, 눈에 띄는 효과를 낸 치료법을 다른 사람에게도 시술하는 일은 매우 합리적이다.

 

또한 외적 타당도에 대한 우려와는 별개로, 실제로 많은 연구결과들은 실험에서 비롯되었음에도 불구하고 외적 타당도가 높다. 물리학 실험은 대부분 매우 통제된 환경에서 실시되지만, 그 결과는 다른 영역에서 매우 잘 재현되며 특히 공학 분야에서 요긴하게 사용되고 있다. 매우 통제된 실험에서 발견된 물리학적 법칙이 거의 모든 곳에서 재현된다는 사실은 초기 과학에 대한 반대자들을 침묵시키는데 일조하였다. 그리고 400년 후 과학의 반대자들은 이번에 심리학에서 외적 타당도와 관련한 공격을 퍼부었는데, 이들은 대부분의 심리학 연구가 특정 국가의 학생만을 대상으로 실시하기 때문에 외적 타당도가 떨어진다고 주장하였다. 그러나 실제 결과들은 한정된 표본을 대상으로 한 연구들이 매우 많은 사람들의 행동을 아주 잘 설명한다는 사실을 보여준다.^[각주:30]

 

또한 학자들은 다양한 방법으로 표본 편향문제를 해결하려고 한다. 이들은 학자'들'이기 때문에 서로 협업하여 이 문제를 해결할 수도 있다. 심리학자들은 big5라는 성격이론을 증명하기 위해 세계 각지의 연구자들이 각국에서 연구를 진행하였다. 비슷하게 진화심리학자들도 자신들의 이론이 특정 문화(미국)에서만이 아니라 인류 보편적으로 증명됨을 보여주기 위해 다른 나라들은 물론 농경사회 이전 단계의 문명을 영위하는 수렵채집 부족을 대상으로도 연구하였다. 단일 연구는 표본 편향이 나타날 가능성이 크지만, 지역, 생태, 문화, 연령 등 다양한 요소가 다른 표본을 대상으로 연구하면 표본 편향을 줄일 수 있다.

 

메타분석은 여러 연구들을 한데 그러모아 통합적으로 분석하는 기법인데, 메타분석을 사용하면 서로 다르게 편향된 표본들을 한꺼번에 분석하여 편향의 영향을 최소화할수 있다. 이외에도 연구자가 의도적으로 다양한 특성을 가진 표본을 선택하고 표본수를 늘리면 그러한 편향을 해소할 수 있다. 심리검사를 표준화하는 연구자들은 보통 900명 정도의 사람들을 나이, 성별, 소득 등이 다양하도록 해서 모집하는데, 이 표본에는 매우 다양한 배경을 가진 사람들이 균질하게 포함된다. 이런 표본은 편향이 매우 적기 때문에 다른 연구에서도 이들의 데이터를 이용하는 경우가 있다.

 

피험자내 설계

통상적인 실험은 피험자간 설계(between-subjects design)라 불린다. 이는 통상적인 실험이 피험자를 실험군과 대조군으로 나누어 서로를 비교하기 때문이다. 이 방법이 가장 좋으나, 실험군과 대조군이 표본을 모집할 때부터 달랐다면 이 방법을 적용하기는 쉽지 않다. 물론 무선할당을 통해서 그러한 위험을 제거하고는 있지만, 완전히 제거되지는 않으며 표본이 700명 정도를 넘어가면 연구결과에도 영향을 준다.^[각주:31] 그렇기 때문에 다른 학자들은 피험자간 설계 이외에 다른 방식의 실험설계를 고안하였다.

 

피험자내 설계(within-subjects design)는 동일한 집단을 처치 전과 후로 비교하는 실험방법이다. 피험자내 설계에서 피험자들은 실험 이전에 한번 측정되고, 처치 이후에 다시 한번 측정된다. 이렇게 하면 애초에 동일한 집단을 비교하는 것이기 때문에 피험자 집단이 본질적으로 달라서 오류가 발생하는 일은 피할수 있다. 그러나 이 경우 처치 효과가 보편적으로 발생하는지, 아니면 실험에 참가한 특정 피험자 집단에서만 발생하는 것인지 확실히 말할 수 없다는 단점이 있다. 때문에 기저선설계나 임상연구에서나 쓰이고 보통은 잘 쓰이지 않는다.

 

mixed design은 두 기법을 합쳐놓은 기법이다. mixed design에서 피험자는 실험군과 대조군으로 분류된다. 그리고 각 집단은 처치 전 시점에 한번 측정되고, 처치 후 시점에 다시 한번 측정된다. 이렇게 하면 처치 효과가 집단 자체의 특성 때문에 생기는지도 알 수 있고, 두 집단이 본질적으로 달라서 발생하는지도 알 수 있다. 실험설계와 통계의 복잡성때문에 이전에는 잘 쓰이지 않았지만, 최근에는 널리 쓰이고 있다. 사실 통상적인 피험자간 설계를 할때도 실험 시작 전에 측정을 하는 경우도 많다.

 

기저선설계

기저선설계는 준실험 기법 중 하나로, 조작은 가능하나 대조군을 설정할 수 없을때, 즉 피험자내 설계가 요구될때 사용된다. 기저선설계는 측정하고자 하는 변수의 기저선을 파악한 후, 처치 후에 변수가 어떻게 변화하는지는 눈으로(물로 통계적 절차도 있다) 파악하는 방법이다. 여기서 기저선은 해당 변수가 평균적으로 유지하는 수준을 말한다. 기저선설계는 소수의 사례를 대상으로 하는 경우가 많으나 꼭 그렇지는 않다. 기저선설계에서는 그래프를 많이 사용하며, 행동분석과 이상심리학에서 잘 사용된다. 

​

중다 기저선 그래프의 예시. 선은 처치의 개시/종료 시점을 의미하며, 선을 통해 처치 구간과 비처치 구간이 나눠진다.

기저선설계에는 여러 종류가 있다. 가장 기본적인 경우는 AB 설계이다. AB 설계는 기저선을 설정하는 A구간과 처치를 실시한 B구간으로 구성된다. 이때 기저선 측정은 기저선이 안정되게 나올때까지 이루어져야 한다. AB 설계는 가장 직관적이고 단순하지만, 가외변인의 영향이 너무 커서 타당도가 낮다. 이 문제를 해결하는게 ABA 설계인데, ABA 설계는 처치 후에 비처치 기간(A)을 설정한다. ABA 설계시 두번째 A구간에서 처치 효과가 감소하면 B구간에서의 변화가 처치 효과였다고 결론내릴수 있다. ABA 설계는 가외변인의 영향을 최소화하나, 의학이나 임상심리학처럼 도중에 처치를 중단할수 없는 경우에는 문제가 된다. 만약 치료의 효과를 알기 위해 치료를 중단하는 기간을 삽입한다면, 환자 가족들이 나에게 민사소송 소장을 삽입할 것이다. 이처럼 윤리적 논란(과 어쩌면 금전적 논란)이 발생하는 경우 ABA 설계는 적용할 수 없다. ABAB 설계는 처치와 휴지기가 ABAB 순으로 교대되는데, 각 기간에 피험자의 상태를 비교하여 가설을 검정할 수 있다. ABAB 설계는 ABA 설계보다도 가외변인의 영향력이 적으나, 여전히 윤리적 논란이 존재하고 강화를 처치로 제공하는 경우 처치와 휴지기의 교대가 오히려 변동비율 강화로 작용하여 연구를 망칠 수 있다.

 

중다 기저선 설계(multiple baseline design, 다중 기저선 설계)는 윤리적 논란을 해소할 수 있는 방법으로, 두개 이상의 기저선을 설정하는 방법이다. 이 방법은 중간에 휴지기가 없기 때문에 윤리적 논란이 없으며, 여기서 2개 이상의 기저선이 있다는 말에서 알 수 있듯이 여러 처치를 한꺼번에 시행할 수 있고, 처치 대신 여러 피험자나 조건, 장소로 대체할 수도 있다. 이러면 여러번 해야 할 연구를 간단하고 싸게 할 수 있으며 상호작용 효과도 볼 수도 있다. 예를 들면 2개의 질환을 앓는 환자를 치료할때 치료하기 전에 기저선1, 한 질병을 치료했을때 기저선2를 설정하고 각 질병을 치료할때 다른 질병의 병리적 상태가 어떻게 변하는지 볼 수도 있고, 피험자를 두 집단으로 나누어 기저선을 각각 설정한 후 한 집단에의 치료가 다른 집단의 기저선에 영향을 끼치는지 살펴볼 수도 있다. 그리고 어떤 치료기법을 시험할때 한 치료법을 적용한 이후를 기저선2로 설정할 수 있는데, 두 치료법이 같이 작용할때 병리적 상태가 기저선2에 비해 급격히 감소한다면 두 치료법이 상호작용한다고 볼 수도 있다.

 

이외에 준거 변경 설계(changing-criterion design)는 실행 준거가 지속적으로 변하는 설계로, 처치 구간이 여러 개 존재한다. 가령 체계적 둔감화를 실시하는 치료자들은 처음에는 약한 자극을 환자에게 주고 이후 자극의 강도를 점점 늘려가는데, 이러면 자극의 강도가 다른 여러 처치 구간이 존재하게 된다. 교차처치설계(alternation-treatment design)는 2개 이상의 처치 조건을 무작위로 실시하는 설계인데, 교차처치설계에서는 처치에 따른 기간 분류가 명확하지 않다. 가령 어떤 연구에서는 날마다 다른 처치를 무작위로 실시하고, 나중에 처치별로 효과를 모아 두 처치를 비교한다.

 

상관관계 연구^[각주:32]

상관관계 연구(correlational study)는 두 변수가 서로 얼마나 관련되어 있는지에 대한 연구이다. 인과관계가 있든 없든, 두 변수는 서로 관련되어 있을 수 있다. 상관관계 연구는 바로 이러한 관계의 존재와 강도에 대해 연구한다. 비록 상관관계 연구를 통해 인과관계를 파악할 수는 없지만, 인과관계가 존재하지 않는 경우 이를 밝힐 수 있고, 인과관계의 외적 타당도를 보장하기 더 편하다. 상관관계의 강도는 상관계수(correlational coefficient, r)로 표현하며, 상관계수는 완전히 서로 반대된다의 -1에서 관련없다의 0, 거의 동일하다의 1까지 있다.

 

 

4.질적 연구방법론

질적 연구는 실험이나 상관관계 조사처럼 정량화/수량화된 측정과 조사가 아니라 연구자 개인의 통찰이나 직관을 통해 수행되는 연구를 말한다. 즉 어떤 가설을 검증하기보다는 현상을 관찰하고 통찰하여 가설을 생성하는게 질적 연구로, 해석학적 방법이라고도 한다. 이와 대비되는 개념으로서의 양적 연구로 대표되는 기존의 과학적 방법론은 매우 성공적이지만, 인간의 주관적 경험이나 문화의 구조, 사회적 구조처럼 측정하기 모호하거나 애초에 측정이 목적이 아닌 분야의 경우 적용하기 힘들다. 그러한 분야에서 대상을 조금이나마 과학적으로 연구하기 위해 사용하는게 질적 연구방법이다.

 

질적 연구는 개인의 주관에 의지하기 때문에 과학적 방법에 비해 객관성이 심히 의심될 수밖에 없다. 실제로 몇몇 학자들은 2010년대 말 젠더 분야에서 수행되는 질적 연구가 왜곡에 매우 취약하며, 유명 학술지마저도 이러한 왜곡을 검증할 능력이 의심된다는 점을 보여주었다. 그럼에도 질적 연구는 여러 중요한 인류학적, 사회학적 성과를 안겨다 주었으며, 특히 참여관찰 연구는 제인 구달에서 보듯이 영장류 행동 연구에서도 중요한 진전을 이끌어 내었다. 질적 연구는 현상을 통찰하고 그럴듯한 가설을 만들어 냄으로써 양질의 검증할 가설을 만들수 있으며,^[각주:33] 특히 근거이론과 같은 질적 방법론은 데이터를 과학적으로 조사하기 아주 좋은 형태로 가공한다.

 

그렇기 때문에 질적 연구방법은 비록 신중해야 하지만 사회과학 분야(가끔은 영장류학까지)에서 요긴하게 쓰일수 있다. 사례 연구도 훌륭한 과학의 보조가 될 수 있듯이 질적 연구방법도 과학의 훌륭한 보조가 될 수 있다. 질적 연구방법은 매우 다양하며, 모두 각기 다른 전제와 알맞는 연구대상을 가진다. 어떤 방법론은 단순히 대상을 관찰할 뿐만 아니라 그 안에 들어가서 적극적인 조사를 벌이며, 대상을 면담하면서 개입되는 연구자의 주관과 그에 대한 반응이 또 연구대상에 포함되기도 한다. 공통적으로 질적 연구방법은 기존의 과학적 방법론에 비해 주관적이고 상황을 개별단위가 아니라 있는 그대로 총체적으로 이해하는 것을 중요시하며, 한번의 연구로 현상의 모든 것을 이해하려고 한다. 그리고 연구자와 대상의 엄격한 분리를 지향하진 않으며 이론을 검증하기보다는 이론을 만드는게 목표이다. 

 

질적 방법론은 아주 다양하다. 밑에서 제시하는 근거이론이나 현상학적 방법론도 있고, 인류학에서 애용하는 참여관찰이나 거의 200년의 역사를 자랑하는 해석학적 연구도 있다. 활동분석은 심리학자 비고츠키(vigotsky)가 제안한 방법인데, 활동분석은 언어를 비롯한 다양한 활동이 인간의 발달과 문화의 형성을 매개한다고 보고 이러한 활동이 어떻게 개인의 생각이나 문화를 형성하는지 인터뷰와 관찰을 통해 분석하는 방법이다. 아래의 표는 질적 연구방법과 양적 연구방법을 여러 차원에 따라 분류한 표이다.

 

연구방법론을 분류한 표. 모수는 과학에서의 모수성을 말한다. 대상간 분석은 집단간 비교를, 대상내 분석은 집단 내 분석을 말한다.

근거이론

근거이론은 glaser와 strauss에 의해 간호학과 보건학 분야에서 처음 제안되었는데^[각주:34] 인간이 자신의 경험을 어떻게 구조화하고 어떤 의미를 부여하는지에 초점을 맞추는 연구방법이다. 즉 인간이 자신의 경험에 대한 틀을 어떻게 머릿속에 쌓아놓는지 탐구하는 방법이 근거이론이다. 근거이론의 목적은 일반인이 특정한 자신의 경험에 대해 만드는 주관적 설명을 포착하여 이론화하는 것이고, 이러한 방법론은 간호학이나 보건학 이외에 문화심리학에서도 일부 사용된다. 근거이론은 몇십명 정도의 연구하고자 하는 대상을 인터뷰하여 실시되는데, 아래의 3단계를 거쳐 시행된다.

 

1. 개방 코딩: 연구자는 대상을 인터뷰하면서 모든 말을 기록한다. 그리고 인터뷰가 끝난 후 대상이 한 모든 말을 분석하며, 어떤 말에 어떤 의미가 있는지 낱낱히 해석하여 각주로 달아놓는다. 이러한 자료 해체과정이 끝나면, 인터뷰에서 추출된 의미들을 몇개의 공통된 범주로 묶는다.(범주화)
2. 축 코딩: 범주화가 완료되면 연구자는 이제 범주 간의 관계를 조사하기 시작한다. 어떤 범주는 같이 나타나거나 같은 맥락에서 나타날 수 있고, 다른 범주를 뒤따라 나올수도 있다. 이러한 관계를 파악하여 범주들의 관계도를 작성하는게 축 코딩이다.
3. 선택 코딩: 마지막으로 연구하는 범주들 간의 관계를 고려하여 가장 중요하게 작용하는 핵심 범주를 찾아낸다. 그리고 이 핵심 범주를 중심으로 범주들이 어떤 관계를 그리는지 관계도를 재구성한다.이렇게 되면 해당 경험에 대해 사람들이 가지는 일반적인 인식을 파악할 수 있으며, 이 관계망을 잘 살피면 심리학적 방법론을 이용해 요인분석을 활용하는 양적 연구대상으로 바꿀수 있다.

 

근거이론은 사람들의 경험에서 체계적으로 의미를 끌어내기 때문에 담화분석이나 내러티브 분석 등 다른 질적 연구방법에서도 응용되기 좋다. 또한 범주들간의 관계를 파악하고 재구성하는 과정을 거치기 때문에 여러가지 개념을 통합적이고 구조적으로 이해하는게 가능하다. 무엇보다 이러한 관계도는 조작적 정의를 거치면 요인분석과 다른 통계적 기법을 사용할때 나타나는 구성개념간 복잡한 관계도로 나타낼 수 있다. 즉 근거이론이 도출한 결과는 가공을 거쳐 양적 검증의 대상으로 바꿀수 있다.

 

현상학적 방법론

현상학적 방법론은 현상학적 배경에서 출현했다. 19세기 말 독일 철학자들은 과학이 자연을 객관화하여 파괴한다고 주장하고 그 대안으로 해석과 통찰을 중시하는 정신과학을 주장했는데, 이 중 후설을 비롯한 몇몇 철학자들은 과학적 방법론의 대안으로서 개인의 심리현상을 어떤 이론에 근거해서가 아니라 현상 그대로 파악해야 한다고 주장했다. 그들이 얼마나 현상을 그대로 묘사했는지는 보증되지 않았지만 많은 철학자들이 이러한 움직임에 따랐는데, 이러한 철학 사조를 현상학이라 하고 현상학적 방법론은 현상학의 토양을 공유한다.

 

현상학적 방법론은 현상학과 마찬가지로 현상을 있는 그대로 파악해야 한다는 목표에서 출발한다. 그래서 근거이론과 달리 현상을 그 자체로 묘사하는 것을 중시하며, 연구자의 가치관을 최대한 배제하기를 추구한다. 이론화가 목적이 아니기 때문에 현상학적 연구에서 피험자는 보통 열명을 넘지 않으며, 대신 코딩을 진행하는 과정에서 피험자에게 반복적으로 문장의 의미를 질문하고 여러번 인터뷰를 반복한다. 현상학적 연구는 특수한 경험을 한 사람들이 자신의 경험에 어떤 의미를 부여하는지 알아보는데 좋으며, 근거이론과 마찬가지로 보건학과 간호학, 문화심리학에서 사용된다.

 

FGI^[각주:35]

FGI(Focus Group Interview, 포커스 그룹 연구방법, 표적집단 면접)는 연구하고자 하는 사람들을 모집하여 집단(focus group, 포커스 그룹)으로 인터뷰를 진행해서 해당 사람들이 가진 의견, 경험 등을 얻어내는 방법이다. 면접의 일종이기 때문에, 다른 면접과 마찬가지로 자기보고식 측정이라고도 할 수 있다. FGI는 아주 널리 사용되는 질적 연구방법으로, 미국에서는 매년 25만개 이상의 포커스 그룹이 실시되고 있으며,# 오프라인에서 만나는 형태뿐만 아니라 줌, 메타버스, SNS 등 다양한 매체를 통해 이루어지고 있다.^[각주:36] 에어버스와 보잉은 새로운 비행기인 에어버스 A380과 보잉 787을 개발하기 위해 수백개의 포커스 그룹을 만들었다.## 또한 학계에서도 교육학, 사회학, 커뮤니케이션학, 보건학, 조직론, 프로그램 평가, 심리치료, 사회심리학, 노인학, 정치학, 정책학, 인류학, 경영학, 마케팅 등 매우 다양한 분야에서 FGI가 실시된다. 그러나 이러한 광범위한 사용은 동시에 실시되는 FGI가 기본적인 방법론적 고려사항 대신 실제적 노하우에 초점을 둔 상태로 실시되는 결과를 낳았다.^[각주:37]

 

FGI는 매우 다양한 분야에서 사용되고 있기 때문에, FGI의 목적과 방법도 분야에 따라 다를 수 있다. 그러나 FGI의 발전은 주로 임상심리학의 집단치료와, 집단심리학의 발견에 힘입어 이루어지고 있다. 기본적으로 FGI를 실시하는 기본적 가정은 주로 사회심리학과 심리치료에서 유래한 복합체이다.^[각주:38] 

 

 

5.연구방법

과학 논문은 4가지 기준으로 나눌 수 있다. 어떤 설명을 하는지, 가설과 어떤 관계인지, 어디서 하는지, 얼마나 하는지이다. 어떤 하나의 대상을 객관적으로 분석하는 논문은 연구논문이라 하며 대부분의 연구가 여기에 속한다. 반면 리뷰논문(고찰논문)은 한 대상을 다루는 여러 논문을 분석하는 일종의 2차 사료로, 여러 논문을 분석하여 결과를 요약하거나 새로운 함의를 던진다. 탐색적 연구는 가설을 만드는 연구인데, 탐색적 연구 논문에서는 현상을 탐색하여 가능한 가설을 고안해낸다. 빅데이터연구가 탐색적 연구의 하나이다. 그러나 많은 심리학 연구는 확인적 연구로, 확인적 연구는 존재하는 가설을 연구를 통하여 검증하는 연구이다. 

 

실험실 연구는 통제된 환경에서 조작적 실험과 함께 실시되는 연구로, 사회실험이 아닌 이상 실험실에서 연구가 실시되며 대부분의 자연과학 연구와 심리학 연구는 실험실 연구이다. 반면 현장연구는 연구하는 대상을 실제 환경에서 조사하는 연구로, 생태학이나 인류학, 지구과학에서 사용된다. 한편 발달심리학에서는 연구를 횡단연구와 종단연구로 구분하는데, 횡단연구는 여러 대상을 짧은 기간동안 연구하지만, 종단연구는 한 대상(또는 한 집단)을 긴 기간 동안 연구한다. 이러한 구분은 발달심리학에서 유용하지만 다른 분야에서도 사용될 수 있다.

 

중요한 점은 이러한 구분이 항상 완벽하지는 않다는 점이다. 실제 연구에서는 탐색과 확인을 동시에 할 수도 있고, 실험적 조작을 현장에서 시행할 수도 있다. 아래에서 설명할 사항도 마찬가지인데, 여기서 말하는 사항은 일종의 개론으로, 실제 연구현장에서는 좀 더 유연하고 융퉁성있게 적용된다.

 

연구설계

 

연구설계의 대략적인 흐름

과학 연구를 수행할때 가장 먼저 하는 일은 연구문제를 선정하는 일이다. 이는 보통 연구가설을 설정하는 일과 동일시되기도 한다. 연구문제는 연구주제와 관련된 과거 문헌과 이것이 해결되었는지에 대한 학계의 의견 등이 종합적으로 검토되어 선정된다. 이렇게 연구문제가 선정되면 연구문제를 해결하기 위해 연구가 설계되는데, 연구는 측정가능한 요소인 변인과, 두 변인의 관계에 대해 기술한 가설을 포함해야 한다. 가설은 보통 'A하면 B할것이다.'의 2단 논법 형식으로 정의된다. 변인을 설정하기에 앞서서 연구를 편하게 하기 위해 연구자들은 관찰하고 조작하는 대상을 정의하는데, 심리학에서는 정의가 조작적 정의의 형태로 나타나는 경우가 많다.

 

연구에서 대상을 분석하려면, 어떤 수준에서 대상을 분석할지 정해야 한다. 같은 인간을 연구하더라도, 어떤 학자는 특정 환자만 연구할 수도 있고 어떤 학자는 국가를 연구할 수 있다. 이처럼 연구마다 연구대상을 분석하는 분석단위가 다르며, 연구분야와 연구목적에 따라 분석단위는 달라진다. 

 

연구방법(method)

연구방법은 어떻게 분석할지에 따라 달라진다. 연구자는 대상을 관찰하여 결론을 얻는 귀납적 연구를 할수도 있고, 가설을 토대로 검증하는 연역적 연구를 할수도 있다. 또한 두 변인간의 단순한 관계를 연구하는 미시적인 기능적 연구를 할수도 있지만, 복잡한 거시적 틀 아래서 체계적 연구를 할 수도 있다. 연구하는 변량이 대상에 따라 나타내는 차이를 연구할 수도 있고 반대로 두 변량의 공통점을 연구할 수도 있으며, 가설을 만드는 탐색적 연구를 할 수도 있고 확인적 연구를 할 수도 있다. 사회과학이라면 연구대상을 정량적으로 기술하거나 정성적으로 기술할 수도 있으며, 질적 연구방법을 사용한다면 연구참여자의 증언을 그대로 싣는 내용분석을 하거나 이를 다시 재해석하는 주제분석을 할 수도 있다. 어떤 연구방법이든 기본적인 타당도와 신뢰도를 확보하고 있다. 어떤 연구방법을 사용할 지는 연구주제와 연구목적, 이론과 개념, 가설의 형태 등에 좌우되며, 선택된 연구방법은 연구에서 자료의 분석과 해석, 자료수집 방식과 표본 추출 방식, 보고서 양식을 결정한다.

 

실제 연구방법으로 가장 많이 쓰이는 것은 실험이다. 그러나 심리학과 사회학에서는 설문지를 통한 연구도 많이 하며, 사회학에서는 면접도 많이 사용한다. 그리고 많은 자연과학에서 실험 못지않게 관찰도 많이 한다. 이처럼 실험은 아니지만 실험만큼 타당도와 신뢰도를 확보한 연구방법을 준실험이라 하며, 과학에서는 보통 실험과 준실험이 자주 사용된다. 준실험은 실험이 주지 못하는 다양한 정보를 제공해 줄 수 있으나 그만큼 객관성이 부족하며, 특히 의학에서 관찰연구를 대상으로 하는 메타분석은 객관성이 떨어지는 경우가 많다.^[각주:39] 사회과학에서는 좀 더 다양한 연구방법이 사용되며, 아래에 자연과학과 사회과학에서 주로 쓰이는 연구방법을 서술하였다.

 

• 실험, 준실험
• 생애사연구(전기연구)
• 사례연구
• 현상학적 연구
• 문화기술지
• 근거이론
• 비판연구
• 내러티브분석
• Q방법론
• 활동분석
• 빅데이터연구
• 요인설계

 

결과의 해석

연구결과는 보통 3가지 형태로 나타난다. 먼저 대부분의 과학 연구에서 연구결과는 통계적으로 나타난다. 이러한 연구에서 연구결과는 통계적 결과로 나타나거나 가설이 검증되었는지 여부로 나타난다. 회귀분석처럼 좀 더 복잡한 통계절차가 활용되는 경우 구조방정식이나 중재변인 등이 나타나기도 한다. 여기서 더 복잡해지면 연구결과는 모형검증의 형태로 나타나는데, 이러한 연구에서 연구결과는 하나의 모형으로 나타난다. 이 모형은 연구에서 다뤄진 변인 여러개를 포함하며 현상을 좀 더 복잡하게 이해하게 도와준다. 물리과학에서의 모델링이나 요인분석, factor loading 등이 여기 해당한다. 한편 연구가 질적 연구인 경우 연구결과는 사례 해석의 형태로 나타나는데, 이러한 연구에서 연구자들은 연구자료를 분석한 후 통합하는 과정을 연구결과로 제시한다.

 

 

관찰자 신뢰도

관찰자 신뢰도(관찰자간 일치도)는 서로 다른 관찰자들에 의해 측정된 관찰결과가 서로 동일한 정도로, 주로 사회과학에서 쓰인다. 사회과학에서는 관찰자가 주관적(자연과학 기준)으로 측정해야 하는 경우가 많은데, 이때 관찰자들이 관찰을 판단하는 주관이 너무 다르면 연구가 의미가 없어진다. 따라서 제대로된 연구가 되려면 관찰자 신뢰도가 어느정도 확보되어야 하며, 적어도 80%는 넘겨야 하고 90% 이상이면 아주 좋다.

 

 

모차르트 효과

모차르트 효과(mozart effect)는 클래식 음악, 특히 모차르트의 음악을 들으면 지능이 올라간다는 주장이다. 과거에 어느 심리학자는 모차르트의 음악을 10분간 들려준 결과 사람의 IQ가 증가하는 사실을 발견했는데 이를 바탕으로 클래식이 지능을 증진시킨다는 결론을 내렸다. 이 주장은 검토와는 상관없이 대중들에게 널리 전파되었고, 특히 기독교와 뉴에이지와 연계되어 전파되었다. 당시 뉴에이지주의자들은 식물에게 의식이 있으며 식물이나 사람이나 모두 영혼과 에너지를 가진 존재라고 주장했고, 식물에게 클래식 음악을 들려주면 식물이 잘 자란다는 주장을 믿고 있었다. 모차르트 효과는 그런 주장의 일환으로 뉴에이지 지지자들에게 받아들여졌고 현재까지 자칭 지혜나 좋은말을 가장하여 전파되고 있다. 다른 한편 기독교인은 팝을 위시하여 자라나는 저항문화에 매우 큰 반감을 가지고 있었는데, 모차르트 효과에 대한 연구가 록음악의 경우 지능을 저하시킨다는 주장을 추가로 하자 이 연구에 큰 호감을 가지게 되었다. 기독교인들은 이를 근거로 저항문화(반기독교적)와 함께 등장한 팝과 록이 지능을 해치며, 지능을 높이기 위해 클래식과 같은 옛날 음악을 들어야 한다고 주장했다. 모차르트 효과는 심지어 대중음악이 사탄의 산물이라는 극단적 기독교인의 주장에도 근거로 사용되었다.

 

기독교나 뉴에이지에는 매우 안타까운 소식이지만 모차르트 효과는 폐기되었다. 물론 어떤 연구에서 모차르트의 음악은 실제로 stanford-binet IQ 점수를 증진시켰다. 하지만 그 결과는 다른 연구에서는 잘 재현되지 않았으며, 정확히 말하면 증진된 IQ는 몇분이 안가 다시 원래대로 떨어졌다. 학자들은 자세한 연구를 통해 모차르트의 음악이 사람의 기분과 단기적인 각성에 영향을 주어 IQ 점수를 증진시킨다는 사실을 발견했다. 이는 단순한 긴장 완화기법이나, 하다못해 초콜릿 하나를 섭취해도 나타나는 일이다. 결국 모차르트 효과는 그냥 IQ 점수가 외부 환경에 잠깐동안 영향을 받는다는 사실만 보여주었다. 추가로 학자들은 또다른 형태의 모차르트 효과를 발견했는데, 물론 모차르트 효과처럼 일시적인 효과였지만 팝 음악이 공간지능을 모차르트 음악보다 크게 증가시키는 현상을 발견하였다. 골수 기독교인의 주장을 따른다면 클래식은 사탄의 산물인 모양이다. 

 

 

치료연구^[각주:40]

치료연구는 의학에서 어떤 치료기법이 실제 효과가 있는지를 조사하는 방법이다. 치료연구에는 2가지 유형이 있는데, 그 치료가 실제 효과가 있는지를 보는 치료 결과 연구(treatment outcome study)와 그 치료가 어떻게 작동하는지에 대한 치료 과정 연구(treatment process study)이다. 치료 결과 연구는 이 치료가 효과가 있는지 판단하는데 사용되고, 치료 과정 연구는 치료의 작동원리를 분석해서 더 나은 치료를 개발하도록 도움을 준다.

 

사람을 치료하는 것은 매우 중요하기 때문에 그만큼 치료연구는 엄격하게 수행되어야 한다. 물리학 수준으로 오차를 줄이는 것은 힘들겠지만, 적어도 예상가능한 편향은 없어야 한다. 그래서 치료연구는 무조건 실험으로 이뤄지며, 사례연구는 참고용으로만 사용된다. 또한 모든 치료연구는 이중 맹검으로 실시되는데, 임상심리학에서는 가끔씩 사례연구나 단일 맹검으로 끝나는 경우가 있다.

 

치료착각​^[각주:41]

치료착각은 어떤 치료를 받은 후 치료의 효과가 없었음에도 불구하고 자신이 나아졌다고 믿는 것을 말한다. 유의미한 패턴을 찾으려 드는 인간의 특성상, 사람은 어떤 치료가 효과적이었다고 착각하기 매우 쉽다. 불행히도 이러한 착각은 많은 사람들이 대체의학을 옹호하게 만들어서 사회의 자원이 낭비되게 만든다. 치료착각이 발생하는 다양한 이유가 있으나, 보통 아래의 원인이 치료 착각을 발생시킨다.

 

자연치유는 아무것도 하지 않았는데도 병이 치유되는 현상을 말한다. 사실 인간은 자체적인 면역기능을 갖췄기 때문에 많은 병은 자연치유된다. 그러지 않았다면 인간은 어릴때 걸린 감기로 죽거나 평생 콜록거리며 살아야 했을 것이다. 그래서 별 효과도 없는 치료를 받은 경우에도 자연적으로 병이 낫는 경우도 존재한다. 문제는 환자가 이를 알기는 쉽지 않다는 것이다. 슬프게도 사람들은 자신이 자연적으로 병이 나았을 확률보다는, 자기가 받은 의미없는 주술이 병을 낫게 했다고 믿기 더 쉽다.

 

플라시보(placebo,위약)는 가짜 치료를 받았는데 치료 효과가 나타나는 경우를 말한다. 가령 관절염에 걸린 노인에게 사탕을 약이라 속이고 주었더니 다음날 할머니가 쌩쌩한 경우이다. 플라시보로 정말 병이 낫는 경우는 극히 일부지만 존재하며, 증상을 개선하는 데에는 플라시보도 탁월한 효과를 보이는 경우가 많다. 플라시보가 왜 효과를 가지는지는 아직 많은 연구가 진행중인데, 환자의 기대가 증상 완화에 기여하는 것으로 보인다.^[각주:42] 일단 학자들은 임시방편으로 자신의 치료가 플라시보보다 효과적인지 평가해서 자신의 치료가 플라시보 이상의 실제 치료효과를 내는지 평가한다. 그러나 일반인들은 그러지 못하고, 사탕을 명약이라고 생각할 확률이 매우 높다.

 

재구성된 기억은 환자가 자신의 기억을 왜곡하는 현상으로, 심리치료에서 자주 나타난다. 어떤 환자들은 자신이 치료 이전에는 인간 이하의 삶을 살았다고 생각하고, 치료를 받음으로서 거의 새 삶을 얻었다고 과대평가한다. 사실 기억은 매우 왜곡되기 쉽기 때문에 이러한 일이 나타나는게 드문 일은 아니다. 하지만 재구성된 기억으로 치료의 효과를 잘못 평가하는 경우, 돌팔이 치료자에게 지인을 소개하는 참사가 벌어질 수 있다.

1. 홍성욱 외 17인,'과학철학',창비,2011, 2부 쟁점-과학방법론 [본문으로]
2. 여기까지 Schactor 외 2명,'심리학 입문(2판)',민경환 외 8명 역,시그마프레스,2015,pp34-35 [본문으로]
3. Stewart, D. W., & Shamdasani, P. N. (2014).Focus groups: Theory and practice(Vol. 20). Sage publications.pp31-41 [본문으로]
4. Merton, R. K., & Kendall, P. L. (1946). The focused interview. American journal of Sociology, 51(6), 541-557. [본문으로]
5. Mannheim, K. (2013). Ideology and utopia. Routledge. [본문으로]
6. Bogardus, E. S. (1926). The group interview.Jorunal of Applied Sociology [본문으로]
7. Moore, C. M. (1987). Group techniques for idea building. Sage Publications, Inc. [본문으로]
8. Merton, R. K., & Kendall, P. L. (1946). The focused interview. American journal of Sociology, 51(6), 541-557. [본문으로]
9. Merton, R. K. (1956). The Focused Interview: A Manual of Problems and Procedures, by Robert K. Merton, Marjorie Fiske [and] Patricia L. Kendall. Free Press. [본문으로]
10. Merton, R. K., Fiske, M., & Curtis, A. (1946). Mass persuasion; the social psychology of a war bond drive. [본문으로]
11. Ernest Dichter, (1947) “Psychology in Market Research“, Harvard Business Review; Summer47, Vol. 25 Issue 4, p432-443, 12p [본문으로]
12. Goldman, A. E., & McDonald, S. S. (1987). The group depth interview: Principles and practice (pp. 7-23). Englewood Cliffs: Prentice-Hall. [본문으로]
13. Schutz, A. (1972). The phenomenology of the social world. Northwestern university press. [본문으로]
14. Morgan, D. L., & Spanish, M. T. (1984). Focus groups: A new tool for qualitative research. Qualitative sociology, 7(3), 253-270. [본문으로]
15. Ansay, S. J., Perkins, D. F., & Nelson, C. J. (2004). Interpreting outcomes: Using focus groups in evaluation research. Family Relations, 53(3), 310-316;Hennink, M. M. (2007). International focus group research: A handbook for the health and social sciences. Cambridge University Press;Walden, G. R. (2008). Focus groups: a selective annotated bibliography (Vol. 1). Scarecrow Press;Walden, G. R. (2009). Focus groups: a selective annotated bibliography (Vol. 2). Scarecrow Press. [본문으로]
16. Richard Gerrig,'심리학과 삶 20',이종한 외 5인 역,시그마프레스,2016,p23 [본문으로]
17. Gerrig,'심리학과 삶 20',이종한 외 5인 역,시그마프레스,2016,pp30-31;Schactor 외 2명,'심리학 입문(2판)',민경환 외 8명 역,시그마프레스,2015,p38 [본문으로]
18. 물론 이 가능성도 완전히 배제하긴 힘들다. 사람의 뇌파기록이 매번 다른 이유는 감지기가 망가져서가 아니라 사람의 뇌파가 지속적으로 변하기 때문이다. 그러나 과학자들은 보통 이러한 점을 고려하여 일정기간 유지되는 부분을 측정하려고 시도한다. [본문으로]
19. Jackson & Rushton, 2006 [본문으로]
20. IQ검사와 비교하면 r=.55. 참고로 일반지능과 하위지능간의 상관관계가 r=.5~.7에 이르고, IQ검사도 피검자의 불안 등의 요소로 인해 타당도가 100이 아니다. [본문으로]
21. Else-Quest, N. M., Hyde, J. S., & Linn, M. C. (2010). Cross-national patterns of gender differences in mathematics: a meta-analysis [본문으로]
22. Coppock, A. (2019). Generalizing from survey experiments conducted on Mechanical Turk: A replication approach. Political Science Research and Methods, 7(3), 613-628;Sarracino, F., Riillo, C. A., & Mikucka, M. (2017). Comparability of web and telephone survey modes for the measurement of subjective well-being. Survey Research Methods: SRM, 11(2), 141-169. [본문으로]
23. Schactor 외 2명,'심리학 입문(2판)',민경환 외 8명 역,시그마프레스,2015,pp46-48 [본문으로]
24. 회귀분석에서 사용됨. 다음의 준거변수도 마찬가지이다. [본문으로]
25. Schactor 외 2명,'심리학 입문(2판)',민경환 외 8명 역,시그마프레스,2015,pp39-40 [본문으로]
26. Schactor 외 2명,'심리학 입문(2판)',민경환 외 8명 역,시그마프레스,2015,pp40-41 [본문으로]
27. Rosenthal, R., & Fode, K. L. (1963). The effect of experimenter bias on the performance of the albino rat. Behavioral Science, 8(3), 183-189 [본문으로]
28. Schactor 외 2명,'심리학 입문(2판)',민경환 외 8명 역,시그마프레스,2015,pp50-53 [본문으로]
29. Mook, D. G. (1983). In defense of external invalidity. American psychologist, 38(4), 379. [본문으로]
30. Anderson, C. A., Lindsay, J. J., & Bushman, B. J. (1999). Research in the psychological laboratory: Truth or triviality?. Current directions in psychological science, 8(1), 3-9;Gage, N. L. (1996). Confronting counsels of despair for the behavioral sciences. Educational Researcher, 25(3), 5-22. [본문으로]
31. Bakan, D. (1966). The test of significance in psychological research. Psychological bulletin, 66(6), 423 [본문으로]
32. Richard Gerrig,'심리학과 삶 20',이종한 외 5인 역,시그마프레스,2016,pp28-29 [본문으로]
33. Doucerain, M. M., Ryder, A. G., & Amiot, C. E. (2021). What Are Friends for in Russia Versus Canada?: An Approach for Documenting Cross-Cultural Differences. Cross-Cultural Research, 10693971211024599. [본문으로]
34. Glaser, B., & Strauss, A. (1967). The discovery of grounded theory. 1967. Weidenfield & Nicolson, London, 1-19. [본문으로]
35. Stewart, D. W., & Shamdasani, P. N. (2014).Focus groups: Theory and practice(Vol. 20). Sage publications.pp31-34] [본문으로]
36. McDermott, M. J. (2013). Take your pick. ANA Magazine, Spring, 32-42. [본문으로]
37. McCracken, G. (1988). The long interview (Vol. 13). Sage;Rook, D. W. (2003). Out-of-focus groups. Marketing Research, 15(2), 10-10. [본문으로]
38. Goldman, A. E., & McDonald, S. S. (1987). The group depth interview: Principles and practice (pp. 7-23). Englewood Cliffs: Prentice-Hall. [본문으로]
39. Zeraatkar, D., Bhasin, A., Morassut, R. E., Churchill, I., Gupta, A., Lawson, D. O., ... & de Souza, R. J. (2021). Characteristics and quality of systematic reviews and meta-analyses of observational nutritional epidemiology: a cross-sectional study. The American Journal of Clinical Nutrition, 113(6), 1578-1592. [본문으로]
40. Schacter 외 2인,'심리학 입문(2)',민경환 외 8인 역,시그마프레스,pp501-502 [본문으로]
41. Schacter 외 2인,'심리학 입문(2)',민경환 외 8인 역,시그마프레스,pp500-501 [본문으로]
42. Colloca, L., & Miller, F. G. (2011). Role of expectations in health. Current opinion in psychiatry, 24(2), 149-155. [본문으로]