유사과학 문제의 이해

미국의 제 43대 대통령 부시는 여러모로 특이한 사람이었다. 먼저 그는 신이 인간을 창조했다는 창조설을 아직도 믿고 있었다. 그의 조국은 2020년에 화성으로 사람을 보낼 계획까지 세우는 나라지만 그의 지식수준은 18세기에 머물고 있었다. 또한 그는 지구온난화가 없다고 주장하는 기업가로부터 후원을 받고 있었다. 미국 헌법대로 그의 종교적 신앙이 정치활동과 분리되었으면 좋았겠지만 아쉽게도 그러지 못했다. 부시 행정부는 2003년 환경보고서를 작성하였는데, 환경보호국(Environmental Protection Agency, EPA)에서 작성한 보고서가 백악관으로 올라가자 백악관은 인간이 지구온난화의 원인임을 보여주는 연구결과들을 참고문헌에서 모조리 삭제했다.# 인문학자 일부는 과학이 늘 그렇듯 백인남성로고스남근중심주의의 산물이라고 주장하지만, 과학은 거의 가치중립적이었으며 과학의 사회사는 대개 특정 이데올로기 단체, 이익집단에 의한 과학지식의 왜곡의 역사였다. 

 

 

유사과학

유사과학(사이비과학)은 과학적 방법론에 의한 연구나 증명과는 일절 관계가 없거나, 관계 없는 내용이 포함되었으면서도 마치 과학적인 것인 양 주장되거나 수용되는 대상, 또는 이러한 대상의 수용을 유도하는 이론이나 주장을 말한다. 이는 과학이라는 학문의 복잡성과 비전문가인 대중적 이해도 사이의 괴리를 교묘하게 이용하여, 상품이나 신념에 대한 긍정적 이미지를 주입시키려는 목적의 지적 사기(Intellectual fraud)에 해당한다. 

 

대체의학

많은 유사과학은 대체의학의 형태를 띠고 있다. 이는 다른 분야에 비해 의학에서는 사기를 치는 것이 더 쉽고 돈이 많이 들어오기 때문이다. 의료는 가장 많은 지출이 이루어지는 분야 중 하나이며, 특히 일반의료의 비용이 더 높은 미국에서 상대적으로 값싼 치료법은 보다 매력적이다. 또한 기존의 과학적 세계관을 거부하는 서구의 젊은이들도 비과학적 주장을 내놓는 대체의학에 끌리는 경우가 있다. 

 

동종요법(homeopathy)은 대체의학 중 하나로, 18세기 후반 독일의 의사 사무엘 하네만(Samuel Hahnemann)이 만든 서양의학이다. 동종요법에서는 병을 같은 성질의 것으로 치료해야 한다고 주장하는데, 가령 만성 통증을 치료하기 위해서 일부로 그곳을 때려서 고통을 가하거나 고통스러운 음식을 바르거나 먹는 것이 그것이다. 동종요법은 서양에서 가장 유행하는 명실상부한 서양의학이지만, 침술과 비교해도 효과라고는 하나도 없는 전형적인 유사과학이다.^[각주:1]

 

사상체질론(사상의학)

사상체질론은 인간의 체질이 4가지로 나뉜다는 주장으로, 유학자 이제마의 철학에 근거하였다. 이제마는 인간의 체질을 인의예지의 4덕에서 가져와 태양인과 태음인, 소양인, 소음인으로 나누었는데, 그에 따르면 이들은 체질이 다르기 때문에 서로 다른 약이 처방되어야 한다.# 그러나 실제로 나눠지는 체질이 있다는 명확한 과학적 근거는 없으며, 체질에 대한 진단의 신뢰도와 정확도도 의학적 표준에 미치지 못하고 있다. 한국 정부에서는 사상체질론을 입증하기 위해 5년간 이제마 프로젝트를 실시해 거금을 투자했지만, 어떠한 과학적 성과도 확인되지 않았다. 현재 사상체질론을 지지하는 과학적 근거는 없으며, 기와 음양오행, 경락과 마찬가지로 한의학의 대표적인 사이비과학적 개념이다.

 

특정한 체질이 존재한다는 주장은 한국에만 있는 주장이 아니었으며, 세계 각지에 체질에 대한 주장이 존재했다. 심리학에도 사람을 체형에 따라 3개 체질로 나눌 수 있다는 이론이 존재했으나, 과학적 지지를 받지 못해 폐기되었다. 체질론을 과학적으로 증명하는 방법은 2가지가 가능한데, 첫번째 방법은 군집분석을 통해 이론에서 예측하는 대로 군집이 나오는지 확인하는 것이다. 만약 사상체질론이 타당하다면, 사람들은 서로 명확하게 다른 4개 체질집단으로 분류될 것이다. 다른 방법은 요인분석을 통해 각 체질에 따른 성향이 존재하는지 조사하는 것인데, 만약 사상체질론이 타당하다면 개개의 임상적 특징이 각 체질에 따라 달라야 하므로 사람들의 임상적 특성이 각 체질 성향을 나타내는 4개 요인으로 묶일 것이다.

 

사상체질론 자체에 대해 한의학 내부에서 실시한 연구는 몇개 있지만,^[각주:2] 대부분 동일 대학에서 심사된 학위 논문이며 지금은 접근도 힘들다. 과학계에서 검증한 경우는 한국에서 2건이 있는데, 송지영과 동료들^[각주:3]의 연구에서 연구자들은 군집분석을 활용하여 인간의 체질이 정말로 4개로 나뉘는지 조사하였다. 이를 위해 연구자들은 임상심리학자와 한의사들과 협력하여 새로운 체질 진단 기준(신뢰도는 사상체질분류검사와 비슷)을 개발하고. 이를 건강한 일반인들에게 적용한 후 체질 자료에 기반하여 사람이 4개 군집으로 분류되는지 군집분석을 실시하였다. 만약 사상체질론이 타당하다면, 4가지 군집이 도출되고 각 군집이 자기 체질의 성향을 두드러지게 가지고 있을 것이다.

 

그러나 연구결과 4가지가 아니라 5가지 군집이 도출되었으며 그 양상도 4체질과는 판이하게 달랐다. 군집분석 결과를 자세히 보면, 사상체질론과 일치하는 집단은 5개 중 3개(태양,소양,태음)밖에 없었으며 가장 수가 많은 집단은 모든 성향(태양,소양,태음,소음)이 고르게 약하여 체질이 존재하지 않는 집단이었다. 각 군집별로 볼때 남자 집단에서 태음인은 태음 성향이 두드러졌고, 태양인은 태양 성향이 두드러졌으며, 소양인은 소양 성향이 가장 두드러진 가운데 태양 성향도 높았고, 5번째 집단은 모든 성향이 고루 높았다. 그러나 군집거리는 보고하지 않았다. 결과적으로 태음인과 태양인 체질은 명확했지만 소양인은 태양인의 체질도 어느 정도 가지고 있었으며, 전체 인구의 52%는 어느 체질에도 해당하지 않았다.

 

남성 분포도. 가장 많은 집단은 어느 체질에도 속하지 않는다. 2번이 태음인, 3번이 태양인, 4번이 소양인.

그래프. 원문에서는 남녀 그래프가 서로 뒤바뀌었다.

여자의 경우에도 비슷한 군집이 나타났다. 전체 표본의 70%를 차지하는 집단은 모든 체질이 고르게 낮아 어느 체질로도 분류되지 않는 집단이었다. 다른 집단을 볼 때 소양인은 소양 성향이 강했고, 태양인은 태양 성향과 함께 소양 성향도 강했으며, 태음인은 태음 성향과 소음 성향이 모두 강한 태음-소음인이었고, 이외에 모든 체질이 동시에 강해 역시 어느 체질로 분류될 수 없는 5번째 집단이 있었다. 결과적으로 소양인은 명확하게 나타났지만 태양인과 태음인은 다른 체질도 유의미하게 높았고, 특히 태음인은 태음-소음인이라고 불릴 만큼 두 성향의 차이가 적었다. 그리고 이들 모두 전체의 20%밖에 차지하지 않았는데, 체질모형의 설명도가 같은 집단에서도 재현되지 않는다면 사상체질론을 신뢰할 근거는 더욱 희박하다.

 

여성 분포도. 1번 집단이 절반 이상을 차지한다. 2번이 소양인, 3번이 태양인, 4번이 태음인.

그래프

결과적으로 태양인이 희귀하다는 통념과 달리 정작 존재하지 않는 것은 소음인이었으며, 환자들이 건강한 사람들보다 소음 성향이 약간 높을 뿐이었다. 또한 모든 사람들이 어느 정도 모든 체질의 성향을 가지고 있어, 체질이 특정한 집단이라기보다는 특정한 성향으로 보는 것이 더 합당했다. 결과적으로 사상체질론은 군집의 가짓수(4개가 아니라 5개)나 양상(이론과 일치하는 체질이 1-2개) 모두 예측에 실패하였고, 사상체질론에서 주장한 체질에 할당되는 사람은 다수가 아니었으며 여성 집단에서는 소수였다. 대부분의 사람들은 어느 체질에도 속하지 않는 집단이었고, 속하는 사람도 다른 체질의 성향을 어느 정도 가지고 있었다. 비록 연구자들은 체질에 대한 묘사와 실제 연구가 유사하다며 사상체질을 옹호하려고 했지만, 이는 설명적 유사성에만 근거한 것으로 한계가 명확하다.

 

민성길과 동료들^[각주:4]의 연구에서는 정신과적 성격에서 나타나는 요인구조를 사상체질론과 비교하였으며, 또한 사상체질론에 근거하여 체질마다 두드러지는 신체적 특성도 선별해서 역시 요인구조를 비교하였다. 그리고 요인에 따른 차이가 사상체질에 대한 묘사와 일치하는지 비교하였는데, 사상체질에 대한 묘사는 이제마의 <동의수세보원>을 번역한 홍순용과 이을호의 사상의학원론^[각주:5]을 참고하였다. 여기서도 전문가들간 일치도는 극히 낮았으며, 아래에서 까일 사상체질분류검사만이 유일하게 카파값이 높았다. 만약 사상체질론이 참이라면 사상에 따른 2개 요인이나 4덕에 기반한 4개 요인, 혹은 송지영과 동료들^[각주:6]이 가정했던 4개 체질 성향의 4개 요인이 나타날 것이다. 그리고 각 요인이 특정 체질에서 우세하게 나타날 것이다.

 

그러나 연구결과 사상체질론은 요인구조를 극히 일부분만 설명했는데, 각 분야에서 주요한 요인들이 항상 5개 이상이었으며 이들 상당수는 체질마다 다르지 않았다. 이는 사상(2개)이나 4덕(4개)에 기반한 요인구조와도 달랐고, 송지영과 동료들이 가정한 4개 체질 성향으로도 독립되지 않아 위 연구에서 가정되었던 4체질 성향이 서로 독립된 개념이 아니었음을 보여주었다. 즉 요인구조도 사상체질론을 지지하지 않았다.

 

체질간 비교에서 체질마다 명확히 달라지는 요인은 정신과 증상에서는 요인 3(대인공포-강박증) 뿐이었는데, 소음인과 소양인이 차이를 보였다. 신체 증상에서는 요인 1과 3에서 차이가 나 각각 태음인과 소음인, 태음인과 소양/소음인이 차이가 났고, 성격에서는 요인 2와 6에서 차이가 나 각각 태음인과 소음인, 소음인과 태음인/소양인이 차이를 보였다. 묘사의 정확성의 경우 사상체질설에서 예측된 특성 53개 중에 3개만이 실제 연구결과와 일치하였으며, 이는 각 체질에 대한 묘사도 실제 결과와 달랐음을 보여주었다. 위 두 연구를 종합하면 체질은 4개로 나뉘지 않고, 대부분의 사람은 특정 체질에 속하지 않으며, 집단으로서나 성향으로서는 4체질은 현실과 맞지 않았고, 체질에 대한 묘사도 사실과 달랐다.

 

김규곤과 동료들^[각주:7]은 사상체질이 존재한다고 가정하고 임상 데이터를 4개 군집으로 분류하여 실제 분류된 체질과 비교하였다. 그 결과 두 분류 간의 오류율은 최소 54%에 달했고, 태양인과 소양인, 소음인이 비슷하게 나온 체질 진단과는 달리 대부분의 환자가 군집 1과 3에 속했다. 이러한 결과는 다른 연구^[각주:8]에서도 도출되었으며, 송지영의 연구에서 보이듯이 체질을 4개로 나누는 것이 좋은 해답이 아니라는 점을 잘 보여준다. 결국 과학적 연구들은 인간의 체질이 4가지로 나뉘지 않고, 설령 체질을 나누더라도 중요한 체질들을 놓치고 있으며, 사상체질론이 인간에 대한 설명력도 부실하고 체질에 대한 묘사도 틀리다는 점을 보여준다.

 

한편 위의 연구는 다른 사상체질 연구들의 한계도 같이 보여준다. 사상체질론의 타당성을 넘어서 사상체질이 실재하는지에 대해 의문이 존재함에도 불구하고, 많은 한의학자들은 그것이 전통적으로 내려왔다는 이유만으로 4개의 체질을 가정한 채로 연구를 진행한다. 마치 후술할 초심리학 지지자들이 초능력의 존재를 가정한 채로 연구를 진행하듯이, 이들도 사상체질 자체에는 어떠한 의심도 품지 않은 채로 모든 연구를 진행한다. 이는 다른 한의학 연구보다도 못한 모습이며, 한의학의 과학성에 의문을 제기하게 하는 요소 중 하나이다.

 

한편 한의학에는 사상체질론 이외에도 다양한 체질론이 존재한다. 한의사 권도원은 8체질이 있다고 주장하고, 다른 어떤 한의사들은 64체질이 있다고 주장한다. 이중 가장 인지도가 높은 것이 8체질론이며, 동시에 8체질론은 사상체질론과 가장 격한 싸움을 벌이고 있다. 8체질론 지지자들은 자신들이 사상체질론에 공격받고 있으며, 그들이 8체질론을 몰이해하고 있다고 호소한다.# 그러나 실제로 그들이 말하는 체질 자체가 없기 때문에 싸움은 끝날 기미를 보이지 않는다.

 

사상체질 진단의 문제

사상체질론 자체의 근거부족과는 별개로, 의학계에서는 사상체질 진단 부정확성을 근거로 사상체질론을 공격해 왔다. 사실 사상체질의 진단이 극히 어렵다는 점은 한의학에서도 인정되어 왔으며, 이제마조차 자신이 체질을 잘못 진단한 경우를 여럿 보고했다. 현재도 사상체질의 진단에서는 사상체질 전문가라고 불리는 특정 사람들의 진단이 최선의 기준에 머물러 있다. 체질의 과학적 실체 자체가 없기 때문에 진단이 부정확해지는 것은 당연한 일일 수도 있다.

 

사상체질을 진단하는 설문지 척도는 총 3가지가 제시되어 있다. 하나는 사상체질분류검사^[각주:9]이고, 다른 하나는 KS-15^[각주:10]이다. SCAT-B^[각주:11]는 최근에 나왔는데 아직 잘 쓰이지 않는다. 그러나 사상체질분류검사의 경우 제작자는 정확도가 70% 정도라고 주장했으나, 후속연구에서는 크론바하 알파가 최대 .63이고 중간값은 .6에 불과하여 의학적 표준에 미치지 못했다.^[각주:12] 또한 어떠한 문항도 전체 결과와의 상관관계가 .4를 넘지 못하고 대다수는 .3을 넘지 못하며, 당연히 실시해야 할 요인구조도 보고되지 않았다.

 

KS-15와 SCAT-B의 경우 검사 표준화 과정에서 검사-재검사 신뢰도와 진단일치율만을 보고했고, 요인구조나 크론바하 알파 중 어느 것도 보고하지 않았다. SCAT-B의 경우 진단일치율이 74%에서 35%까지 들쭉날쭉 했으며, 한의사의 감별진단 자체가 신뢰도가 떨어지기 때문에 연구 자체도 신뢰할 수 없다. KS-15의 경우 크론바하 알파 값은 다른 연구에서 보고되었는데,^[각주:13] 역시 .63으로 낮았으며 무엇보다 내/외향성 관련 요인을 측정하는 1-5번 문항만이 서로 일관되었다.

 

이러한 이유로 인해 많은 한의사들은 설문지 대신 맥진이나 생리학적 측정과 같은 다양한 방법을 혼용하여 체질을 진단하려고 시도한다. 그러나 사상체질병증 임상진료지침에 포함된 진단법 중 어느것도 과학적 근거에 기초하지 않았으며, 근거수준이 오직 사례수준에 머물렀다.^[각주:14] 이는 사상체질 전문가도 마찬가지로, 사상체질 전문가들의 진단 일치수준도 52-64%에 불과해 의학적 표준에 미치지 못했으며 카파 계수도 적절하지 못했다.^[각주:15] 이들 전문가의 진단이 사상체질분류검사와 같은 다른 측정치와 50% 정도의 일치율밖에 보이지 않는다는 점^[각주:16]도 이들의 신뢰도를 깎아내리는 요소 중 하나이다.

 

안수기도(기도의 효과)

많은 종교인들은^[각주:17] 기도가 질병을 치료하는데 효과가 있다고 믿는다.(사실은 일부 비종교인들도 그렇다) 미국인들의 43%는 자기자신을 치료하기 위해 기도를 하며 24.4%는 타인을 치료하기 위해 기도한다.^[각주:18] 또한 많은 당뇨병 환자들도 병을 치료하기 위해 기도에 의지하는데, 이들의 경우 의외로 자신의 병과 관련하여 기도하는 사람은 28%밖에 되지 않는다.^[각주:19] 기도는 환자의 병이 심할수록 증가하는데,^[각주:20] 그러나 다른 보고도 있다.^[각주:21] 사실 의학의 최전선에 선 의료인들도 많은 경우 환자들에게 기도를 권하거나 기도한다.^[각주:22] 

 

많은 사람들이 기도의 효과를 믿어온 만큼, 학자들도 기도가 실제로 효과가 있는지를 연구해 왔다.^[각주:23] 심리학의 선구자 중 하나인 윌리엄 제임스^[각주:24]나 우생학자 프랜시스 골턴도 기도의 효과에 관심을 가져왔다. 어떤 학자들은 사회적 지지나 희망의 증가와 같이 기도의 의학적 효과를 설명할 수 있는 여러 가설을 고안하기도 했다.^[각주:25] 그러나 실제 과학적 연구에 따르면 기도의 효과는 전무하다. 이는 메타분석^[각주:26]에서도 그러하고, 대규모 실험연구에서도 그러하며^[각주:27] 오히려 자신이 기도를 받고 있다고 인지한 사람들은 합병증이 더 심해질 수도 있다.^[각주:28]

 

한편 기도 자체에는 효과가 없을 수 있지만, 기도가 건강에 좋은 부수적인 효과를 발생시킬 가능성은 있다. 기도받는 사람들은 기도를 받는다는 사실을 인지하여 스트레스를 해소하여 더 건강해질 수도 있다. 그러나 반대로 이들은 자신의 아픈 부분에 더 주의를 기울이면서 아픔이 더 과장될 수도 있다. 기도의 이러한 심리학적 효과에 대해서도 학자들은 다양한 연구를 수행했는데, 한 연구^[각주:29]에서 기도받는 횟수는 정신건강과 부적 상관을 보였으며 이는 사회적 스트레스원을 제거하면 없어졌다. 이러한 결과는 나쁜 건강상태가 주위 사람들로 하여금 더 많이 기도하게 만들기 때문으로 보인다.

 

 

사주팔자(명리학)

사주팔자는 사람이 태어난 시간대를 통해 그 사람의 운명을 알 수 있다는 동양의 전근대과학이다. 그 역사는 상당히 오래되었으며, 음양오행설에 기초해 있다. 지금도 국내에서는 사주팔자를 통해 점을 치고 돈을 받는 사람이 많고, 시중에도 사주팔자를 알려주겠다는 책이 더러 있다. 그러나 다른 유사과학과 마찬가지로 사주팔자 역시 객관적인 근거가 없으며 현행 과학지식과 대치된다.

 

사주팔자에서 '사주'는 사주팔자에서 인간의 운명을 예측하는 핵심 요인이다. 사주란 년, 월, 일, 시를 말하는데, 즉 어떠한 개인이 무슨 연도의, 무슨 달의, 어떤 날에서 몇시에 태어났는지를 알면 그 사람의 운명을 예측할 수 있다는 것이다. 그러나 사실 사주는 본래 4방위(동서남북)를 가리키는 개념이었으며, 풍수지리설에서 온 것이다. 게다가 과거에는 점쟁이들도 사주를 모두 보지는 않았다.^[각주:30]

 

십이운성론(12운성)은 오행이 12단계를 거쳐 발생하고 소멸한다는 주장이다. 본래 십이운성론은 오행이 서로 장, 노, 생, 수, 사의 관계를  가진다는 <회남자>의 주장에서 유래했는데, 회남자에서는 오행이 서로 같거나(장), 기원이 되어주거나(노), 그 오행으로 인해 발생하거나(생), 나를 공격하거나(수), 내가 공격하는(사)의 관계로 맺어져 있다고 주장하였다. 이후 <오행대의>에서 이를 왕휴상수사로 명칭을 변경하면서 12단계의 변화를 도입하였고, 이후 원천강과 서자평이 이를 체계화하면서 십이운성론이 완성되었다.^[각주:31]

 

사주팔자에서는 3가지 기운이 합쳐지면 특정 오행이 강해진다고 본다(삼합국론). 가령 한 개인의 사주에서 신(申)과 자(쥐, 子), 진(辰)이 모두 있으면 물의 기운이 더욱 강해진다고 본다.^[각주:32] 이러한 주장은 <회남자>에서 한 오행이 태어나서 번성하고 쇠락하는 것을 묘사한 삼진론에서 유래하였다.^[각주:33]

 

현대에도 많은 동양인이 사주팔자를 믿고 있다. 김만태^[각주:34]는 사주를 보는 사람과 점쟁이를 인터뷰한 후 나이가 많은 사람이 사주팔자를 더 신봉하였다고 보고하였다. 또한 이들은 동시에 인간의 힘으로 바꿀 수 없는 운명을 믿는 경향도 강하다고 보고했는데, 김만태는 인생 경험이 이들로 하여금 운명의 존재(와 사주팔자)를 믿게 했다고 해석하였다.

 

한국에서는 조선시대부터 사주팔자가 유행하였다. 조선에서는 관상감에 명과학 부서를 두어 사주팔자를 체계적으로 활용하였는데, 명과학 부서의 관리자는 대개 과거를 통해 뽑았지만 동시에 시각장애인을 훈련시켜 전문 점쟁이로 키우기도 하였다.^[각주:35] 여기서 시각장애인을 높여 부르는 '봉사'라는 어휘가 나타났으며, 또한 시각장애인이 휴대하고 다니는 지팡이('장')에 관리를 높여 이르는 '님'이 합쳐져 '장님'이라는 호칭이 나타났다.^[각주:36] 초기에는 높임 표현으로 등장한 '장님'은 시간이 지나면서 시각장애인을 부르는 일반명사가 되었으며, 이후 역사를 모르는 좌파 병신들과 스스로 대가리 장애인이 된 장애인 단체에서 '장님'이 비하표현이라는 개소리를 하는 데까지 오게 되었다.##

 

초기에 사주팔자는 <낙록자부주>에서 체계가 잡힌 고법사주만 있었으나, 이후 문화가 바뀌면서 개인을 좀 더 중시하는 신법사주나 별을 중시하는 당사주 등 다양한 형태로 분화되었다. 한국에서는 20세기 초부터 토정비결이 추가되었고, 그 어떤 사주 사상보다 오래 살아남았다. <토정비결>은 원래 19세기 말에 익명의 사기꾼이 이지함의 이름을 빌려 지은 예언서였는데, 20세기에 들어서면서 일반인을 대상으로 한 사주책으로 변모하였다.^[각주:37]

 

사주팔자와 성격?

90년대 이후 사주쟁이들은 자신의 주장을 입증하기 위해 직접 자신들의 주장을 과학적으로 검증하려고 시도하였다. 그중 일부는 사주에 따라 타고난 팔자가 실제 성격과 연관된다고 주장하였다. 그러나 과학적 연구경험의 미비로 이들은 데이터의 분석이나 연구방법에서 다양한 실수를 저질렀으며, 무엇보다 이들의 연구가 재현이 되지 않는다는 약점을 가지고 있다. 사실 이들의 연구는 대부분 학위논문의 형태로 발표되며, 데이터를 공개하지 않은채로 질낮은 기관에서 대충 심사된 채 통과된다. 여기다가 한국 과학계의 좋지않은 관행에 비추어 볼 때 애당초 이들의 '연구'를 신뢰하는 것이 바보짓일 수 있다.

 

송진휘^[각주:38]는 사주쟁이들을 대상으로 FGI를 실시하여 오행에 따른 성격 특성을 정립하고, 이를 바탕으로 사람들을 사주팔자에 따라 5개 성격유형으로 나눈 후 이들이 성격에서 차이를 보이는지 검증한다. 그 결과 송진휘는 실제로 사주쟁이가 예측한대로 오행에 따라 성격이 달랐다고 주장한다. 그러나 연구에서 나타난 차이는 마태 효과나 우연에 의한 결과일 수 있으며, 실제로 성격유형이 나뉘는지 검증하려면 요인분석이나 군집분석을 실시해야한다. 게다가 본인의 호언장담에도 불구하고 연구로 나타난 차이가 FGI를 통해 정립된 가설과 일치하지 않았는데, 그럼에도 불구하고 송진휘는 일부 맞는 점을 부각하며 사주의 신빙성을 옹호하고자 하였다. 이것은 애초에 연구가설을 제대로 설정하지 않아서 생긴 일로, 그만큼 연구가 허술하다는 점을 보여준다.

 

노민영^[각주:39]은 그나마 정직하다. 노민영은 비슷하게 아동을 사주팔자의 형태에 따라 분류하고, 이들 집단의 성격과 학습유형이 사주팔자에 따라 달라지는지 조사하였다. 그 결과 사주팔자로 나눈 집단은 성격이나 학습유형에서 어떠한 차이도 보이지 않았다. 노민영은 이것이 아동을 대상으로 했기 때문이라고 변명했지만, 다른 변수를 사용한 연구는 아동 대상으로도 잘만 나온다는 점을 볼 때 그냥 사주팔자가 틀린 것이다.

 

김은미^[각주:40]는 성인의 성격이 오행에 따라 다른지 알아보기 위해 설문을 실시하였다. 척도는 기질을 물어보는 ATS였는데, 이 연구는 그나마 연구가설을 세워라도 놨다는 의의가 있다. 그러나 연구가설이 너무 허술해서 심리학적 개념에 대한 일천한 이해가 만천하에 드러나며, 데이터를 해석할 때 본페로니 조정을 하지 않았다. 애초에 자기가 세운 논리에서도 연구결과는 자신의 주장을 부분적으로만 지지했고, 거기다 엄격한 적용을 하면 그것조차도 무의미해진다. 결론적으로 다양한(그리고 하나같이 잘 안쓰이는) 성격 척도로 사주팔자에 따른 성격을 비교한 결과는 비일관적이고, 연구의 질이 하나같이 떨어진다. 이는 사주팔자가 그냥 허무맹랑한 소리임을 지지한다.

 

 

심령수사

심령수사는 심령을 통해 범인을 조사하는 수사 기법이다. 심령수사를 행하는 경찰은 유명한 샤먼이나 무당처럼 영매를 불러서 범인을 찾도록 지시하는데, 많은 경찰들이 실제로 영매를 고용해서 범인을 찾으려고 한다.^[각주:41] 그러나 실제로 영매들은 범인을 잡아내지 못하며,^[각주:42] 그저 애꿏은 예산이나 낭비하고 있을 뿐이다.

 

 

음양오행설(qi)

음양오행설은 세상만물을 음양과 오행으로 설명하려고 한 중국의 전근대과학이다. 제나라의 추연에 의해 처음 주장되었다. 추연은 전국시대에 각지에서 등장하여 난립하던 여러 자연철학 이론을 종합하려고 했는데, 당시 중국에는 주나라에서 내려온 역과 초나라에서 유행했던 음양 사상, 제나라에서 흥행했던 오행론이 세상을 설명하기 위한 철학체계로 제시되었다. 추연은 이들을 묶어 음양오행설로 정리하였고, 이후 한나라때 확장되었다. <회남자>에서 음양오행설은 숫자체계로 사용되었던 10갑(천간) 및 12지(지지)와 결합되었고, 동중서의 <춘추번로>에서 비로소 음양과 오행이 완전히 결합되었다. 이후에는 사주팔자와 주역학, 성리학에까지 다양한 철학체계에 적용되어 동양철학의 핵심 세계관이 되었다.

 

이 세계관이 역사가 아니라 사이비과학으로 분류되는 이유는, 이것이 실제로 의미있는 체계로서 일부 유사과학자들에게 애용되고 있기 때문이다. 그러나 현재 음양오행설을 지지하는 과학적 근거는 없으며,^[각주:43] 현대과학의 많은 부분은 음양오행설과 충돌한다.# 사실 음양오행설의 허구성은 일찍이 증명되었는데, 후한의 고문학자 왕충은 음양오행설에서 주장한 여러 주장들을 비판하면서 그것이 말이 안된다고 논박하였다. 가령 당대 학자들은 남자는 양기가 가득하고 여자는 음기가 가득하기 때문에, 비가 올 때는 남자가 나와야 하고 가뭄이 들 때는 여자가 나와 춤을 춰야 한다고 주장했다. 왕충은 저서 <논형>에서 이를 비판하면서, 음양오행을 인간에게 적용하는 것에 반대하였다.

 

이에 대한 주된 대응은 가설을 수정하는 것이다. 현대 음양오행설의 지지자들은 위와 같은 주장을 거부하며, 자신들의 주장이 현대물리학과 일치한다는 점을 보이기 위해 어떻게든 자신들의 주장을 끼워맞추려 한다. 바로 이것이 음양오행설의 가장 큰 문제인데, 음양오행설은 과학적으로 판단되기 힘들며, 설사 과학적으로 반증되더라도 ad hoc 방식으로 반증을 피해 간다. 이는 음양오행설이 과학이 아니며, 의미가 없다는 점을 보여준다.

 

사실 음양과 오행은 애초에 같은 것이 아니다. 이는 10갑과 12지도 마찬가지다. 음양과 오행의 종합은 추연에 의해 이뤄졌고 동중서에 의해 완전히 결합되었다. 10갑과 12지는 본래 고대 중국에서 숫자나 순서를 나타내는 표기법이었는데, 한나라때 <회남자>에서 10갑과 12지 각각에 음양과 오행을 부여하면서 음양오행설에 결합되었다. 아래는 회남자에서 10갑과 12지에 부여한 음양오행이다.

 

갑	을	병	정	무	기	경	신	임	계
양	음	양	음	양	음	양	음	양	음
목	목	화	화	토	토	금	금	수	수

10갑과 음양오행

 

자(쥐)	축(소)	인(호랑이)	묘(토끼)	진(용)	사(뱀)	오(말)	미(양)	신(원숭이)	유(닭)	술(개)	해(돼지)
혼합	음	양	음	양	혼합	혼합	음	양	음	양	혼합
수	토	목	목	토	화	화	토	금	금	토	수

12지와 음양오행

 

이 분야의 주요 저서로는 <음양오행설의 이해(김기,문사철,2016)>가 있다. 그러나 이 책은 음양오행설을 필요 이상으로 띄워주기 때문에 평가 부분은 비판적으로 볼 필요가 있다.

 

 

전투민족(martial race)

전투민족은 19세기 영국군에서 주장한 개념으로, 전쟁과 전투에 적합한 소질을 가지고 있는 민족을 뜻한다. 당시 우생학적 사고방식에 기반한 영국군은 특정 민족이 선천적으로 보다 전쟁에 적합하다고 믿었으며, 구르카족와 시크 교도, 발루치족, 라즈푸트인, 파슈툰족이 여기에 해당한다고 믿었다. 이러한 믿음은 상당히 오랜 기간 지속되었으나 시대가 지날수록 약화되었다. 전간기 인도 주둔 영국군은 전투민족 주장을 버리고 일반 인도인을 입대시킨 이후 2차대전에서 상당한 성과를 거둘 수 있었고,^[각주:44] 반면 자국민(파슈툰족)의 전투민족적 기질을 과신했던 파키스탄은 방글라데시 전쟁에서 인도군에 참패했다.#

 

이러한 믿음은 인도 외의 민족에도 적용되었으며, 영국 이외에서도 나타났다. 줄루족과 마타벨레족, 마오리 족 등이 또한 전투민족으로 분류되었고, 영국 내에서도 스코틀랜드인(하이랜더)과 얼스터인들은 전쟁에 적합한 인종적, 남성적 특질을 가지고 있다고 믿어졌다. 한편 미국에서는 이민자들이 주로 전투에 적합한 민족으로 여겨졌는데, 특히 아일랜드계와 스코틀랜드계가 그들이 거주하는 지형적 특성(산악) 및 명예 문화로 인해 전투에 적합하다고 믿어졌다.^[각주:45]

 

 

초심리학 운동(초능력)

초심리학(parapsychology)은 초능력을 과학적으로 증명하겠다는 움직임이다. 이들은 텔레파시, 염력, 끌어당김의 법칙이 실재한다고 믿으며 실험을 통해 그를 검증할 수 있다고 주장한다. 이들은 초능력을 ESP와 PK로 나누는데, ESP는 감각기관을 거치지 않은채 사물을 지각하는 것으로 투시, 텔레파시 등 일반적으로 말하는 6감을 말하고, PK는 염력처럼 인간이 신체를 쓰지 않고 환경에 영향을 주는 것을 말한다. 초심리학 지지자들은 ESP를 검증하는데 치중하고 있으며 특히 간츠펠트 실험이 초능력 현상을 잘 입증한다고^[각주:46] 주장한다. 현대과학은 초심리학이 정확한 정의를 결여하고 가설중 입증된게 없으며 비과학적이고 다른 정립된 과학들과 충돌하기 때문에 초심리학을 거부한다.^[각주:47] 캘리포니아 주 교육위원회(California state board of education)는 초심리학을 과학에서 제외하였다.^[각주:48] 

 

초능력에 대한 실제 검증은 초능력이 존재하지 않는다고 밝히고 있다. 1988년 미국 국립과학원은 130년간 수행되어온 초심리학 연구들이 모두 과학적 근거가 없다고 결론내렸다.^[각주:49] 이는 전미과학공학의학한림원(National Academies of Sciences, Engineering, and Medicine)도 마찬가지다.^[각주:50] 초심리학의 주장 중에 가장 강력히 지지받는다고 평가되는 간츠펠트 실험의 경우 제대로된 메타분석 결과 반증되었고,^[각주:51] 간츠펠트 실험에 준하는 인기를 누리는 리모트 뷰잉은 미 국방부가 오랜기간 비밀리에 연구했지만 어떠한 성과도 내지 못했다.^[각주:52] 난수발생기(RNG)를 이용해 난수에 영향을 주는 PK가 존재하는지 조사한 지지자들의 연구는 다른 연구에서 재현되지 않았고^[각주:53] 많은 표본과 피험자를 무작위추출한 연구에서는 재현되지 않았다.^[각주:54] 비슷하게 생체에 미치는 PK의 존재도 잘 정립된 연구에서는 나타나지 않았다.^[각주:55] 일부 지지자들은 꿈을 통한 텔레파시가 가능하다고 주장하지만 이것도 재현되지 않았다.^[각주:56] 초심리학 지지자들이야 자기들끼리 연구랍시고 내놓는게 있지만 과학적 방법론의 결여와 질이 떨어지는 연구로 인해 대부분 신뢰성 있는 학술지에 출간되지 못했고, 나온 연구들도 모두 재현에 실패했다. 2012년에 대릴 뱀이 잘 설계된 연구로 ESP를 입증하여 파장이 일었으나^[각주:57] 메타분석 결과 해당 연구는 재현되지 못했다.^[각주:58]

 

초심리학 지지자들의 연구는 예로부터 과학적 방법론을 결여하기로 악명높다. 많은 과학자들이 지지자들의 연구가 실험 통제가 허술하고,^[각주:59] 방법론에 허점이 있다^[각주:60]고 지적했다.^[각주:61] 이들이 수행하는 무작위추출도 실상 엉성한 경우가 대부분이고,^[각주:62] 지지자들의 연구는 심지어 2018년까지도 잘못된 실험방식이 발견된다.^[각주:63] 이들 연구가 모두 애매한 p값을 가진다는 사실도 이들이 의심받는 이유이다.^[각주:64] 

 

지지자들이 퍼낸 연구에서 나오는 긍정적인 결과는 실험자들이 정답에 대한 무의식적 신호를 보낸 결과일 수 있다.^[각주:65] 실제로 한 연구에서 맹검법을 쓰지 않으면 리모트 뷰잉의 효과가 나타남을 보여주었다.^[각주:66] 심리학자에 의해 수행된 이 연구에서 저자는 트위터를 통해 리모트 뷰잉을 조사했는데, 맹검법을 쓰지 않은 조건에서는 유의미한 리모트 뷰잉 효과가 나타났으며, 특히 심령 현상에 대한 강한 믿음을 가진 사람들의 성적이 좋았는데 실제로 지지자들은 정신적 수련을 받거나 심령 현상에 대한 믿음이 강한 사람들이 초능력이 잘 나타난다고 주장한다. 하지만 이중맹검법을 쓰자 이 효과는 사라졌다. selected participant라 불리는 사람들에게 나타난 리모트 뷰잉은 통제되지 않은 실험에서 나타나는 확증 편향의 결과로 보인다. 

 

이들의 연구를 직접 분석한 결과도 이들의 연구가 적절하지 못하다는 사실을 보여준다. 하이만은 간츠펠트 실험이 범할 수 있는 12가지 오류를 분류하고 42개의 간츠펠트 실험을 분석한 후 모든 실험이 오류를 범함을 발견했다.^[각주:67] 리모트 뷰잉을 증명했다고 <네이처> 지에 실린 연구^[각주:68]는 후속 연구에서 감각적 단서가 효과를 일으킨다는게 밝혀졌다.^[각주:69] 그리고 지지자들이 PK를 실험한 148개의 연구들은 서로 이질적이고 편향되어 있었으며 잘 설계된 연구들은 초능력을 기각했다.^[각주:70] 해당 연구는 출판 연도, 연구조작 등 초능력 이외에 다른 변수로도 설명할 수 있다.^[각주:71] PK에 대한 이들의 연구를 메타분석한 결과 연구의 질이 좋을수록 효과크기가 작아졌고,(r=-.4)^[각주:72] 이를 해석하는 과정에서 지지자들은 형편없는 표본수로 상관관계를 내려고 하는 오류를 저질렀다.^[각주:73] 라딘은 이중슬릿 실험을 통해 초능력을 증명했다고 주장했지만, 이는 실험의 결함^[각주:74]에 의한 것으로 보이며 적절한 실험절차에서 사라질 가능성이 높다.^[각주:75] 

 

더 심각한 사례는 지지자들이 가끔식 과학사기를 저질러 왔다는 사실이다. 초능력에 대한 과학적인 증명으로 여겨졌던 Creery 자매와 soal의 연구는 각각 신호 조작과 통계 조작으로 드러났다.^[각주:76] 텔레파시를 입증하여 유명세를 탔던 smith의 연구도 후에 조작이 드러났다.^[각주:77] 초심리학 운동의 시발점이었던 조셉 라인의 후계자 Levy의 경우 여러 번의 데이터조작이 드러나 결국 사임해야 했다.^[각주:78] 후대 지지자가 Levy의 연구결과가 Levy의 초능력에 의한 결과라고 주장하는 걸 보면^[각주:79] 지적 정직성과 과학적 방법에 대한 이들의 태도가 21세기에도 전혀 달라지지 않았음을 알 수 있다. 사실 초심리학 운동의 선구자 조셉 라인도 자기 연구소에서 출간된 12건의 조작된 연구를 이름을 지운 채로 올리기도 했고^[각주:80] 회의주의자 마틴 가드너는 조작이 더 있었다고 의심한다.^[각주:81] 완전한 사기는 아니지만, 위에서 리모트 뷰잉을 실험한 puthoff는 감각적 단서를 제거한 후 실험해도 효과가 나타난다고 주장했으나^[각주:82] 정작 그의 연구데이터가 공개되자 그가 감각적 단서를 제거한 적이 없음이 드러났다.^[각주:83]

 

이러한 약점은 초심리학 지지자들도 잘 알고 있으며, 이들은 아예 과학적 방법론을 사용하길 거부한다. 그들은 현재까지 실험자가 좋은 연구가 나올거라고 믿어야 좋은 연구가 나온다고 믿는다.^[각주:84] 지지자들은 연구자가 좋은 연구결과가 나올거라고 믿으면 초능력이 발휘되서 좋은 결과가 나온다고 믿으며(이를 psi expermenter effect라 한다), 심지어 이들은 앞서 서술한 명백한 과학사기조차도 부정하고 과학사기의 결과물이 사실은 초능력에 의한 것이라고 주장한다.^[각주:85] 만약 그렇다면 긍정적인 결과를 보고한 다른 초심리학 연구들은 왜 데이터조작의 흔적이 없는지(이들은 연구자의 초능력이 긍정적인 연구를 낳는다고 주장한다)는 차치하더라도 이러한 주장은 반증가능성을 거부한다. 이러한 이유로 초심리학 지지자들이 내는 연구는 대부분의 경우 책으로 나오거나, 주류 학술지에 실리지 못하고 그들만의 학술지에 실린다. 아래의 목록은 20세기의 초심리학 연구가 증거의 질이 안좋고 통제되지 않았다고 밝힌 연구목록이다. 현재 지지자들의 행태를 보면 딱히 지금이라고 다를 건 없어 보인다.

Girden, E. (1962). A review of psychokinesis (PK). Psychological Bulletin, 59(5), 353. 

Hyman, R. (1989). The elusive quarry: A scientific appraisal of psychical research. prometheus books.

Jastrow, J. (1938). ESP, house of cards. The American Scholar, 8(1), 13-22 

Moss, S., & Butler, D. C. (1978). The scientific credibility of ESP. Perceptual and Motor Skills, 46(3_suppl), 1063-1079 

Neher, A. (2013). Paranormal and Transcendental Experience: A Psychological Examination. Courier Corporation. 

Rawcliffe, D. H. (1952). The Psychology of the Occult.[With a Bibliography.]. Derricke Ridgway. 

Reed, G. (1972). The psychology of anomalous experience: A cognitive approach. 

Price, G. R. (1955). Science and the supernatural. Science, 122(3165), 359-367 

Zusne, L., & Jones, W. H. (2014). Anomalistic psychology: A study of magical thinking. Psychology Press. 

Shermer, M. (2003). Psychic drift. Why most scientists do not believe in ESP and psi phenomena. Scientific American, 288(2), 31.

 

초심리학은 과학적 방법론을 결여했고 실제 연구도 부정적이지만 그렇다고 다른 문제가 없는 건 아니다. 초심리학 지지자 사이에서 나타나는 의견차이는 심지어 초능력의 정확한 정의도 불가능하게 만든다. 어떤 현상이 초능력이려면 어떤 효과가 관찰되어야 하는지에 대한 어떠한 예측도 없이^[각주:86] 이들은 단지 무작위 검사에서 적중률이 조금이라도 우연과 다르면 무조건 초능력이라고 주장한다. 어떤 학자들은 초심리학이 130년째 초능력의 발생에 대한 어떠한 이론도 확립하지 못했다고 초심리학을 거부한다.^[각주:87] 실제로 130년이 지나갈 동안 지지자들은 psi experment dffet가 있는지, 특정 인물이 더 초능력을 잘 발휘하는지 합의를 못하고 있다.

 

초심리학의 주장이 그 어느 과학보다 엄밀하게 검증된 물리학 법칙을 무시한다는 사실도 초심리학의 크나큰 단점이다.^[각주:88] 계산에 따르면 초심리학에서 주장하는 초능력이 존재한다면, 그 힘은 너무나 강력해서 이미 발견되었어야 하며 psi expermenter effect같은건 있을수 없다.^[각주:89] 더 큰 문제는 초심리학이 모든 물리학과 대치되는 상황에서 아무런 증거도 없는데도 불구하고 폐기된 가설을 계속 물고 늘어지는 점이다.^[각주:90] 초심리학 운동은 심리학이 탄생할 때부터 시작되었지만, 심리학이 지식발전을 넘어 인간에 대한 이해를 바꾸고 있는데 비해 초심리학은 어떠한 증명도, 이론도, 발전도 없었다.^[각주:91] 심리학자 제임스 앨코크는 초심리학이 통계 결과를 신봉하기보다는 가설이 기각되면 단지 초능력이 발견되지 않은 것이라고 포장하고 수많은 효과들을 만들어내서 이를 정당화한다고 논평했다.

 

21세기에 접어들면서 초심리학 지지자들이 자기들 연구를 메타분석하여 초능력에 대한 증거라고 내미는 경향이 늘고 있다. 애초에 결함있는 이전 연구들로 만든 메타분석이 유의미할리는 없지만, 그나마 그들이 제시하는 데이터도 신빙성이 없는 경우가 많다. 이들이 간츠펠트 실험을 증명했다고 주장하는 어떤 연구^[각주:92]는 효과가 유의하지 않다고 한 일부 결과를 배제했다. 또한 실험의 질을 자기 휘하 대학원생에게 평가하게 하고 실험절차가 자세히 명시되지 않은 모든 연구는 실험방법이 정확하다고 가정하여 편향을 초래했다. 이외에도 불명확한 조작이 발견되었는데,^[각주:93] 일례로 컴퓨터를 통해 무작위 추출한 연구에서는 거의 무의미한 결과가 나온 반면 사람이 실시한 무작위추출에서는 유의미한 결과가 나타났다. 또한 표본수에 따른 가중치를 부여하지 않은채 모든 연구를 똑같이 취급하여 소수의 이상한 연구가 전체 결과에 큰 영향을 주도록 만들었다. 뱀의 연구가 증명되었다는 메타분석^[각주:94]은 이질적이었고, 효과크기도 작았으며(d=.07) 정밀성이 높은 5개 연구들은 모두 0 이하의 효과크기를 보고하였다. 다른 연구에서는 분석 방법의 문제를 지적했다.^[각주:95] 뱀이 주장한 생리적 각성에 대한 메타분석도^[각주:96] 감정 반응이 생체 반응에 앞서는 이상한 현상이 발견되어 실험의 질이 의심되며,^[각주:97] 사용된 연구 대부분이 특정 연구자의 연구이다. 

 

꿈을 통한 텔레파시에 대한 메타분석은 자료 오류에 의한 것임이 드러났고^[각주:98] 역시 재현되지 않았다.^[각주:99] 나중에 지지자들이 다시 메타분석을 했으나^[각주:100] 해당 지료는 방법론이 극히 미비한 90년대 이전 자료를 포함하고 있었고, 지지자의 주장과 달리 효과크기가 극히 작은데다 표본수가 늘어날수록 더 작아졌다. 지지자가 발견한 효과는 90년대 이전의 쓰레기 연구에 의한 결과로 보인다. 리모트 뷰잉에 관한 메타분석의 경우^[각주:101] 시간이 지나고 방법론이 발전할수록 유의미한 연구가 줄어들었으며 후속 메타분석은 효과를 부정했다.^[각주:102] 가장 형편없는 경우는 제너카드 선택에 대한 종합적 메타분석으로,^[각주:103] 분석이 형편없는건 둘째치고 아예 80년대 이전의 쓰레기 자료들로만 분석했다. 저자가 운운하는 17개의 잘 된 연구라는 말은 그냥 개소리에 불과하다. 현대 조사결과로 한 메타분석은 그나마 나았지만^[각주:104] 효과크기가 무의미했고,(d=.01) 포함 연구중 선택지가 26개가 아닌 연구들은 유의미하지 않았다.(26개 이상인 연구는 2개에 불과하다) 

 

이런 의미없는 결과는 PK에서도 이어지고 있다. 초심리학 지지자들은 중보기도와 같은 원거리 치유가 효과가 있다고 주장하는데, 다른 연구는 차치하고라도^[각주:105] 코크란 연합의 조사결과 중보기도는 아무 효과가 없었다.^[각주:106] 대체의학 추종자들은 자기들 메타분석에서는 나타났다고 주장하나,^[각주:107] 거기에 이중맹검 연구는 하나도 포함되지 않았다. 주사위^[각주:108]나 난수발생기^[각주:109]로 인간의 PK를 알아본다는 시도들은 앞서 말했듯이 편향을 모아 만든 모래성이었고 그나마도 효과크기가 무의미했다. ESP 연구에서 주장하는 효과크기(d=.21)와 비교하면 PK는 무시할 만 하다.

 

최근의 연구^[각주:110]는 20세기 중반부터 21세기에 이르는 간츠펠트 실험 연구들을 분석했는데, 분석한 결과 초능력(psi)을 지지한다는 결과 대부분을 Questionable Research Practices(QRP)로 설명할 수 있었다. QRP는 연구결과에서 편향을 만들어내는 요인으로, 출판비뚤림(publication bias), 실험자 편향(experimental bias), p 해킹(p hacking) 등이 여기 해당한다. 연구자들은 실험심리학(더 질 좋은 과학)에서 나타나는 QRP를 선정하고 무의미한 데이터에 QRP 효과를 적용하여 시뮬레이션한 뒤 이를 실제 초심리학 연구들에 적용하였다. 그 결과 간츠펠트 연구결과의 2%만이 설명되지 않았으며 효과크기의 60%를 QRP 효과로 설명할 수 있었다. 초심리학 지지자들은 간츠펠트 실험의 적중률이 31%(d=.11)라 보고했지만 그 중 27%는 QRP에 의한 우연의 효과이며, 시뮬레이션한 결과와 실제 결과의 p값 분포가 차이가 없었다. 명심할 점은 이 연구가 실험자 편향처럼 가장 의심되는 편향은 연구에 포함하지 않았다는 점이다. 설명되지 않은 2%는 편향의 결과일 가능성이 높다. 다른 연구에서는^[각주:111] Registered Report(RR) 절차를 통해 QRP 위험을 최소화한 초능력 실험을 그렇지 않은 실험과 비교했는데, RR을 실시한 131개 실험 중 11개(8.4%)만 유의미한 결과를 보고했다. 인구가중치를 고려하지 않으면 이는 우연에 의해 예상되는 효과(5%)와 통계적 차이가 없었다.^[각주:112] 이러한 결과들은 초능력 지지자들이 메타분석에서 주장하는 초능력의 증거가 QRP의 결과임을 강하게 보여준다.

 

최근의 메타분석 문헌들에서 초심리학 지지자들은 질이 좋은 연구일수록 효과가 증명된다고 주장하지만, 이들은 감각 단서나 무작위 추출과 같은 실제 연구의 질과 관련된 요소는 배격하거나 조사하지 않는다.^[각주:113] 무엇보다 가장 큰 문제는 지지자들이 낮은 p를 모두 초능력의 증거로 해석한다는 점이다.^[각주:114] 물론 표본이 적당한 경우 유의한 p가 유의미한 결과를 의미하지만 일단 표본수가 700을 넘기 시작하면 문제가 생기기 시작한다. 막말로 완전한 무작위는 존재하지 않고, 어떻게 그룹을 나누건 반드시 사소한 차이라도 존재하기 때문에 심지어 무슨 측정치든 거주하는 주로만 나눠도 낮은 p가 나타난다.^[각주:115] 그렇기 때문에 효과크기가 중요한데, ESP 중 가장 결과가 탄탄한 간츠펠트 실험이 QRP를 제거하면 효과크기가 작고(d=.04)^[각주:116] 뱀에 대한 메타분석도 적절하게 평가하면 효과크기가 작아지며(d=.07)^[각주:117] 이는 뱀 자신^[각주:118]도 보고한 수치이다. 노이즈로 인해 더 약한 효과가 예상되는 다른 ESP들은 더 작을 것으로 기대된다. 다른 pk들의 주장되는 효과(d=.01-04)^[각주:119]들은 그냥 무시해도 된다. 이와같이 초심리학에서 보여주는 초능력의 효과들은 그냥 없다고 봐도 무방하다.^[각주:120] 결국 엉성한 실험과 과학적 방법론에 대한 거부, 무의미한 효과크기, 과학계에서 재현되지 못하는 연구는 초심리학의 실제 위치를 잘 드러내준다. 

 

이 분야의 주요 연구자로는 하이만(Hyman), 데릴 뱀(Bem), 리처드 와이즈만(Richard Wiseman), 제임스 앨코크가 있다. 하이만은 유명한 초심리학 비판자이고, 뱀과 와이즈만은 심리학자이다. Cerdena, 딘 라딘(Dean Radin), Storm은 연구자로서의 자격이 심히 의심된다. 이중 라딘은 데이터조작 의혹이 있다.

 

 

평행이론

평행이론은 서로 다른 시대를 사는 두 사람의 운명이 같은 패턴으로 전개될 수 있다는 주장으로, 그것이 단순한 우연을 넘어선 무언가가 있다는 믿음이다. 대표적인 사례가 링컨과 케네디의 유사성인데, 둘 다 60년에 당선된 점, 인권에 관심을 가진 점, 후임자가 존슨이라는 점 등 두 사람의 인생이 놀랄만큼 비슷하여 평행이론에서는 뭔가가 있다는 식으로 서술이 이어진다. 이러한 주장은 앤 랜더스(Ann Landers)에 의해 대중에 유행하였다.

 

이러한 유사성은 링컨과 케네디에게만 있는건 아니다. 평행이론의 신봉자들은 잘 모르지만, 사실 윌리엄 매킨리와 제임스 가필드도 놀랄 만한 유사성이 있다. 

 

• 둘 다 오하이오에서 태어나 성장했다.
• 둘 다 남북전쟁 참전용사이다.
• 둘 다 하원의원을 지냈다.
• 둘 다 금본위제와 관세를 지지하였다.
• 두 명의 성은 모두 알파벳 8글자이다.
• 둘 다 임기 첫 해 9월에 암살당했으며, 뉴욕 출신의 부통령이 그들을 계승하였다.
• 두 명의 뒤를 이은 대통령(시어도어 루스벨트와 체스터 아서)은 모두 이름이 알파벳 17글자이며, 턱수염을 길렀다.
• 암살자의 이름이 모두 외국식이다.(귀터와 촐고스)

 

정말 매킨리와 가필드에게 모종의 연관이 있는걸까? 사실 이런 관계는 누구를 대상으로도 만들 수 있다. 실제로 회의주의자이자 프로그래머인 존 리비(John Leevy)는 으스스한 대통령 동시발생 콘테스트(spooky presidential coincidences contest)라는 프로그램을 만들어 돌려본 결과, 해리슨과 재커리 테일러, 포크와 카터, 링컨과 잭슨, 제퍼슨과 닉슨, 워싱턴과 아이젠하워, 그랜트와 닉슨, 매디슨과 윌슨 사이에서 그런 관계를 만들 수 있었다.^[각주:121] 이는 순전히 우연의 일치로 발생한 현상으로, 사실 기본적으로 수십년을 산 두 대통령의 삶에서 비슷한 점이 하나도 없으면 그게 더 이상하다.^[각주:122] 사실 필자도 한국 대통령 2명(최규하와 김영삼)을 무작위로 선택하여 유사점을 살펴보았는데, 그 결과 링컨-케네디와 마찬가지로 여러가지 유사점을 발견할 수 있었다.

 

• 둘 다 87년을 살았다. 
• 일본과의 회담에 대표로 참여하였다. 최규하는 58년에 한국측 대표로 참여하였고, 김영삼은 96년 한일정상회담에 대정상으로 참여하였다. 
• 둘 다 역사 관련 사업에 종사하였다. 최규하는 민족사바로찾기국민회의 의장을 지냈고, 김영삼은 쇠말뚝 제거와 경복궁 복원 등을 추진하였다.
• 둘 다 김종필과 면식이 있다.
• 둘 다 급성 심부전으로 사망하였다.
• 둘 다 종로구 연건동의 서울대병원에서 사망하였다.

 

 

 

 

필체분석

필체분석(graphology, 필적분석)은 사람의 필체를 보고 그 사람의 성격이나 능력을 알 수 있다는 주장이다. 그 연원은 매우 오래되었으며, 셜록 홈즈에서도 사실인 것 마냥 소개되어 있고 현대에도 일부 필적감정사들이 믿고 있다.(가히 모자철학의 효시가 아닐 수 없다) 자칭 필체로 사람의 심리를 분석할 수 있다는 필체분석가들은 필체의 글자의 형태, 크기, 기울어짐, 필압 등으로 글씨를 쓴 사람을 분석하려고 든다. 1989년에 수행된 메타분석에서 보고된 바에 따르면^[각주:123] 이 자칭 성격을 분석한다는 애들이 실제로 알아낸 것은 하나도 없었으며 모든 항목에서 심리학자들이 필체분석가들을 능가했다. 그러나 다른 미신들이 그렇듯이 이들도 사멸하지 않고 활동하고 있다. 주요 서식지는 유럽이며, 특히 프랑스에서는 필체분석이 인사선발에 매우 널리 쓰인다고 한다. 괜히 유럽이 뒤쳐진게 아니다.

1. Ernst, E. (2002). A systematic review of systematic reviews of homeopathy. British journal of clinical pharmacology, 54(6), 577-582;Shang, A., Huwiler-Müntener, K., Nartey, L., Jüni, P., Dörig, S., Sterne, J. A., ... & Egger, M. (2005). Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. The Lancet, 366(9487), 726-732. [본문으로]
2. 양기상. "類型體質鑑別의 免疫血液學的 硏究." 국내박사학위논문 慶熙大學校, 1982. 서울;김수범. "四象體質鑑別을 위한 專門家 시스템의 知識베이스 構築에 關한 硏究." 국내석사학위논문 慶熙大學校, 1989. 서울;허만회. "四象人의 形態學的 圖式化에 관한 연구." 국내석사학위논문 경희대학교 대학원, 1994. 서울 [본문으로]
3. 송지영,박병관,고병희,이정호,장환일,and 전성일. "신체형장애의 신체증상에 대한 이제마(李濟馬)의 사상체질의학 이론의 적용에 관한 연구." 신경정신의학 32.6 (1993): 863-885. [본문으로]
4. 민성길,김동기,박진균,and 전세일. "사상체질론의 정신의학적 타당성에 대한 연구." 신경정신의학 40.3 (2001): 396-406. [본문으로]
5. 홍순용 & 이을호. 사상의학원론.행림.1985 [본문으로]
6. 송지영,박병관,고병희,이정호,장환일,and 전성일. "신체형장애의 신체증상에 대한 이제마(李濟馬)의 사상체질의학 이론의 적용에 관한 연구." 신경정신의학 32.6 (1993): 863-885. [본문으로]
7. 김규곤, 김종원, & 이의주. (2006). 사상체질분류함수의 개발을 위한 판별분석과 군집분석의 비교 연구. Journal of The Korean Data Analysis Society, 8(1), 93-104. [본문으로]
8. Beum, S. G., Jeon, M. R., & Oh, A. S. (2008). Study on Development of Classification Model and Implementation for Diagnosis System of Sasang Constitution. In Proceedings of the Korean Institute of Information and Commucation Sciences Conference (pp. 155-159). The Korea Institute of Information and Commucation Engineering;권철홍, 김종열, & 한성만. (2011). 사상체질과 음성특징과의 상관관계 연구. 대전대학교 한의학연구소 논문집, 19(2), 219-228. [본문으로]
9. 김선호 et al, 1996 [본문으로]
10. 백영화 et al, 2015 [본문으로]
11. Jang et al, 2012 [본문으로]
12. 김영우 et al, 2003;최경주 et al, 2006 [본문으로]
13. 김윤영(Yunyoung Kim),and 장은수(Eunsu Jang). "단축형 사상체질 진단 설문지(KS-15)의 검사-재검사 신뢰도 연구." 동의생리병리학회지 30.3 (2016): 177-183. [본문으로]
14. 김상혁, 이시우, 이준희, & 이의주, 2015 [본문으로]
15. 백영화 et al, 2014 [본문으로]
16. 최경주 et al, 2006 [본문으로]
17. Edman, J. L., & Koon, T. Y. (2000). Mental illness beliefs in Malaysia: Ethnic and intergenerational comparisons. International journal of social psychiatry, 46(2), 101-109;Samano, E. S. T., Goldenstein, P. T., Ribeiro, L. D. M., Lewin, F., Valesin Filho, E. S., Soares, H. P., & Giglio, A. D. (2004). Praying correlates with higher quality of life: results from a survey on complementary/alternative medicine use among a group of Brazilian cancer patients. Sao Paulo Medical Journal, 122, 60-63. [본문으로]
18. Barnes, P., Powell-Griner, E., McFann, K., & Nahin, R. (2002). CDC advance data report# 343. Complementary and alternative medicine use among adults: United States, 2004. [본문으로]
19. Yeh, G. Y., Eisenberg, D. M., Davis, R. B., & Phillips, R. S. (2002). Use of complementary and alternative medicine among persons with diabetes mellitus: results of a national survey. American Journal of Public Health, 92(10), 1648-1652. [본문으로]
20. Ironson, G., Stuetzle, R., & Fletcher, M. A. (2006). An increase in religiousness/spirituality occurs after HIV diagnosis and predicts slower disease progression over 4 years in people with HIV. Journal of general internal Medicine, 21(5), S62-S68. [본문으로]
21. Bearon, L. B., & Koenig, H. G. (1990). Religious cognitions and use of prayer in health and illness. The Gerontologist, 30(2), 249-253. [본문으로]
22. Tracy, M. F., Lindquist, R., Savik, K., Watanuki, S., Sendelbach, S., Kreitzer, M. J., & Berman, B. (2005). Use of complementary and alternative therapies: a national survey of critical care nurses. American Journal of Critical Care, 14(5), 404-415. [본문으로]
23. Masters, K. S., Spielmans, G. I., & Goodson, J. T. (2006). Are there demonstrable effects of distant intercessory prayer? A meta-analytic review. Annals of behavioral medicine, 32(1), 21-26. [본문으로]
24. William James.'종교적 경험의 다양성'.김재영 역.한길.2000 [본문으로]
25. Cohen, S., Doyle, W. J., Turner, R., Alper, C. M., & Skoner, D. P. (2003). Sociability and susceptibility to the common cold. Psychological science, 14(5), 389-395;Kiecolt-Glaser, J. K., McGuire, L., Robles, T. F., & Glaser, R. (2002). Emotions, morbidity, and mortality: New perspectives from psychoneuroimmunology. Annual review of psychology, 53(1), 83-107;Koenig, H. G. (2001). Religion and medicine III: Developing a theoretical model. The International Journal of Psychiatry in Medicine, 31(2), 199-216. [본문으로]
26. Masters, K. S., & Spielmans, G. I. (2007). Prayer and health: Review, meta-analysis, and research agenda. Journal of behavioral medicine, 30(4), 329-338;Masters, K. S., Spielmans, G. I., & Goodson, J. T. (2006). Are there demonstrable effects of distant intercessory prayer? A meta-analytic review. Annals of behavioral medicine, 32(1), 21-26. [본문으로]
27. Benson, H., Dusek, J. A., Sherwood, J. B., Lam, P., Bethea, C. F., Carpenter, W., ... & Hibberd, P. L. (2006). Study of the Therapeutic Effects of Intercessory Prayer (STEP) in cardiac bypass patients: a multicenter randomized trial of uncertainty and certainty of receiving intercessory prayer. American heart journal, 151(4), 934-942. [본문으로]
28. Benson, H., Dusek, J. A., Sherwood, J. B., Lam, P., Bethea, C. F., Carpenter, W., ... & Hibberd, P. L. (2006). Study of the Therapeutic Effects of Intercessory Prayer (STEP) in cardiac bypass patients: a multicenter randomized trial of uncertainty and certainty of receiving intercessory prayer. American heart journal, 151(4), 934-942. [본문으로]
29. Ellison, C. G., Boardman, J. D., Williams, D. R., & Jackson, J. S. (2001). Religious involvement, stress, and mental health: Findings from the 1995 Detroit Area Study. Social forces, 80(1), 215-249. [본문으로]
30. 이상 구중회. 한국명리학의 역사적 연구. 국학자료원. 2010,p22 [본문으로]
31. 이상 김기. 음양오행설의 이해. 문사철,2016,pp304-311 [본문으로]
32. 아부태산의 '사주추명오비전' [본문으로]
33. 이상 김기. 음양오행설의 이해. 문사철,2016,p323 [본문으로]
34. 김만태. 한국사주명리연구. 민속원.2011,pp516-520 [본문으로]
35. 김만태. 한국사주명리연구. 민속원.2011,pp102-126 [본문으로]
36. 이능화. 조선도교사. 보성문화사.2000 [본문으로]
37. 이상 김만태. 한국사주명리연구. 민속원.2011 [본문으로]
38. 송진휘, 2010 [본문으로]
39. 노민영. "아동의 오행에 따른 성격 및 학습유형의 차이." 국내석사학위논문 동아대학교 대학원, 2012. 부산 [본문으로]
40. 김은미, 2023 [본문으로]
41. Marshall, E. (1980). Police Science and Psychics: Atlanta consults a seer from New Jersey to help solve a series ofmurders. Science, 210(4473), 994-995. [본문으로]
42. Reiser, M., Ludwig, L., Saxe, S., & Wagner, C. (1979). An evaluation of the use of psychics in the investigation of major crimes. Journal of Police Science & Administration;Hines, T. (1988). Pseudoscience and the paranormal: A critical examination of the evidence. Prometheus Books. [본문으로]
43. Lee, M. S., Pittler, M. H., & Ernst, E. (2008). Effects of reiki in clinical practice: a systematic review of randomised clinical trials. International journal of clinical practice, 62(6), 947-954. [본문으로]
44. Mansoor, P. R., & Murray, W. (Eds.). (2019). The culture of military organizations. Cambridge University Press.pp121-154 [본문으로]
45. Mansoor, P. R., & Murray, W. (Eds.). (2019). The culture of military organizations. Cambridge University Press.p39 [본문으로]
46. Storm, L., Tressoldi, P. E., & Di Risio, L. (2010). “Meta-analysis of free-response studies, 1992–2008: Assessing the noise reduction model in parapsychology”: Correction to Storm, Tressoldi, and Di Risio (2010). [본문으로]
47. Pitt, J. C., & Pera, M. (Eds.). (2012). Rational changes in science: essays on scientific reasoning (Vol. 98). Springer Science & Business Media. [본문으로]
48. Pitt, J. C., & Pera, M. (Eds.). (2012). Rational changes in science: essays on scientific reasoning (Vol. 98). Springer Science & Business Media. [본문으로]
49. Druckman, D., & Swets, J. A. (Eds.). (1988). Enhancing human performance: Issues, theories, and techniques. National Academies Press [본문으로]
50. Gilovich, T. (2008). How we know what isn't so. Simon and Schuster. [본문으로]
51. Milton, J., & Wiseman, R. (1999). Does psi exist? Lack of replication of an anomalous process of information transfer. Psychological Bulletin, 125(4), 387. [본문으로]
52. Douglas Waller,'The Vision Thing', Time, 1995년 12월 11일자,p45 [본문으로]
53. Pigliucci, M. (2010). Nonsense on stilts: How to tell science from bunk. University of Chicago Press.에서 재인용 [본문으로]
54. Bösch, H., Steinkamp, F., & Boller, E. (2006). Examining psychokinesis: The interaction of human intention with random number generators--A meta-analysis. Psychological bulletin, 132(4), 497 [본문으로]
55. Schmidt, S., Schneider, R., Utts, J., & Walach, H. (2004). Distant intentionality and the feeling of being stared at: Two meta‐analyses. British Journal of Psychology, 95(2), 235-247 [본문으로]
56. Belvedere, E., & Foulkes, D. (1971). Telepathy and dreams: A failure to replicate. Perceptual and Motor Skills, 33(3), 783-789;Foulkes, D., Belvedere, E., Masters, R. E. L., Houston, J., Krippner, S., Honorton, C., & Ullman, M. (1972). Long-Distance,“Sensory-Bombardment” ESP in Dreams: A Failure to Replicate. Perceptual and Motor Skills, 35(3), 731-734 [본문으로]
57. Bem, 2011 [본문으로]
58. Galak, J., LeBoeuf, R. A., Nelson, L. D., & Simmons, J. P. (2012). Correcting the past: Failures to replicate psi. Journal of Personality and Social Psychology, 103(6), 933;Rabeyron, T. (2014). Retro-priming, priming, and double testing: psi and replication in a test–retest design. Frontiers in Human Neuroscience, 8, 154. [본문으로]
59. Wiseman, R., Smith, M., & Kornbrot, D. (1994). Assessing possible sender-to-experimenter acoustic leakage in the PRL autoganzfeld. In Proceedings of Presented Papers: The Parapsychological Association 37th Annual Convention (pp. 439-454). [본문으로]
60. Lobach, E., & Bierman, D. J. (2004, August). The invisible gaze: Three attempts to replicate Sheldrake’s staring effects’. In Proceedings of Parapsychology Association Annual Convention. [본문으로]
61. Akers, C. (2007). Methodological Criticisms of Parapsychology, Advances in Parapsychological Research 4. PesquisaPSI. Retrieved, 07-30;Child, I. L. (2007). Criticism in Experimental Parapsychology, Advances in Parapsychological Research 5. Pesq uisaPSI. Retrieved, 07-30. [본문으로]
62. Hyman, R. (1988). Psi experiments: Do the best parapsychological experiments justify the claims for psi?. Experientia, 44(4), 315-322. [본문으로]
63. Walleczek, J. (2019). False-positive Effect in the Radin Double-slit Experiment on Observer Consciousness as Determined with the Advanced Meta-experimental Protocol (AMP). Frontiers in psychology, 10, 1891. [본문으로]
64. Reber, A. S., & Alcock, J. E. (2019). Searching for the impossible: Parapsychology’s elusive quest. American Psychologist [본문으로]
65. Diaconis, P. (1978). Statistical problems in ESP research. Science, 201(4351), 131-136 [본문으로]
66. Wiseman, R., & Watt, C. (2010). ‘Twitter’as a new research tool: A mass participation test of remote viewing. European Journal of Parapsychology, 25, 89-100. [본문으로]
67. Hyman, R. (2007). Evaluating parapsychological claims. Critical thinking in psychology, 216-231 [본문으로]
68. Tart, Puthoff, & Targ, 1980 [본문으로]
69. Marks, D., & Kammann, R. (1978). Information transmission in remote viewing experiments. Nature, 274(5672), 680-681;Marks, D. (1981). Sensory cues invalidate remote viewing experiments. Nature, 292(5819), 177-177. [본문으로]
70. Radin & Ferrari, 1991 [본문으로]
71. Wilson, D. B., & Shadish, W. R. (2006). on blowing trumpets to the tulips: To prove or not to prove the null hypothesis--Comment on Bösch, Steinkamp, and Boller (2006). [본문으로]
72. Schmidt, S., Cardeña, E., Palmer, J., & Marcusson-Clavertz, D. (Eds.) (2015). Parapsychology: A handbook for the 21st century. Jefferson, NC: McFarland [본문으로]
73. Storm, Tressoldi, Risio, 2012,p22 [본문으로]
74. Pallikari, F. (2015). Investigating the nature of Intangible brain-machine interaction. arXiv preprint arXiv:1507.02219;Tremblay, N. (2019). Independent re-analysis of alleged mind-matter interaction in double-slit experimental data. PloS one, 14(2). [본문으로]
75. Walleczek, J. (2019). False-positive Effect in the Radin Double-slit Experiment on Observer Consciousness as Determined with the Advanced Meta-experimental Protocol (AMP). Frontiers in psychology, 10, 1891. [본문으로]
76. Hyman, R. (1989). The elusive quarry: A scientific appraisal of psychical research. prometheus books;Scott, C., & Haskell, P. (1973). General:“Normal” Explanation of the Soal–Goldney Experiments in Extrasensory Perception. Nature, 245(5419), 52. [본문으로]
77. Neher, A. (2013). Paranormal and Transcendental Experience: A Psychological Examination. Courier Corporation. [본문으로]
78. McBurney, D. H., & White, T. L. (2009). Research methods. Cengage Learning;Neher, A. (2013). Paranormal and Transcendental Experience: A Psychological Examination. Courier Corporation. [본문으로]
79. cardena, 2018 [본문으로]
80. Tyson, P. J., Jones, D., & Elcock, J. (2011). Psychology in social context: Issues and debates. John Wiley & Sons. [본문으로]
81. Frazier, K. (1991). The Hundredth Monkey: And Other Paradigms of the Paranormal. Prometheus Books [본문으로]
82. Puthoff & Targ, 1981 [본문으로]
83. Hines, T. (2003). Pseudoscience and the paranormal: A critical examination of the evidence. Prometheus Books [본문으로]
84. Kennedy, 2013 [본문으로]
85. Cardena, 2018 [본문으로]
86. Hyman, R. (1995). Evaluation of the program on anomalous mental phenomena. Journal of Parapsychology, 59, 321-352;Marks, D. F. (1986). Investigating the paranormal. Nature, 320(6058), 119-124 [본문으로]
87. Flew, A. (1989). The problem of evidencing the improbable and the impossible. Exploring the paranormal, 313-327 [본문으로]
88. Friedlander, M. W. (2018). At the fringes of science. Routledge;Reber, A. S., & Alcock, J. E. (2019). Searching for the impossible: Parapsychology’s elusive quest. American Psychologist;Bunge, M. (1983). Treatise on basic philosophy: Volume 6: Epistemology & methodology II: Understanding the world (Vol. 6). Springer Science & Business Media [본문으로]
89. Taylor, J. G. (1980). Science and the supernatural: an investigation of paranormal phenomena including psychic healing, clairvoyance, telepathy, and precognition by a distinguished physicist and mathematician. Temple Smith. [본문으로]
90. Cordón, L. A. (2005). Popular psychology: an encyclopedia. Greenwood Publishing Group [본문으로]
91. Bunge, M. (1983). Treatise on basic philosophy: Volume 6: Epistemology & methodology II: Understanding the world (Vol. 6). Springer Science & Business Media. [본문으로]
92. Storm, L., Tressoldi, P. E., & Di Risio, L. (2010). Meta-analysis of free-response studies, 1992–2008: Assessing the noise reduction model in parapsychology. Psychological Bulletin, 136(4), 471 [본문으로]
93. Rouder, J. N., Morey, R. D., & Province, J. M. (2013). A Bayes factor meta-analysis of recent extrasensory perception experiments: Comment on Storm, Tressoldi, and Di Risio (2010) [본문으로]
94. Bem, D., Tressoldi, P., Rabeyron, T., & Duggan, M. (2015). Feeling the future: A meta-analysis of 90 experiments on the anomalous anticipation of random future events. F1000Research, 4. [본문으로]
95. Lakens, D., Hilgard, J., & Staaks, J. (2016). on the reproducibility of meta-analyses: Six practical recommendations. BMC psychology, 4(1), 24;Witte, E. H., & Zenker, F. (2017). From discovery to justification: outline of an ideal research program in empirical psychology. Frontiers in psychology, 8, 1847. [본문으로]
96. Mossbridge, J., Tressoldi, P. E., Utts, J., Ives, J., Radin, D., & Jonas, W. (2014). Predicting the unpredictable: critical analysis and practical implications of predictive anticipatory activity. Frontiers in Human Neuroscience, 8, 146 [본문으로]
97. Schwarzkopf, D. S. (2018). on the plausibility of scientific hypotheses: Commentary on Mossbridge and Radin (2018). [본문으로]
98. Watt, C., & Valášek, M. (2015). Postscript to Watt (2014) on precognitive dreaming: Investigating anomalous cognition and psychological factors. 79(1) [본문으로]
99. Watt, C., Vuillaume, L., & Wiseman, R. (2015). Dream precognition and sensory incorporation: A controlled sleep laboratory study. Journal of Consciousness Studies, 22(5-6), 172-190. [본문으로]
100. Storm et al, 2017 [본문으로]
101. Dunne, B. J., & Jahn, R. G. (2003). Information and uncertainty in remote perception research. Journal of Scientific Exploration, 17(2), 207-241. [본문으로]
102. Storm, L., Tressoldi, P. E., & Di Risio, L. (2010). Meta-analysis of free-response studies, 1992–2008: Assessing the noise reduction model in parapsychology. Psychological Bulletin, 136(4), 471. [본문으로]
103. Honorton & Ferrari, 1989 [본문으로]
104. Storm, Tressoldi, Risio, 2012 [본문으로]
105. Masters, K. S., Spielmans, G. I., & Goodson, J. T. (2006). Are there demonstrable effects of distant intercessory prayer? A meta-analytic review. Annals of Behavioral Medicine, 32(1), 21-26 [본문으로]
106. Roberts, L., Ahmed, I., & Davison, A. (2009). Intercessory prayer for the alleviation of ill health. Cochrane Database of Systematic Reviews, (2). [본문으로]
107. Roe, Sonnex, & Roxburgh, 2015 [본문으로]
108. Radin & Ferrari, 1991 [본문으로]
109. Bösch, H., Steinkamp, F., & Boller, E. (2006). Examining psychokinesis: The interaction of human intention with random number generators--A meta-analysis. Psychological bulletin, 132(4), 497 [본문으로]
110. Bierman, D. J., Spottiswoode, J. P., & Bijl, A. (2016). Testing for questionable research practices in a meta-analysis: An example from experimental parapsychology. PloS one, 11(5), e0153049. [본문으로]
111. Wiseman, R., Watt, C., & Kornbrot, D. (2019). Registered reports: an early example and analysis. PeerJ, 7, e6232. [본문으로]
112. 저자는 인구가중치를 고려한 메타분석을 실시하지 않았다 [본문으로]
113. cardena, 2018 [본문으로]
114. Reber, A. S., & Alcock, J. E. (2019). Searching for the impossible: Parapsychology’s elusive quest. American Psychologist. [본문으로]
115. Bakan, D. (1966). The test of significance in psychological research. Psychological bulletin, 66(6), 423 [본문으로]
116. d=.11에서 60%는 QRP의 영향이므로 역산하면 .04 Bierman, D. J., Spottiswoode, J. P., & Bijl, A. (2016). Testing for questionable research practices in a meta-analysis: An example from experimental parapsychology. PloS one, 11(5), e0153049. [본문으로]
117. Witte, E. H., & Zenker, F. (2017). From discovery to justification: outline of an ideal research program in empirical psychology. Frontiers in psychology, 8, 1847 [본문으로]
118. Bem, D., Tressoldi, P., Rabeyron, T., & Duggan, M. (2015). Feeling the future: A meta-analysis of 90 experiments on the anomalous anticipation of random future events. F1000Research, 4. [본문으로]
119. cardena, 2018 [본문으로]
120. d<0.1이면 no effect로 분류되었다. Cohen, J. (2013). Statistical power analysis for the behavioral sciences. Routledge [본문으로]
121. Dudley, U. (1998). Numerology: Comes the Revolution. Skeptical Inquirer, 22, 29-31. [본문으로]
122. Martin, B. (1998). Coincidences: remarkable or random. Skeptical Inquirer, 22(5), 23-28. [본문으로]
123. Neter, E., & Ben-Shakhar, G. (1989). The predictive validity of graphological inferences: A meta-analytic approach. Personality and Individual differences, 10(7), 737-745;Ben-Shakhar, G., Bar-Hillel, M., Bilu, Y., Ben-Abba, E., & Flug, A. (1986). Can graphology predict occupational success? Two empirical studies and some methodological ruminations. Journal of applied psychology, 71(4), 645 [본문으로]