초심리학의 이해와 역사

초심리학은 초능력을 연구하는 유사과학을 말한다. 아마 정상적인 사람은 초능력을 믿지 않을 것이다. 그리고 과학자들도 그렇다. 초능력을 진지하게 믿는 과학자는 소수이며, 실제 과학적 검증 결과도 초능력에 하나같이 부정적이다. 그럼에도 초심리학의 역사는 과학적 방법론 발전의 역사와도 궤를 같이했고, 지금도 과학적 방법론의 발전에 적잖이 기여하고 있다.

 

이 분야의 주요 연구자로는 하이만(Hyman), 데릴 뱀(Bem), 리처드 와이즈만(Richard Wiseman), 제임스 앨코크가 있다. 하이만은 유명한 초심리학 비판자이고, 뱀과 와이즈만은 심리학자이다. Cerdena, 딘 라딘(Dean Radin), Storm은 연구자로서의 자격이 심히 의심된다. 이중 라딘은 데이터조작 의혹이 있다.

 

 

개요

초심리학(parapsychology)은 초능력을 과학적으로 증명하겠다는 움직임이다. 이들은 텔레파시, 염력, 끌어당김의 법칙이 실재한다고 믿으며 실험을 통해 그를 검증할 수 있다고 주장한다. 이들은 초능력을 ESP와 PK로 나누는데, ESP는 감각기관을 거치지 않은채 사물을 지각하는 것으로 투시, 텔레파시 등 일반적으로 말하는 6감을 말하고, PK는 염력처럼 인간이 신체를 쓰지 않고 환경에 영향을 주는 것을 말한다. 초심리학 지지자들은 ESP를 검증하는데 치중하고 있으며 특히 간츠펠트 실험이 초능력 현상을 잘 입증한다고^[각주:1] 주장한다. 그러나 실제 과학적 증거는 오히려 초능력의 존재를 반대한다.

 

주류 과학에서는 초심리학을 거부한다. 초심리학이 정확한 정의를 결여하고 가설 중 입증된 게 없으며 비과학적이고 다른 정립된 과학들과 충돌하기 때문이다.^[각주:2] 1988년 미국 국립과학원은 130년간 수행되어온 초심리학 연구들이 모두 과학적 근거가 없다고 결론내렸고^[각주:3] 이는 전미과학공학의학한림원(National Academies of Sciences, Engineering, and Medicine)도 마찬가지다.^[각주:4] 캘리포니아 주 교육위원회(California state board of education)도 마찬가지로 초심리학을 과학에서 제외하였다.^[각주:5] 

 

이는 초능력에 대한 실제 검증 결과가 초능력에 하나같이 부정적이기 때문이다. 이상하게 초능력을 검증하는 실험은 초능력을 부정하거나, 다른 과학자들이 실시하면 반복검증이 안되거나, 제대로 메타분석을 해보면 초능력을 부정한다. 최초의 초심리학 실험인 라인의 제너카드 실험은 반복검증되지 않았다.^[각주:6] 이후 초능력 추종자들은 간츠펠트 실험을 초능력에 대한 최고의 증거로 치는데, 메타분석 결과 간츠펠트 실험에서 초능력은 전혀 보이지 않는다.^[각주:7] 간츠펠트 실험에 준하는 인기를 누리는 리모트 뷰잉은 미 국방부까지 나서서 오랜기간 비밀리에 연구했지만 어떠한 성과도 내지 못했고,^[각주:8] 꿈을 통한 텔레파시도 과학자들이 반복검증하면 사라진다.^[각주:9] 2012년에 심리학자 대릴 뱀이 잘 설계된 연구로 ESP를 입증하여 파장이 일었으나^[각주:10] 일련의 재현시도^[각주:11]와 함께 preregistered된 재현실험^[각주:12]과 메타분석 결과^[각주:13] 또 한번 재현에 실패했다.

 

PK는 사정이 더 열악하다. 초능력 지지자들은 사람의 초능력(PK)가 난수발생기(RNG)에 영향을 끼친다고 주장하지만, 실제 그들의 연구는 다른 연구에서 재현되지 않고^[각주:14] 무선할당을 제대로 하고 표본을 늘린 제대로 된 연구일수록 특히 재현이 안된다.^[각주:15] 비슷하게 생체에 미치는 PK의 존재도 잘 정립된 연구에서는 나타나지 않고,^[각주:16] 전반적인 PK도 마찬가지여서 연구가 과학적으로 엄밀할수록 효과크기가 작아진다(r=-.4).^[각주:17]

 

한 흥미로운 연구에서는^[각주:18] Registered Report(RR) 절차를 통해 QRP 위험을 최소화한 초능력 실험을 그렇지 않은 실험과 비교했다. 90년대 후반에 초심리학이 형편없는 방법론 문제로 후두려맞자 이들은 오해를 불식시키기 위해 연구결과 발표 전에 연구논문의 게재를 심사받는 RR 절차를 도입했는데, 연구자는 이 시기의 데이터를 조사하였다. 조사결과 RR을 실시한 131개 실험 중 11개(8.4%)만 유의미한 결과를 보고했고, 인구가중치를 고려하지 않으면 이는 우연에 의해 예상되는 효과(5%)와 통계적 차이가 없었다.^[각주:19] 이러한 결과들은 초능력 지지자들이 메타분석에서 주장하는 초능력의 증거가 QRP의 결과임을 강하게 보여준다.

 

사실 초심리학에 대한 인식은 지금 최악을 달리고 있지만, 과거에는 그렇지 않았다. 주요 과학자 중에도 진지하게 초심리학에 참여하는 사람들도 많았고, 20세기 중반에 초심리학의 아버지 조셉 라인(Joseph Rhine, 1895-1980)이 제너 카드를 통해 초능력이 실존한다는 연구^[각주:20]를 발표하면서 이들의 연구가 주요 과학 저널에 실리기도 하였다.^[각주:21] 그러나 시간이 지나면서 과학적 오류가 속속들이 밝혀지고, 반복검증이 되는게 뭐하나 없는 일이 반복되자 결국 과학자들은 초심리학을 버리게 되었다. 초심리학자 본인들도 이걸 알아서 registered report 절차를 도입하는 등 노력을 했지만, 그럼에도 오류는 계속해서 발견되며 registered report는 초능력 부재의 증거를 너무 명확하게 보여주자 슬그머니 철회하였다.^[각주:22]

 

초심리학의 과학적 문제점

과학자들이 초능력을 불신하는 이유는 이들이 과학적으로 너무 허술하기 때문이다. 초심리학자들의 연구는 하나같이 실험 통제가 부실하고 과학적 방법론이 결여되어 있다. 그 결과 실험자 편향에 극히 취약하고, 반대로 실험자 편향이 없는 다른 과학자들이 실험을 반복검증하면 곧바로 폐기되는 일이 빈번하다. 게다가 이들은 과학사기도 빈번하게 저질러서 도저히 신뢰할 수가 없는 수준이다. 이때문에 많은 과학자들은 초능력 논문이 주요 저널에 실리지 않으면 이들을 거들떠도 보지 않는다.

 

초심리학은 과학적 방법론을 결여했고 과학 사기도 저지르지만 그렇다고 다른 문제가 없는 것도 아니다. 초심리학 지지자 사이에서 나타나는 의견차이는 심지어 초능력의 정확한 정의도 불가능하게 만든다. 이들은 어떤 현상이 초능력이려면 어떤 효과가 관찰되어야 하는지에 대한 어떠한 예측도 없이^[각주:23] 이들은 단지 무작위 검사에서 적중률이 조금이라도 우연과 다르면 무조건 초능력이라고 주장한다. 그러나 적중률이 우연과 다르면 이는 실험 오류에 의해 발생했을 확률이 높으며, 이를 예방하기 위해 과학자들은 연구가설을 적절히 설정해서 나와야 할 효과를 예측한다.

 

그러나 과학자들은 실상 초심리학이 130년째 초능력의 발생에 대한 어떠한 이론도 확립하지 못했다고 초심리학을 거부한다.^[각주:24] 실제로 130년이 지나갈 동안 지지자들은 psi experment dffet가 있는지, 특정 인물 selected participant)이 더 초능력을 잘 발휘하는지 전혀 합의를 못하고 있다. 이는 부분적으로 실험에서 초능력이 관찰되지 않으면, 실패의 이유를 변명한다고 온갖 병신같은 사후 가설을 끼워넣기 때문이다. 연구의 실패를 이론의 수정으로만 떼우려고 하니 이론이 개판이 나는건 아주 당연한 결과다.

 

초심리학의 주장이 그 어느 과학보다 엄밀하게 검증된 물리학 법칙을 무시한다는 사실도 초심리학의 크나큰 단점이다.^[각주:25] 계산에 따르면 초심리학에서 주장하는 초능력이 존재한다면, 그 힘은 너무나 강력해서 이미 발견되었어야 하며 psi expermenter effect같은건 있을수 없다.^[각주:26] 게다가 초능력에 대한 주장은 주요 물리학 이론을 배격한다.^[각주:27] 물리학이 기예에 가까운 솜씨를 현실을 설명하는 동안 초능력 지지자들은 계속해서 실패했지만, 이들은 압도적인 증거의 차이에도 불구하고 폐기된 가설을 계속 물고 늘어지고 있다.^[각주:28]

 

이에 대한 초능력 지지자들의 주된 반응은 과학을 거부하는 것이다. 이들은 현재까지도 실험자가 좋은 연구가 나올거라고 믿어야 좋은 연구가 나온다고 믿는다.^[각주:29] 지지자들은 연구자가 좋은 연구결과가 나올거라고 믿으면 초능력이 발휘되서 좋은 결과가 나온다고 믿으며(이를 psi expermenter effect라 한다), 심지어 이들은 앞서 서술한 명백한 과학사기조차도 부정하고 과학사기의 결과물이 사실은 초능력에 의한 것이라고 주장한다.^[각주:30] 만약 그렇다면 긍정적인 결과를 보고한 다른 초심리학 연구들은 왜 데이터조작의 흔적이 없는지(이들은 연구자의 초능력이 긍정적인 연구를 낳는다고 주장한다)는 차치하더라도 이러한 주장은 반증가능성을 거부한다.

 

초심리학은 통계 결과를 신봉하기보다, 가설이 기각되면 단지 초능력이 발견되지 않은 것이라고 포장하고 수많은 효과들을 만들어내서 이를 정당화한다. 그 결과 재현되는 실험은 없고, 이론은 애드 혹만 이것저것 끼워넣다가 개판이 나고, 질이 박살이 나니 초능력 지지자들이 내는 논문은 대부분의 경우 책으로 나오거나, 주류 학술지에 실리지 못하고 그들만의 학술지에 실린다. 물론 그나마 꼴이 제대로 된 것들은 과학 저널에도 실린다.^[각주:31] 나중에 다 박살이 나긴 하지만 말이다.

 

연구가 왜 이렇게 개판이야

과학자들이 초능력을 불신하는 가장 큰 이유는, 이들이 예로부터 과학적 방법론을 결여한 채로 연구하는 일이 빈번하기 때문이다. 초능력 지지자들의 연구는 예로부터 과학적 방법론을 결여하기로 악명높다. 이들의 연구는 실험 통제가 허술하고,^[각주:32] 무선할당이 개판이며^[각주:33] 방법론에 허점이 있다.^[각주:34] 본인들은 90년대 이후로 자신들의 실험방법이 과학적 수준에 준하게 발전하였다고 주장하지만, 정작 자세히 따져보면 전혀 그렇게 보이지 않는다.

 

사실 초능력을 입증한다는 연구는 하나같이 효과크기가 극히 작다.^[각주:35] 이런 작은 효과크기는 연구설계에 오류가 있으면 나타나기 매우 쉽다. 아래의 목록은 20세기의 초심리학 연구가 증거의 질이 안좋고 통제되지 않았다고 밝힌 연구목록이다. 이 실태는 지금도 크게 달라지진 않은 것으로 보인다.

Girden, E. (1962). A review of psychokinesis (PK). Psychological Bulletin, 59(5), 353. 

Hyman, R. (1989). The elusive quarry: A scientific appraisal of psychical research. prometheus books.

Jastrow, J. (1938). ESP, house of cards. The American Scholar, 8(1), 13-22 

Moss, S., & Butler, D. C. (1978). The scientific credibility of ESP. Perceptual and Motor Skills, 46(3_suppl), 1063-1079 

Neher, A. (2013). Paranormal and Transcendental Experience: A Psychological Examination. Courier Corporation. 

Rawcliffe, D. H. (1952). The Psychology of the Occult.[With a Bibliography.]. Derricke Ridgway. 

Reed, G. (1972). The psychology of anomalous experience: A cognitive approach. 

Price, G. R. (1955). Science and the supernatural. Science, 122(3165), 359-367 

Zusne, L., & Jones, W. H. (2014). Anomalistic psychology: A study of magical thinking. Psychology Press. 

Shermer, M. (2003). Psychic drift. Why most scientists do not believe in ESP and psi phenomena. Scientific American, 288(2), 31.

 

이렇게 실험 통제가 허술하면 실험자들이 정답에 대한 무의식적 신호를 보내 연구를 왜곡하기도 매우 쉽다.^[각주:36] 한 연구^[각주:37]에서는 리모트 뷰잉이 실험을 하면 나타난다는 것을 보여주었다. 단, 맹검법을 쓰지 않으면 말이다. 심리학자에 의해 수행된 이 연구에서 연구자는 트위터를 통해 리모트 뷰잉을 조사했는데, 맹검법을 쓰지 않은 조건에서는 유의미한 리모트 뷰잉 효과가 나타났으며, 특히 심령 현상에 대한 강한 믿음을 가진 사람들의 성적이 좋았는데 실제로 지지자들은 정신적 수련을 받거나 심령 현상에 대한 믿음이 강한 사람들이 초능력이 잘 나타난다고 주장한다. 하지만 이중맹검법을 쓰자 이 효과는 사라졌다. 이는 제대로 연구를 하면 초능력은 신기루처럼 사라짐을 보여준다.

 

최근의 연구^[각주:38]는 20세기 중반부터 21세기에 이르는 간츠펠트 실험 연구들을 분석했는데, 분석한 결과 초능력(psi)을 지지한다는 결과 대부분을 Questionable Research Practices(QRP)로 설명할 수 있었다. QRP는 연구결과에서 편향을 만들어내는 요인으로, 출판비뚤림(publication bias), 실험자 편향(experimental bias), p 해킹(p hacking) 등이 여기 해당한다. 연구자들은 실험심리학(더 질 좋은 과학)에서 나타나는 QRP를 선정하고 무의미한 데이터에 QRP 효과를 적용하여 시뮬레이션한 뒤 이를 실제 초심리학 연구들에 적용하였다.

 

그 결과 간츠펠트 연구결과의 2%만이 설명되지 않았으며 효과크기의 60%를 QRP 효과로 설명할 수 있었다. 게다가 초능력 지지자들이 보고한 효과크기(d=.11)를 검출하려면 700명 이상을 대상으로 연구해야 하지만 이들의 연구 중 표본이 700을 넘는 연구는 없고, 시뮬레이션한 결과와 실제 결과의 p값 분포가 차이가 없었다. 명심할 점은 이 연구가 실험자 편향처럼 가장 의심되는 편향은 연구에 포함하지 않았다는 점이다. 설명되지 않은 2%는 편향의 결과일 가능성이 높다.

 

초능력 실험이 하나같이 개판이라는 점은 계속해서 지적이 되었다. 하이만은 간츠펠트 실험이 범할 수 있는 12가지 오류를 분류하고 42개의 간츠펠트 실험을 분석한 후 모든 실험이 오류를 범함을 발견했다.^[각주:39] 또한 리모트 뷰잉을 증명했다고 <네이처> 지에 실린 연구^[각주:40]는 후속 연구에서 감각적 단서가 효과를 일으킨다는게 밝혀졌다.^[각주:41] 초능력 지지자들은 자신들이 90년대 이후부터는 실험 통제를 잘 한다고 주장한다.^[각주:42] 그러나 90년대 이후에도 이들은 PK 연구를 해석하는 과정에서 형편없는 표본수로 상관관계를 내려고 하고,^[각주:43] 이상하게 컴퓨터를 사용하지 않고 무선할당을 하면 없던 초능력이 생기는 괴상한 일^[각주:44]이 계속 발생하고 있다. 최근에 라딘은 이중슬릿 실험을 통해 초능력을 증명했다고 주장했지만, 이는 실험의 결함^[각주:45]에 의한 것으로 보이며 적절한 실험절차에서 사라질 가능성이 높다.^[각주:46] 

 

더 심각한 문제는 지지자들이 가끔식 과학사기를 저질렀다는 점이다. 초능력에 대한 과학적인 증명으로 여겨졌던 Creery 자매와 soal의 연구는 각각 신호 조작과 통계 조작으로 드러났다.^[각주:47] 텔레파시를 입증하여 유명세를 탔던 smith의 연구도 후에 조작이 드러났다.^[각주:48] 초심리학 운동의 시발점이었던 조셉 라인의 후계자 Levy의 경우 여러 번의 데이터조작이 드러나 결국 사임해야 했다.^[각주:49] 후대 지지자가 Levy의 연구결과가 Levy의 초능력에 의한 결과라고 주장하는 걸 보면^[각주:50] 지적 정직성과 과학적 방법에 대한 이들의 태도가 21세기에도 전혀 달라지지 않았음을 알 수 있다. 

 

사실 초심리학 운동의 선구자 조셉 라인부터가 자기 연구소에서 출간된 12건의 조작된 연구를 이름을 지운 채로 올리기도 했다.^[각주:51] 회의주의자 마틴 가드너는 조작이 더 있었다고 의심한다.^[각주:52] 그리고 완전한 사기는 아니지만, 위에서 리모트 뷰잉을 실험한 puthoff는 감각적 단서를 제거한 후 실험해도 효과가 나타난다고 주장했으나^[각주:53] 정작 그의 연구데이터가 공개되자 그가 감각적 단서를 제거한 적이 없음이 드러났다.^[각주:54] 최근에도 초능력 지지자 딘 라딘은 데이터조작의 의혹이 있다.

 

21세기 이후: 쓰레기 메타분석

21세기에 접어들자 초능력 지지자들은 자기들 연구를 메타분석하여 초능력에 대한 증거라고 내미는 경향이 있다. 그러나 이들은 쓰레기를 넣으면 쓰레기만 나오며, 100개 연구를 메타분석한 연구보다 1000명을 대상으로 한 제대로 된 연구가 더 중요하다는 것을 모른다. 그나마 그들이 제시하는 메타분석도 효과크기가 너무 낮아서(d=.01-07)^[각주:55] 이게 초능력의 증거인지 실험 편향의 증거인지 헷갈리고, 실험 편향을 통제하면 그조차도 없어지는 경우가 태반이다.

 

storm과 친구들^[각주:56]은 간츠펠트 실험을 메타분석한 결과 초능력의 근거를 발견했다고 주장했다. 그런데 이들은 효과가 유의하지 않다고 한 일부 결과를 배제했다. 또한 실험의 질을 자기 휘하 대학원생에게 평가하게 하고 실험절차가 자세히 명시되지 않은 모든 연구는 실험방법이 정확하다는 이상한 가정을 하였다. 게다가 표본수에 따른 가중치를 부여하지 않은채 모든 연구를 똑같이 취급하여 소수의 이상한 연구가 전체 결과에 큰 영향을 주도록 만들었다. 후에 과학자가 데이터를 재분석하자 컴퓨터를 통해 무작위 추출한 연구에서는 거의 무의미한 결과가 나온 반면 사람이 실시한 무작위추출에서는 유의미한 결과가 나타났는데,^[각주:57] 결과적으로 제대로 진행된 연구만을 포함하면 간츠펠트 실험은 전혀 초능력을 보여주지 못했다.

 

심리학자 뱀^[각주:58]은 자신의 2011년 논문이 재현 실험과 메타분석 끝에 논박당하자, 자기 친구들과 함께 따로 메타분석을 한 후 자신이 맞았다고 항변하였다. 그러나 해당 메타분석은 이질적이었고, 효과크기도 작았으며(d=.07) 표본크기를 조정하면 효과크기가 0이 되고 정밀성이 높은 5개 연구들은 모두 0 이하의 효과크기를 보고하였다. 후속연구에서는 분석 방법의 문제를 지적했고,^[각주:59] 뱀이 목표했던 연구는 이미 대규모 재현 연구^[각주:60]와 preregistered된 재현실험^[각주:61]에서 탈락한 바 있다. 다음 내용을 볼 사람을 위해 팁을 주자면, 이 의미없는 메타분석 놀음에서 그나마 연구의 틀을 갖춘 연구가 이것과 위의 것^[각주:62] 뿐이다.

 

한편 뱀이 생리적 각성으로 이 현상을 연구한 메타분석도 있다.^[각주:63] 그러나 이 연구는 출판 편향의 평가가 부실한데다 동료평가가 안된 연구까지 포함하여 질이 떨어지고, 그래서인지 감정 반응이 생체 반응에 앞서는 이상한 현상이 발견되었다.^[각주:64] 게다가 사용된 연구 대부분이 radin과 bierman의 연구다. 이 둘은 극악의 초능력 추종자이며 특히 radin은 형편없는 연구와 데이터조작으로 유명한 놈이다. 사실 연구의 질을 평가하는 평가자부터가 초능력 추종자니 연구의 질은 예정된 나락이었는지 모른다.

 

다른 ESP도 상황은 비슷하다. 꿈을 통한 텔레파시에 대한 메타분석은 자료 오류에 의한 것임이 드러났고^[각주:65] 역시 재현되지 않았다.^[각주:66] 나중에 지지자들이 다시 메타분석을 했으나^[각주:67] 해당 지료는 방법론이 극히 미비한 90년대 이전 자료를 포함하고 있었고, 지지자의 주장과 달리 효과크기가 극히 작은데다 표본수가 늘어날수록 더 작아졌다. dunne과 jahn^[각주:68]은 지들이 한 리모트 뷰잉 연구들을 지들이 메타분석하고는 리모트 뷰잉의 증거라고 주장했으나, 시간이 지나고 방법론이 발전할수록 유의한 연구가 줄어들었으며 후속 메타분석은 효과를 부정했다.^[각주:69] 

 

가장 형편없는 경우는 제너카드 선택에 대한 종합적 메타분석으로,^[각주:70] 분석이 형편없는건 둘째치고 아예 80년대 이전의 쓰레기 자료들로만 분석했다. 저자가 운운하는 17개의 잘 된 연구라는 말은 그냥 개소리에 불과하다. storm과 tressoldi^[각주:71]는 90년대 이후 자료로만 메타분석을 해서 유의한 효과가 나타난다고 주장했지만, 효과크기가 거의 무의미하고(d=.02) 재현율은 21%에 불과한데다 포함한 논문의 90%가 초능력 찌라시 출신인데 출판 편향 조사는 하지도 않았다. 게다가 bem(d=.04)을 제외한 연구자들은 모두 효과크기가 0이어서, 해당 결과는 특정 연구자에 의한 편향의 결과로 보인다.

 

이런 의미없는 시도는 PK에서도 이어지고 있다. 초능력 지지자들은 발도 참 넓어서 중보기도와 같은 원거리 치유가 효과가 있다고 주장하지만 안수기도의 효과는 애저녁에 논파되었다. 주사위^[각주:72]나 난수발생기^[각주:73]로 인간의 PK를 알아본다는 메타분석들은 지들도 인정하는 쓰레기 논문을 너무 많이 함유하고 있고, 그나마도 효과크기가 무의미한데다 난수발생기 연구의 경우 표본크기가 늘면 효과가 없어졌다.

 

이런 시도의 가장 큰 문제는 이들이 감각 단서나 무작위 추출과 같은 실제 연구의 질과 관련된 요소는 배격하거나 조사하지 않는다는 점이다.^[각주:74] 이들은 그냥 낮은 p를 모조리 초능력의 증거로 해석한다.^[각주:75] 물론 표본이 적당한 경우 유의한 p가 유의미한 결과를 의미하지만, 일단 표본수가 커지면 무슨 측정치든 심지어 거주하는 지역으로만 나눠도 낮은 p가 나타난다.^[각주:76] 무작위 절차를 철저히 시행한 실험의 경우 이러한 걱정은 없지만,^[각주:77] 심리학자들도 못하는 철저한 실험을 이들이 할 수 있을리 만무하며 이러한 오차로 발생하는 작은 실험자 편향과 그로 인한 작은 차이도 p value를 유의하게 하기에는 충분하다. 그래서 효과크기가 중요한데, 앞서 보았듯이 이들 메타분석의 효과크기는 저열하기 그지없다.^[각주:78] 사실상 초심리학에서 보여주는 초능력의 효과들은 그냥 없다고 봐도 무방하다.

 

1. Storm et al, 2010 [본문으로]
2. Pitt, J. C., & Pera, M. (Eds.). (2012). Rational changes in science: essays on scientific reasoning (Vol. 98). Springer Science & Business Media. [본문으로]
3. Druckman, D., & Swets, J. A. (Eds.). (1988). Enhancing human performance: Issues, theories, and techniques. National Academies Press [본문으로]
4. Gilovich, T. (2008). How we know what isn't so. Simon and Schuster. [본문으로]
5. Pitt, J. C., & Pera, M. (Eds.). (2012). Rational changes in science: essays on scientific reasoning (Vol. 98). Springer Science & Business Media. [본문으로]
6. Cox, W. S. (1936). An Experiment in ESP. Journal of Experimental Psychology 12: 437 [본문으로]
7. Milton, J., & Wiseman, R. (1999). Does psi exist? Lack of replication of an anomalous process of information transfer. Psychological Bulletin, 125(4), 387. [본문으로]
8. Douglas Waller,'The Vision Thing', Time, 1995년 12월 11일자,p45 [본문으로]
9. Belvedere, E., & Foulkes, D. (1971). Telepathy and dreams: A failure to replicate. Perceptual and Motor Skills, 33(3), 783-789;Foulkes, D., Belvedere, E., Masters, R. E. L., Houston, J., Krippner, S., Honorton, C., & Ullman, M. (1972). Long-Distance,“Sensory-Bombardment” ESP in Dreams: A Failure to Replicate. Perceptual and Motor Skills, 35(3), 731-734 [본문으로]
10. Bem, 2011 [본문으로]
11. Robinson, E. (2011). Not feeling the future: A failed replication of retroactive facilitation of memory recall. Journal of the Society for Psychical Research, 75(904). [본문으로]
12. Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem's ‘Retroactive Facilitation of Recall’Effect. PloS one, 7(3), e33423. [본문으로]
13. Galak, J., LeBoeuf, R. A., Nelson, L. D., & Simmons, J. P. (2012). Correcting the past: Failures to replicate psi. Journal of Personality and Social Psychology, 103(6), 933;Rabeyron, T. (2014). Retro-priming, priming, and double testing: psi and replication in a test–retest design. Frontiers in Human Neuroscience, 8, 154. [본문으로]
14. Pigliucci, M. (2010). Nonsense on stilts: How to tell science from bunk. University of Chicago Press.에서 재인용 [본문으로]
15. Bösch, H., Steinkamp, F., & Boller, E. (2006). Examining psychokinesis: The interaction of human intention with random number generators--A meta-analysis. Psychological bulletin, 132(4), 497 [본문으로]
16. Schmidt, S., Schneider, R., Utts, J., & Walach, H. (2004). Distant intentionality and the feeling of being stared at: Two meta‐analyses. British Journal of Psychology, 95(2), 235-247 [본문으로]
17. Wilson, D. B., & Shadish, W. R. (2006). on blowing trumpets to the tulips: To prove or not to prove the null hypothesis--Comment on Bösch, Steinkamp, and Boller (2006);Schmidt, S., Cardeña, E., Palmer, J., & Marcusson-Clavertz, D. (Eds.) (2015). Parapsychology: A handbook for the 21st century. Jefferson, NC: McFarland;Radin & Ferrari, 1991 [본문으로]
18. Wiseman, R., Watt, C., & Kornbrot, D. (2019). Registered reports: an early example and analysis. PeerJ, 7, e6232. [본문으로]
19. 저자는 인구가중치를 고려한 메타분석을 실시하지 않았다 [본문으로]
20. Rhine, J. B. (1934). Extra‑sensory perception. Boston, MA: Boston Society for Psychic Research. [본문으로]
21. Bem & Honorton, 1994;Puthoff & Targ, 1981Tart, Puthoff, & Targ, 1980 [본문으로]
22. Wiseman, R., Watt, C., & Kornbrot, D. (2019). Registered reports: an early example and analysis. PeerJ, 7, e6232. [본문으로]
23. Hyman, R. (1995). Evaluation of the program on anomalous mental phenomena. Journal of Parapsychology, 59, 321-352;Marks, D. F. (1986). Investigating the paranormal. Nature, 320(6058), 119-124 [본문으로]
24. Bunge, M. (1983). Treatise on basic philosophy: Volume 6: Epistemology & methodology II: Understanding the world (Vol. 6). Springer Science & Business Media;Flew, A. (1989). The problem of evidencing the improbable and the impossible. Exploring the paranormal, 313-327 [본문으로]
25. Friedlander, M. W. (2018). At the fringes of science. Routledge;Reber, A. S., & Alcock, J. E. (2019). Searching for the impossible: Parapsychology’s elusive quest. American Psychologist;Bunge, M. (1983). Treatise on basic philosophy: Volume 6: Epistemology & methodology II: Understanding the world (Vol. 6). Springer Science & Business Media [본문으로]
26. Taylor, J. G. (1980). Science and the supernatural: an investigation of paranormal phenomena including psychic healing, clairvoyance, telepathy, and precognition by a distinguished physicist and mathematician. Temple Smith. [본문으로]
27. Reber, A. S., & Alcock, J. E. (2019). Searching for the impossible: Parapsychology’s elusive quest. American Psychologist. [본문으로]
28. Cordón, L. A. (2005). Popular psychology: an encyclopedia. Greenwood Publishing Group [본문으로]
29. Kennedy, 2013 [본문으로]
30. Cardena, 2018 [본문으로]
31. Bem, D., Tressoldi, P., Rabeyron, T., & Duggan, M. (2015). Feeling the future: A meta-analysis of 90 experiments on the anomalous anticipation of random future events. F1000Research, 4;Bem, 2011;Bem & Honorton, 1994;Puthoff & Targ, 1981;Storm et al, 2010;Tart, Puthoff, & Targ, 1980 [본문으로]
32. Wiseman, R., Smith, M., & Kornbrot, D. (1994). Assessing possible sender-to-experimenter acoustic leakage in the PRL autoganzfeld. In Proceedings of Presented Papers: The Parapsychological Association 37th Annual Convention (pp. 439-454). [본문으로]
33. Hyman, R. (1988). Psi experiments: Do the best parapsychological experiments justify the claims for psi?. Experientia, 44(4), 315-322. [본문으로]
34. Akers, C. (2007). Methodological Criticisms of Parapsychology, Advances in Parapsychological Research 4. PesquisaPSI. Retrieved, 07-30;Child, I. L. (2007). Criticism in Experimental Parapsychology, Advances in Parapsychological Research 5. Pesq uisaPSI. Retrieved, 07-30;Lobach, E., & Bierman, D. J. (2004, August). The invisible gaze: Three attempts to replicate Sheldrake’s staring effects’. In Proceedings of Parapsychology Association Annual Convention. [본문으로]
35. Reber, A. S., & Alcock, J. E. (2019). Searching for the impossible: Parapsychology’s elusive quest. American Psychologist [본문으로]
36. Diaconis, P. (1978). Statistical problems in ESP research. Science, 201(4351), 131-136 [본문으로]
37. Wiseman, R., & Watt, C. (2010). ‘Twitter’as a new research tool: A mass participation test of remote viewing. European Journal of Parapsychology, 25, 89-100. [본문으로]
38. Bierman, D. J., Spottiswoode, J. P., & Bijl, A. (2016). Testing for questionable research practices in a meta-analysis: An example from experimental parapsychology. PloS one, 11(5), e0153049. [본문으로]
39. Hyman, R. (2007). Evaluating parapsychological claims. Critical thinking in psychology, 216-231 [본문으로]
40. Tart, Puthoff, & Targ, 1980 [본문으로]
41. Marks, D., & Kammann, R. (1978). Information transmission in remote viewing experiments. Nature, 274(5672), 680-681;Marks, D. (1981). Sensory cues invalidate remote viewing experiments. Nature, 292(5819), 177-177. [본문으로]
42. Storm & Tressoldi, 2023 [본문으로]
43. Storm, Tressoldi, Risio, 2012,p22 [본문으로]
44. Rouder, J. N., Morey, R. D., & Province, J. M. (2013). A Bayes factor meta-analysis of recent extrasensory perception experiments: Comment on Storm, Tressoldi, and Di Risio (2010) [본문으로]
45. Pallikari, F. (2015). Investigating the nature of Intangible brain-machine interaction. arXiv preprint arXiv:1507.02219;Tremblay, N. (2019). Independent re-analysis of alleged mind-matter interaction in double-slit experimental data. PloS one, 14(2). [본문으로]
46. Walleczek, J. (2019). False-positive Effect in the Radin Double-slit Experiment on Observer Consciousness as Determined with the Advanced Meta-experimental Protocol (AMP). Frontiers in psychology, 10, 1891. [본문으로]
47. Hyman, R. (1989). The elusive quarry: A scientific appraisal of psychical research. prometheus books;Scott, C., & Haskell, P. (1973). General:“Normal” Explanation of the Soal–Goldney Experiments in Extrasensory Perception. Nature, 245(5419), 52. [본문으로]
48. Neher, A. (2013). Paranormal and Transcendental Experience: A Psychological Examination. Courier Corporation. [본문으로]
49. McBurney, D. H., & White, T. L. (2009). Research methods. Cengage Learning;Neher, A. (2013). Paranormal and Transcendental Experience: A Psychological Examination. Courier Corporation. [본문으로]
50. cardena, 2018 [본문으로]
51. Tyson, P. J., Jones, D., & Elcock, J. (2011). Psychology in social context: Issues and debates. John Wiley & Sons. [본문으로]
52. Frazier, K. (1991). The Hundredth Monkey: And Other Paradigms of the Paranormal. Prometheus Books [본문으로]
53. Puthoff & Targ, 1981 [본문으로]
54. Hines, T. (2003). Pseudoscience and the paranormal: A critical examination of the evidence. Prometheus Books [본문으로]
55. Bem, D., Tressoldi, P., Rabeyron, T., & Duggan, M. (2015). Feeling the future: A meta-analysis of 90 experiments on the anomalous anticipation of random future events. F1000Research, 4;Bierman, D. J., Spottiswoode, J. P., & Bijl, A. (2016). Testing for questionable research practices in a meta-analysis: An example from experimental parapsychology. PloS one, 11(5), e0153049;Bösch, H., Steinkamp, F., & Boller, E. (2006). Examining psychokinesis: The interaction of human intention with random number generators--A meta-analysis. Psychological bulletin, 132(4), 497;Witte, E. H., & Zenker, F. (2017). From discovery to justification: outline of an ideal research program in empirical psychology. Frontiers in psychology, 8, 1847;Radin & Ferrari, 1991;cardena, 2018;Storm & Tressoldi, 2023 [본문으로]
56. Storm et al, 2010 [본문으로]
57. Rouder, J. N., Morey, R. D., & Province, J. M. (2013). A Bayes factor meta-analysis of recent extrasensory perception experiments: Comment on Storm, Tressoldi, and Di Risio (2010) [본문으로]
58. Bem, D., Tressoldi, P., Rabeyron, T., & Duggan, M. (2015). Feeling the future: A meta-analysis of 90 experiments on the anomalous anticipation of random future events. F1000Research, 4. [본문으로]
59. Lakens, D., Hilgard, J., & Staaks, J. (2016). on the reproducibility of meta-analyses: Six practical recommendations. BMC psychology, 4(1), 24;Witte, E. H., & Zenker, F. (2017). From discovery to justification: outline of an ideal research program in empirical psychology. Frontiers in psychology, 8, 1847. [본문으로]
60. Muhmenthaler, M. C., Dubravac, M., & Meier, B. (2024). The future failed: No evidence for precognition in a large scale replication attempt of Bem (2011). Psychology of Consciousness: Theory, Research, and Practice, 11(4), 461. [본문으로]
61. Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem's ‘Retroactive Facilitation of Recall’Effect. PloS one, 7(3), e33423. [본문으로]
62. Storm et al, 2010 [본문으로]
63. Mossbridge, J., Tressoldi, P. E., Utts, J., Ives, J., Radin, D., & Jonas, W. (2014). Predicting the unpredictable: critical analysis and practical implications of predictive anticipatory activity. Frontiers in Human Neuroscience, 8, 146 [본문으로]
64. Schwarzkopf, D. S. (2018). on the plausibility of scientific hypotheses: Commentary on Mossbridge and Radin (2018). [본문으로]
65. Watt, C., & Valášek, M. (2015). Postscript to Watt (2014) on precognitive dreaming: Investigating anomalous cognition and psychological factors. 79(1) [본문으로]
66. Watt, C., Vuillaume, L., & Wiseman, R. (2015). Dream precognition and sensory incorporation: A controlled sleep laboratory study. Journal of Consciousness Studies, 22(5-6), 172-190. [본문으로]
67. Storm et al, 2017 [본문으로]
68. Dunne & Jahn, 2003 [본문으로]
69. Storm et al, 2010 [본문으로]
70. Honorton & Ferrari, 1989 [본문으로]
71. Storm & Tressoldi, 2023 [본문으로]
72. Radin & Ferrari, 1991 [본문으로]
73. Bösch, H., Steinkamp, F., & Boller, E. (2006). Examining psychokinesis: The interaction of human intention with random number generators--A meta-analysis. Psychological bulletin, 132(4), 497 [본문으로]
74. cardena, 2018 [본문으로]
75. Reber, A. S., & Alcock, J. E. (2019). Searching for the impossible: Parapsychology’s elusive quest. American Psychologist. [본문으로]
76. Bakan, D. (1966). The test of significance in psychological research. Psychological bulletin, 66(6), 423 [본문으로]
77. Klein, R. A., Vianello, M., Hasselman, F., Adams, B. G., Adams Jr, R. B., Alper, S., ... & Sowden, W. (2018). Many Labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science, 1(4), 443-490. [본문으로]
78. d<0.1이면 no effect로 분류되었다. Cohen, J. (2013). Statistical power analysis for the behavioral sciences. Routledge [본문으로]