[화제의 책]엉터리 분석 부르는 엉터리 데이터…확신 말고 확인하라, 그 ‘증거’가 맞는지

증거의 오류
하워드 S. 베커 지음·서정아 옮김
책세상 | 428쪽 | 1만6000원

2000년대 중반, 미국에서는 사회적 고립의 심화, 즉 개인의 네트워크 축소를 둘러싼 우려와 논쟁이 일었다.

정치학자 로버트 퍼트넘이 사회적 자본의 쇠퇴를 다룬 명저 <Bowling Alone>(국내에는 <나 홀로 볼링>으로 번역)이 앞서 출간된 것도 이 논쟁에 한몫했다. 여러 주장이 무성하던 중 실제 사회적 고립이 심화되고 있음을 학술적으로 분석한 논문이 2006년 발표된다.

논문의 핵심적 근거는 명성이 높던 국립여론조사센터의 ‘종합사회조사’ 결과 데이터였다. 종합사회조사는 개인의 핵심적 네트워크 구조의 변화를 측정하기 위해 1985년, 2004년 두 차례 진행됐다. 조사 결과 개인들의 평균 네트워크 규모가 이전보다 크게 줄었고,

특히 중대사를 상의할 사람이 전혀 없다는 응답자 숫자는 약 3배 증가했다. 논문은 이를 근거로 네트워크 축소가 미국의 중요한 사회적 변화를 반영한다고 결론지었다. 국제적 관심도 받은 이 연구는 인터넷·휴대전화 대중화가 그 원인이라는 주장과 반박을 낳으며 논란으로까지 이어졌다.

그러나 7년 뒤 논문의 근거가 된 데이터가 부실한 것으로 드러났다. 현장 설문조사원들의 무성의, 실수 등으로 데이터 자체에 오류가 있었던 것이다. 사회적 고립 심화라는 실제 사회현상과는 별개로, 이 논문은 논지의 근거로 삼을 데이터의 정확성, 중요성을 새삼 사회학계에 각인시켰다.

문화적 자본 개념으로 유명한 프랑스 사회학자 부르디외는 1984년 미술작품 선호도, 즉 취향 조사를 통해 계층 차이를 보여주는 연구 결과를 내놓았다. 르누아르로 대표되는 ‘쉽게 좋아할 수 있는’ 인상파 작품과 칸딘스키로 대표되는 ‘좀 더 난해한’ 추상작품을 선호하는 취향에서 진보적 지식인과 부유한 보수 인사들, 상류층과 근로자층 등 계층에 따른 차이가 존재한다는 게 요지다. 실제적 사실과는 별개로 이 연구도 10년 뒤 부실한 데이터를 근거로 삼았음이 확인됐다.

다원화된 현대사회에서는 빅데이터 같은 통계분석, 설문·여론·시장 조사 등 갖가지 목적의 수많은 조사와 연구 분석이 벌어진다. 또 그 조사 결과를 근거로 다양한 보고서, 논문, 제안서, 뉴스가 생산되고 주목받는다. 일부 사회학 연구보고는 정책 입안이나 사업 방향 등에 큰 역할을 하기도 한다.

<증거의 오류>(원제 EVIDENCE)는 사회현상이나 사회구조 변화를 해석하는 연구가 근거로 삼는 데이터에 늘 오류가 있을 수 있음을 강조하는 책이다.

‘낙인이론’으로 잘 알려진 미국의 사회학자 베커는 책에서 앞서 언급한 사회적 고립 심화, 부르디외의 연구 등을 비롯해 국제적 주목을 받았지만 오류가 있었던 많은 연구 사례를 보여준다. 원로 사회학자로서 후학 연구자들에게 정확한 데이터의 중요성, 데이터 수집과 선별, 논지 전개 등에 있어 늘 존재하는 오류의 위험성을 각성시키는 것이다.

사실 연구자들은 사회현상을 분석하기 위해 직접 데이터를 수집하거나 이미 나와 있는 각종 기관 등의 데이터를 많이 활용한다. 그리고 그 데이터를 근거·증거로 삼아 자신의 이론(아이디어), 주장을 펼쳐낸다.

저자는 생산과 수집되는 데이터, 수많은 데이터 중 활용할 만한 ‘증거 데이터’, 그리고 이를 기반으로 한 ‘이론’의 상호의존적 상관관계를 거듭 강조한다. 어느 하나라도 오류가 있을 경우 전체 연구 결과가 오류에 이르기 때문이다.

저자는 원래의 데이터에 왜 오류가 발생하는지를 수많은 원인들을 짚어주며 상세히 소개한다. 나아가 오류가 없는 데이터를 어떻게 수집하고 또 검증할 것인지, 증거로 어떻게 활용할 것인지 등도 조언한다.

이 과정에서 사회학계의 고질적 논쟁인 정성연구·정량연구는 물론 연구 방법론들의 장단점, 증거 데이터를 확보할 때의 주의사항 등 세세한 부분까지 언급한다. 심지어 자연과학자들의 치열한 검증과 변수통제 등을 사회학 연구자들에게도 주문한다. 사회학 연구자나 관심 있는 독자들을 위한 책이지만 한편으론 넘쳐나는 데이터와 주장들에 대한 일반인의 경각심도 일깨운다.