[ 통계, 혼돈과 질서의 만남 ]
제 2장 불확실성 길들이기
2.2 불확실성을 어떻게 계량화할 것인가?
귀납적 추론을 체계화하는 주요 개념은 표<2-1>에서 설명한 일기예보의 경우처럼 불확실성의 계량화입니다. 이전의 관측치들을 근거로 하여 내일 비 올 확률 30%를 얻습니다. 그러나 이런 작업을 위한 명백한 방법이 없기 때문에 이 문제는 많은 논쟁거리가 되고 있습니다. 불확실성을 계량화하는 방법에 따라 각기 다른 통계학파가 생겨났습니다.
불확실성을 계량화하기 위한 첫 번째 시도는 토마스 베이즈Thomas Bayes(?- 1761)에 의해 이뤄졌는데, 그는 59세에 사망했다고 전해지고 있습니다. [그의 출생년도는 알려져 있지 않음.]
그는 가능한 가설들에 대한 사전분포Prior distribution의 개념을 도입했는데, 이 사전분포를 이용하여 자료를 관측하기 전에 각 가설들에 대한 신뢰정도를 나타낼 수 있습니다. 사전분포는 p(h) 로 표기하며 주어진 것으로 간주합니다. 가설 (h)이 주어졌을 때 자료 (d)의 확률분포 p(d―h)를 알면, 사전분포와 함께 관측자료에 대한 전체 (주변) 확률분포 p(d)를 구할 수 있습니다. 그러면 자료가 주어졌을 때 가설들에 대한 조건부 확률분포를 다음 식과 같이 계산할 수 있는데, 이를 베이즈 정리라고 합니다.
위 식에서 p(h―d)를 사후분포Posterior distribution라 하는데, 이는 관측자료를 고려한 가설들의 불확실성 분포를 나타냅니다. 여러 가설들에 대한 사전 지식과 관측자료로부터, 가능성 있는 가설들에 대한 새로운 지식을 얻게 되었습니다.
확률이론을 귀납적 추론의 도구로 이용할 때, 베이즈 정리는 착상이 뛰어 난 시도입니다. 그러나 몇몇 통계학자들은 – 사전분포를 과거에 관측된 증거에 근거하여 객관적으로 선택하지 않고 개인의 믿음이나 사후분포 계산에 있어서 수학적으로 편리하기 때문에 선택한다면 – 이러한 사전분 포 p(h)의 도입에 대해서는 부자연스럽게 여기고 있습니다. 사전분포를 사용하지 않고 추론할 수 있는 이론을 개발하기 위한 많은 시도들이 있었는 데, 그러한 시도를 한 사람들은 현대 통계학의 창시자라 할 수 있는 피어슨 K.Pearson(1857.3.27 – 1936.4.27), 피셔R.A.Fisher(1890.2.17 – 1962.7.29), 네이만J.Neyman(1894.4.16 – 1981.8.5), 피어슨E.S.Pearson(1895.8.11 – 1980.6.12), 왈드A.Wald(1902.10.31 – 1950.12.13) 등입니다.
이러한 방법들은 논리적으로 어려움이 있습니다. 그러나 논리적 방법론이 완벽하지 못하다고 해서 자연의 신비를 벗기고 일상의 의사결정을 하는 데 통계학의 이용을 막지는 못했습니다. 그 상황은 의학분야에서와 비슷합니다. 환자에게 이용가능한 약을 처방할 때, 그 약이 이상적인 처방약이 아닐지라도 또는 부작용이 있거나, 드물긴 하지만 임상실험을 통해 약효가 완전히 판명되지 않았다 하더라도 처방을 주저하지 않습니다. 그러나 새로운 약을 만들려고 하는 노력은 계속합니다. 20세기 전반에 개발된 추정, 가설검정, 의사결정 등을 위한 통계학의 방법론은 인간활동의 많은 분야에서 널리 응용되었으며, 불확 실성을 다루기 위한 새로운 도구의 개발 필요성이 급격히 증가하고 있습니다. 통계학은 도처에서 20세기에 이뤄진 기술이나 과학적 발명을 가속화시켰으며 새로운 지식에 이르는 문을 열어 놓았습니다.
불확실성을 수량화함으로써 우리는 “예” 혹은 “아니오”와 같은 두 가지만의 선택에 근거한 고전적 혹은 아리스토텔레스식 논리방식을 가지고는 해결할 수 없는 새로운 문제들을 제기할 수 있으며, 또한 실제적 적용을 위한 방법들을 제공할 수 있습니다. 우리는 불확실성을 조정, 축소시키고 더욱이 불확실성을 의사결정시 고려함으로써 개인이나 기업의 활동을 최적상태로 이끌 수가 있습니다. 약 3백년 이전에 데카르트Descartes(1596-1650)는 다음과 같이 지혜로운 말을 하였습니다.
이처럼 자료로부터 정보를 추출하여 추론을 하는 새로운 학문분야가 탄생하였으며, 통계학의 범위는 단순한 자료의 의미에서 자료의 해석이라는 의미로 확대되었습니다.
요약하자면, 우연성이란 더 이상 우려의 대상이나 무지의 표현이 아닙니다. 그것은 오히려 지식을 표현하는 가장 논리적 방법입니다. 우리는 불확실성을 절충할 수 있게 되었고 그 존재를 인식하여 그것을 측정할 수 있게 되었으며, 불확실성의 존재에도 불구하고 지식의 발전과 적절한 활동이 가능하다는 것을 보일 수 있게 되었습니다. 콕스David Cox 경은 다음과 같이 말했습니다.
아마도 우연성은 모든 법칙과 대치된다고 할 수 있을 것입니다. 그러나 그 돌파구는 오히려 우연성들을 발견하는 것입니다. 우리는 여러 발생 가능한 경우들을 살펴보고 각 경우들의 발생확률을 불확실성의 측도로 나타냅니다. 각 사건들에 대한 가능한 결과들과 발생확률을 앎으로써 불확실성 하의 의사결정은 연역적 논리에 의한 문제가 됩니다. 불확실성은 이제 더 이상 아무 의미도 없는 그런 문제가 아닙니다.
