추론에 관한 밀의 입장 4. 힐베르트, 형식주의, 구조주의 그리고 질문들

직관주의 논리 체계에 근거한 구성주의의 일반적 흐름을 간략히 살펴보려면, 힐베르트(D. Hlbert)에 대해 언급할 필요가 있다. 공리 체계에 근거한 힐베르트의 형식주의(formalisms)는 종종 20세기 초 브라우버르(L.E.J. Brouwer)의 직관주의와 무조건 적대적 관계를 맺는 것으로 회자되곤한다. 하지만 그 형식주의에 담긴 힐베르트의 수학적 유한주의를 살펴보면, 그와 브라우버르 사이의 공통점도 드러난다. 둘 다 수학적 플라톤주의를 수용하지 않았고, 경험의 유한성을 인정한다. 또한 수학을 논리학의 일부로 정착시키려는 논리주의(logicism)의 시도를 긍정적으로 평가하지 않는다. 하지만 힐베르트는 브라우버르와 달리 구성이 수학적 작업에 필수적이라도 그것을 수학의 본질로 파악하지 않는다. 힐베르트의 형식주의(formalism)에 담긴 동기를 파악하는 것은 구성주의의 일반적 흐름을 함축적으로 언급하는 데 필요하다.

 

현재 우리가 고전적 수학이라 부르는 것들, 실례로 대수학, 해석학, 추상 기하학, 집합론 등은 19세기 중엽 이후에 정착한 분과들이다. 19세기 말 그러한 분과들을 살펴보면, 수학자들 사이의 의사소통을 원활하게 해 주는 공통 표기법은 없었다. 힐베르트는 그러한 공통 표기법의 개발에 관심을 갖고 있었다. 또한 ‘수는 무엇인가?’, ‘점은 무엇인가?’ 등의 수학적 대상에 관한 존재론적 물음을 수학에서 추방하려는 의도를 갖고 있었다. 수학자들의 실제 작업은 그러한 존재론적 물음 혹은 철학자들의 물음과 무관하다고 여겼기 때문이다.

 

‘||’를 ‘두 개의 양’을 상징하는 이미지의 역할을 갖는 기호라고 하자. 그 이미지는 그것이 상징하는 경험적 대상들과 분리되어 있다는 점에서 추상화 과정, 즉 경험적 내용을 제거하는 과정을 거쳐 얻어진 결과이다. 하지만 그 이미지는 경험적 대상들에서 추상화된 것이기 때문에 경험과 무관한 것은 아니다. 만약 ‘||’의 보편적 의미를 묻게 된다면, 그 의미는 그것이 상징하는 두 개의 사과 혹은 두 개의 공과 같은 것이 될 수 없다. 그것의 보편적 의미를 따지는 경우, 결국 플라톤의 형상과 같은 추상적 수를 가정할 것인지를 놓고 고민에 빠질 수밖에 없다. 힐베르트는 실제 수학자들의 작업에서 그러한 고민이 큰 비중을 차지할 수 없다고 본다. 특정 기호들이 수학적 기호들인 이유는 그것들의 조작 및 관계가 수학자들에게 주목되기 때문이다. 그러한 조작 및 관계 파악에서 각 기호의 의미를 정의할 필요가 없으며, 각 기호의 이미지 역할, 즉 특정 대상들의 양을 나타내는 ‘||’의 역할도 따질 필요가 없다. 셈 능력 및 양 파악에 근거해 누구나 습득 가능한 산수와 연관된 자연수론 건설에서 수학자는 기호 자체를 수학적 대상으로 취급하며 그들 간의 관계에 주목한다. 그들 간의 관계에 근거한 자연수론의 구조를 파악하는 데, 수학자들에게 수기호와 수를 구분하는 것은 큰 의미를 가질 수 없다는 것이다. 자연수론의 구조는 ‘경험적 내용을 제거하는 추상화 과정을 거친 이후의 것’이라는 점에서 추상적이지만, 그 구조는 기호들의 조작 및 관계 속에 드러나는 것이다. 여기에서 ‘||’가 무엇인지를 따질 필요가 없다는 것이 힐베르트의 입장이다.

 

비유클리드 기하학의 출현으로 힐베르트도 당시 다른 수학자들과 마찬가지로 자연수론을 수학의 기초로 간주했다. 힐베르트는 자연수론을 기초로 수학의 다른 분과들이 어떻게 파생될 수 있는지 혹은 그런 분과들의 연관 관계를 따지는 것에는 큰 관심을 갖고 있지 않았다. 그가 관심을 가진 것은 ‘자연수론이 어떻게 모든 수학자들의 공통 언어로 기능할 수 있는가?’였다. 자연수론의 구조를 명확히 밝히고 수학자들의 공통 의사소통 기반으로 삼으려면, 그것의 형식화가 필요하다. 자연수론의 형식화에서 필요한 유일한 수기호는 ‘|’와 같은 것이다. ‘|’에 ‘|’를 연속적으로 덧붙여 수기호 ‘||’, ‘|||’ 등을 만들 수 있기 때문에, 그러한 덧붙이기 연산자를 도입한다. 그리고 연산자 ‘+’와 관계 ‘=’를 도입한다. 수기호 ‘|’, 덧붙이기와 더하기 연산자, ‘=’ 모두 형식적 기호들로서 정의할 필요가 없다. 그 기호들의 기능 및 그 기능에 근거한 모든 패턴들은 공리들(axioms)에 의해 규정된다. 그리고 형식화된 고전 논리학의 추론 규칙들을 더해 형식 공리 체계를 완성할 수 있다. 형식 공리 체계에서 증명은 공리들과 추론 규칙들에 따른 유한개의 진술들로 구성된다. 그런데 형식화 이 전의 자연수론의 구조를 그러한 형식 공리 체계 L가 제대로 구현했는지를 따지려면, 즉, 공리들을 적절하게 선택햇는지를 따지려면, 적어도 L의 무모순성을 보여야 한다. L의 무모순성을 보이려면, ‘|’, ‘||’, ‘|||’ 등을 자연수론의 1, 2, 3으로 해석하고 논리적 연결사들의 참 거짓 규정 방식을 규정해야 한다. 이렇게 형식 공리 체계의 진술 및 추론 규칙들의 구성 요소들에 의미를 부여하는 것을 ‘의미 부여 작업’이라 할 때, 그러한 의미 부여 작업은 형식화 이 전의 자연수론과 고전적 2치 논리학을 전제한 것이다.

 

의미 부여 작업을 다루는 ‘메타언어(meta-language)’ 속에서 형식 공리 체계의 진술들은 형식화 이전의 자연수론에 의해 해석된다. 그런데 자연수론의 형식 공리 체계의 무모순성은 증명 불가능하다는 사실이 괴델(K. Goetdel)에 의해 밝혀진다. 그 이후, 모든 수학 이론의 공통 기반은 자연수론이 아니라 집합론이라는 인식이 퍼지게 된다. 그리고 힐베르트의 형식주의는 특정 집합을 모형(model)으로 갖는 형식 공리 체계를 무모순한 것으로 규정하는 이론으로 변모하게 된다. 그러한 이론에서 L의 ‘|’, ‘||’, ‘|||’ 등은 집합 {∅}. {∅,{∅}}. {∅, {∅}, {∅, {∅,{∅}}} 등으로 해석된다. 현재 많은 수학자들은 집합론을 모든 수학 분과들의 공통 언어처럼 간주한다. 실례로 해석학의 중요한 개념인 연속체(continuum)도 실수들의 불가산 무한 집합으로 정의된다. 이제 브라우버르의 직관주의와 구성주의의 전개 과정, 그리고 비숍(E. Bishop) 이후 구성주의가 다시 전성기를 맞게된 이유 등을 간략히 언급하려고 힐베르트의 형식주의를 평가하는 데 필요한 몇 가지 질문들을 던져 보자.

 

• 자연수론의 형식화에서 요구되는 구조주의는 ‘사물 앞 구조주의(ante rem structuralism)’이다. 사물 앞 구조주의에 따르는 경우, 수가 무엇인지 정의할 필요가 없다. 눈앞에 보이는 수기호들, 수기호들 사이의 관계를 파악하면 그만이다. 수기호들 사이의 관계에 근거한 구조를 얻는 과정에서 플라톤의 형상과 같은 추상적 수가 전제될 필요가 없다. 수기호들 조작에 근거한 패턴들과 구조들은 종위 위에서든 머리 근처에서든 구성 가능한 것이다. 수학이 그런 구성 가능한 것들을 다룬다면, 굳이 자연수론을 형식화하고 그 결과인 형식 공리 체계의 무모순성을 따질 필요가 있는가?

 

• 힐버트에게 수학은 논리학의 일부가 아니다. 그렇다고 논리학이 수학의 일부도 아니다. 추론 형식을 다루는 논리학은 수학에 전제된 것이다. 논리 체계는 하나가 아니다. 그렇다면 수학자에게 논리 체계는 선택 사항이라고도 할 수 있다. 배중률을 전제하는 고전 논리 체계를 모든 수학적 작업에 전제된 것이라고 주장은 정당한가?

 

• 배중율을 전제하면 모든 수학적 진술은 그것의 증명 여부와 무관하게 참 또는 거짓이다. 이때 수학적 참은 구성 혹은 창작의 대상이 아니라 발견의 대상이 된다. 어떤 수학적 진술이 아직 참으로 증명되지 않았다고 해도, 그것은 참 또는 거짓이다. 그것이 참이라면, 그것은 수학자들의 증명을 기다리고 있는 것이다. 수학적 참은 일단 인간의 앎 및 증명 이 전에 ‘객관적으로 있는 것’이다. 이렇게 수학적 참을 발견의 대상으로 간주하는 경우는 앞서 언급한 ‘사물 앞 구조주의’만 가지고는 정당화할 수 없다. 사물 앞 구조주의 자체는 구조의 객관적 실재성을 전제하지 않기 때문이다. 이때 생각해 볼 수 있는 구조주의는 ‘사물 속 구조주의’이다. 우리가 경험하는 세계의 현상들, 실례로 나뭇잎들의 배열 방식, 소용돌이, 도로망 등에는 객관적으로 존재하는 수많은 구조들이 숨겨져 있다. 구성, 증명 여부와 무관하게 그 구조들의 속성들과 관련된 진술들은 참 또는 거짓이다. 이러한 실재론적 구조주의를 수학자들은 인정해야 하는 것인가? 만약 그렇다면, 이미지 역할을 박탈당한 기호들의 조작 및 관계에 근거한 모든 가능한 수학적 구조들은 어떻게 하든 경험 현상들 속에 숨어 있는 실재 구조들을 반영하는 것이어야 한다. 그러한 수학적 구조들을 ‘추상화 과정을 통해 생각할 수 있는 구조들’이라고 할 때, 생각할 수 있는 모든 구조들은 결국 경험 현상들 속에 숨에 있는 구조들을 반영해 주는 것인가?

 

• 현재 많은 수학자들에게 집합론은 의사소통의 공통 언어처럼 기능한다. 그들은 수, 기하학의 점과 선분 및 공간 모두 집합으로 표현하는 것을 즐긴다. 해석학의 연속체는 실수들의 불가산 무한 집합으로 표현된다. 선분을 파악하는 것은 역사적으로 두 가지로 나뉜다. 하나는 연속체가 무한 분할 가능하다는 관점이고 다른 하나는 분할 불가능한 구성단위를 갖고 있다는 관점이다. 후자의 관점을 연속체에 대한 ‘원자론적 연속체’ 관점이라고 할 때, 현대 집합론에 따른 연속체 해석은 원자론적 연속체 개념에 따른 것이다. 실수를 더 이상 분할 불가능한 연속체의 기본 구성단위로 간주하기 때문이다. 그렇게 간주하는 것은 정당한가?

 

브라우버르의 ‘원초적 직관(Ur-Intuition)’에 따른 수선(number line)의 구성 방식을 살펴보면, 위 모든 질문들은 그의 구성주의에서 부정된다. 이와 함께 수학계에서 다시 부활한 구성주의의 면모를 간략히 언급한 후, 힐베르트 형식주의와 브라우버르의 직관주의에 대한 밀의 반응을 살펴볼 것이다. 물론 그러한 반응은 ‘밀이 힐베르트, 브라우버르와 동시대에 살았다면’이라는 가정 아래 추측해 보는 것에 해당한다.