<6> 페르마

고독했던 법관이 낸 숙제… 350년간 전세계 수학자 괴롭혀

‘3차 이상의 제곱수를 같은 차수의 제곱수의 합으로 나타내는 것은 불가능하다(Ｚn≠Xn+Yn).’(n=1, 2인 경우는 성립)

초등학교 산수 외에는 수학을 배운 적이 없는 프랑스 툴루즈 지방법원의 법관이었던 피에르 드 페르마(1601∼1665). 그가 17세기에 남긴 이 정리는 20세기 후반 앤드루 와일스 당시 미국 프린스턴대 교수에 의해 풀릴 때까지 약 350년 이상 전 세계의 수학자들을 울리고 웃기며 ‘페르마의 마지막 정리’로 불렸다. 고대 그리스의 수학자 피타고라스가 남긴 ‘피타고라스의 정리’와 함께 수학사에 가장 유명한 정리로 꼽힌다.

페르마가 활동할 당시 법관들은 일반인과 자유롭게 만나는 것이 금지됐다. ‘누구라도 언젠가 법정에 나와 재판을 받을지 모르므로 법관의 판단에 영향을 줄 수 있다’는 이유였다. 낮에는 이교도에 대한 화형 등의 판결을 내리고 밤에는 사회로부터 고립된 페르마는 피로, 무료함 그리고 고독에서 벗어나기 위해 서른 살쯤부터 수학에 빠져든 것으로 기록은 전하고 있다.

평소 자신을 ‘아마추어’라고 생각해 단 한 편의 수학 논문도 발표하지 않았던 페르마는 스스로 발견한 내용도 세상에 공개하지 않았다. ‘마지막 정리’도 페르마가 책의 한 여백에 “나는 이 정리를 위한 멋진 증명을 알고 있는데 여백이 좁아 기록할 수가 없다”고 적어 놓아 세상에 알려졌다. 그가 이 메모를 남긴 책은 기원후 3세기의 수학자 디오판토스가 쓴 ‘산술학’의 라틴어 번역판이었다. 친필 메모가 있던 책은 전하지 않지만 페르마의 아들 사무엘이 아버지가 사망하고 5년 후 유고집을 엮으면서 또 다른 라틴어판 ‘산술학’에 아버지의 메모를 추가한 증보판을 내면서 ‘마지막 정리’ 등의 메모가 전해지게 됐다.

최근 이만근 교수(동양대)와 함께 찾은 페르마의 고향 프랑스 툴루즈에서는 ‘스타 아마추어 수학자’를 기념하기 위한 많은 노력이 이뤄지고 있었다.

페르마가 근무했던 법원 자리에는 2008년 새로 지은 툴루즈 지방법원이 들어섰다. 나폴레옹 시절 기존 중고교 이름을 바꿔 만든 ‘페르마 중고등학교’는 현재 프랑스 최고 명문고 중 하나다. 이 학교 졸업 후 ‘그랑제콜’(고등교육기관) 준비반에 다니고 있는 옴브린 보예 씨(20·여)는 “훌륭한 수학자의 이름을 딴 학교 학생으로서의 자부심이 크다”고 말했다.

페르마의 생가는 툴루즈에서 서북쪽으로 자동차로 1시간 거리인 한적한 농촌 소도시 보몽드로마뉴에 있다. 이 도시는 중심가를 아예 ‘페르마 거리’라 이름 지었고 시청 건너편에는 대형 석상도 세웠다. 사각형으로 된 석상 기단부에는 동시대와 후대의 유명 수학자 피에르 라플라스와 블레즈 파스칼이 바친 “페르마는 진정한 발명가” “세상에서 제일 큰 인물” 등의 칭송이 새겨져 있다. 석상 앞쪽에는 페르마의 아들이 당시 최고 명문 고등교육기관인 ‘에콜 폴리테크니크’에 다녔다는 등 ‘집안 자랑’이 적혀 있다.

생가는 시에서 도서관과 박물관, 관광안내소 등으로 사용 중이었다. 시는 툴루즈대 수학과와 공동으로 이곳을 3, 4년 안에 페르마 자료 전용 전시관으로 바꿀 계획이라고 박물관 직원 베르니카 퀴베 씨는 말했다. 이곳을 찾는 관광객만 한 해 약 2만 명. 보몽드로마뉴 시는 매년 10월 ‘페르마 축제’를 개최하고 있으며 지난해에는 그의 탄생 410주년 기념행사도 치렀다.

‘페르마의 정리’는 수많은 수학자들의 도전의식을 자극해 수학자들이 풀이에 매달렸으나 풀지 못했다. 아르키메데스, 아이작 뉴턴과 함께 역사상 3대 수학자로 꼽히는 독일의 가우스조차도 “그런 풀지 못할 정리는 나도 낼 수 있다”며 거들떠보지도 않았다가 20세기 말에 해답이 나와 그의 명성에 ‘옥의 티’를 남겼다.

피에르 드 페르마의 생가가 있는 프랑스 보몽드로마뉴 시에 세워진 석상. 1883년 동상이 세워졌으나 제2차 세계대전 때 독일군이 대포알을 만들기 위해 파괴했다. 전쟁 후 1955년이 지역의 한 수학 교사가 자기 고장에서 천재 수학자를 배출했다는 긍지를 갖자며 다시 석상을 세웠다고 시 정부 측은 설명했다. 보몽드로마뉴=구자룡 기자

 

프랑스 학술원도 ‘마지막 정리’ 해답자에 대해 1816년 금메달과 상금 3000프랑을 내건 후 1857년에 쿠머라는 인물에게 시상한 것으로 알려졌다. 엉뚱한 사람에게 상을 준 셈이다. 독일 괴팅겐 왕립과학 아카데미도 1908년 ‘마지막 정리’를 푼 사람에게 주기 위해 10만 마르크의 ‘볼프스켈 상’을 제정해 수년간 수천 건을 접수했으나 모두 불합격 처리했다. 이 상의 제정 경위도 흥미롭다. 상금을 내놓은 볼프스켈은 독일 사업가이자 아마추어 수학 애호가로 실연(失戀) 당한 슬픔에 자살을 결심하고 ‘자살 시한’을 정했다. 극도로 우울한 상황에서 그는 우연히 ‘마지막 정리’를 발견하고는 풀기에 매달리다 그만 자살 시한을 넘기고 말았다고 한다. 이 문제가 자신의 목숨을 살렸다고 판단한 그는 거금을 문제 해결자에게 제시했다. 이 상은 1997년 앤드루 와일스 교수에게 돌아갔다(책 ‘우리 수학자 모두는 약간 미친 겁니다’).

페르마가 수학사에 남긴 큰 기여 중의 하나는 ‘소수’(1과 자신 외에는 나누어 떨어지지 않는 수로 1, 3, 5, 7, 11, 13 등 무한히 많다)와 관련된 많은 자연수의 패턴들을 발견한 점이다. 소수 관련 난제(難題)도 많이 남겼다.

‘자연수 a가 소수 p로 나누어 떨어지지 않으면 a(-1-1은 p로 나누어 떨어진다(한 예로 a=8, p=5일 경우 확인됨).’ ‘페르마의 작은 정리’라고 이름 붙은 이 정리는 나온 후 약 100년 후에야 스위스의 수학자 레온하르트 오일러가 참임을 증명했다.

페르마는 또 당대의 최고 프로 수학자 파스칼과 함께 ‘확률론’의 기초를 닦았다. 파스칼은 르네상스 시대의 레오나르도 다빈치에게 수학을 가르친 수도사 피치올리가 낸 것으로 ‘도박을 하던 판이 중간에 깨졌을 때 어떻게 나눠 가져야 하나’라는 200년 이상 된 문제가 안 풀리자 페르마에게 도움을 요청했다. 두 사람은 평생 서로 얼굴을 보지 못했지만 ‘수학의 친구’가 됐다.

‘마지막 정리’ 컴퓨터로도 못 풀어… 설명에만 사흘 걸렸다, 1993년 와일스 교수가 증명

 

1993년 6월 23일 영국 케임브리지대 ‘아이작 뉴턴 연구소’ 1층 강당. 케임브리지 출생의 미국 프린스턴대 앤드루 와일스 교수(59·현 옥스퍼드대 교수·사진)가 사흘 연속 계속한 강연을 끝맺으면서 “이것으로 페르마의 마지막 정리는 증명되었다”고 선언했다. 청중 사이에서 흥분과 감탄이 터져 나왔다. 수학 역사상 최대 난제를 풀었다는 소식은 전 세계로 급타전됐다.

연구소는 이 대학 교수를 지낸 뉴턴(1642∼1727)을 기념하기 위해 세워진 곳이지만 지금은 ‘페르마 정리 풀이’ 명소로 변해 있었다. ‘마지막 정리 풀이’ 기념 티셔츠와 머그잔 등 기념품도 판매하고 있다. ‘마지막 정리’ 풀이로 와일스 교수는 ‘살아있는 가장 유명한 수학자’가 됐다고 이만근 교수는 말했다.

와일스 교수의 풀이 과정도 한 편의 드라마처럼 극적이다. 와일스 교수는 열 살 때 동네 공공 도서관에서 ‘페르마의 마지막 정리는 보기에 간단하지만 300년 이상 풀리지 않고 있다’는 내용을 수학책에서 보고 이 정리를 푸는 것을 평생의 목표로 삼았다. 교수가 된 후 한동안 잊고 있다가 “아직 누구도 못 풀었다”는 소식을 문득 다시 접하고는 본격적인 도전에 나선다. 그는 다른 사람과 의견을 교환하면 경쟁자가 나타나거나 자신의 풀이 과정 정보가 유출될 것을 우려해 다락방에 칩거해 풀이에 매달렸다. 7년 뒤 드디어 ‘모듈러 형식, 타원 곡선, 그리고 갈루아 리프레젠테이션’이라는 애매한(?) 제목의 강연을 마치면서 200여 쪽의 풀이집을 내놓을 때까지 누구도 눈치 채지 못했다.

마지막 정리’ 증명 기념 티셔츠 영국 케임브리지대 ‘아이작 뉴턴 연구소’에서 판매하는 기념 티셔츠에 앤드루 와일스 교수가 ‘페르마의 마지막 정리’를 증명했음을 소개하고 있다. ‘그의 우아한 증명에 비해 이 티셔츠는 너무 크기가 작다’ 는 마지막 문장이 눈길을 끈다. 케임브리지=구자룡 기자

 

‘마지막 정리’는 첨단 컴퓨터로도 풀지 못했다. 지금도 풀이를 완전히 이해하는 수학자는 많지 않은 것으로 알려졌다. 첫 발표 후 풀이에 몇 가지 결함이 있다는 의견이 제시되자 그는 또다시 1년여 칩거에 들어갔으며 이후 해결책을 제시했다. 1995년 5월호 ‘수학 연보’에 발표함으로써 그의 정리는 국제적 공인을 얻었다.

‘마지막 정리’의 풀이는 와일스 교수 개인에 의해 마무리됐지만 정리 제기 이후 많은 수학자들의 성과와 정수론과 기하학 분야 등 20세기 첨단 수학 이론이 총동원된 것이라는 것이 수학계의 평가다. 따라서 이런 기법이 나오지 않은 300여 년 전 페르마가 자신의 메모에서 ‘정리를 증명했다’고 한 것처럼 실제로 증명했는지에 대해 논란이 있다. 당시로서는 불가능했을 것이라는 의문이 제기되지만 페르마가 많은 정리를 증명하면서 보여준 천재성과 성실성, 진실성에 비추어 현대 수학자들이 모르는 증명이 있었을 수도 있다는 의견도 없지 않다. <

툴루즈·케임브리지=구자룡 기자>