앤드류 와일즈, 페르마의 마지막 정리

1993년 6월 23일, 케임브리지 대학교에 있는 뉴턴 수리과학연구소에서 수많은 학자들이 모인 가운데 학회가 열렸는데요, 여기서 이 학교를 졸업한 수학자 앤드류 와일즈가 ‘타원곡선과 모듈러 형식’이라는 강연을 했습니다. 그는 강연에서 현대 수학의 이론들을 증명해 나갔습니다. 그가 마지막 증명을 마친 후 우레와 같은 박수가 곳곳에서 터져 나왔습니다. 다음날 영국의 가디언, 미국의 뉴욕타임스, 프랑스의 르몽드 등 각국의 대표 언론사들은 1면에 수학계의 가장 큰 수수께끼가 마침내 풀렸다고 보도했죠. 앤드류 와일즈는 무엇을 했길래 세간의 주목을 받게 된 것일까요? 네, 그렇습니다. 인류 수학사 최대 난제, 350년 동안 풀지 못했던 페르마의 마지막 정리를 풀었기 때문입니다.

 

페르마의 마지막 정리란 17세기 판사이자 수학자인 피에르 드 페르마와 관련 있습니다. 그는 고대 그리스 시대의 수학책 <산법, Arithmetica>의 여백에다 “xn+yn=zn, n이 2보다 클 때 이 등식을 만족하는 자연수 해는 없다.”라는 명제에 대해 자신은 “놀라운 방법으로 증명했지만 책의 여백이 너무 좁아 적을 수가 없다”라고 기록을 남겼는데요. 이후 그의 증명 방식은 어느 곳에서도 발견되지 않고 350년 넘게 미제로 남게 됩니다. 위대한 수학자 오일러, 천재 가우스도 도전했지만 결국 실패했죠. 와일즈는 페르마의 마지막 정리를 아주 어릴 때 만났습니다. 수학을 좋아했던 10살 소년은 동네 도서관에서 우연히 <마지막 문제>라는 책을 발견했고요, 어떤 사람이 300년 전에 이 문제를 풀었고, 이후 수많은 사람이 도전했지만 푼 사람은 하나도 없다는 이야기에 매료됐습니다. 문제 자체는 10살짜리도 이해할 만큼 쉬웠는데 말입니다. 그 순간부터 이걸 풀겠다고 마음먹었습니다. 옥스퍼드를 졸업하고 케임브리지 대학교에서 박사를 받을 때도 이 문제에 매달렸지만 뾰족한 방법이 떠오르지 않았습니다. 결국 지도교수의 설득으로 당시 수학계에서 인기 있던 주제인 타원 방정식으로 연구 방향을 돌렸습니다. 그런데 얼마 지나지 않아 페르마의 정리에 다시 매진하게 됩니다. 어떤 실마리가 보였기 때문이죠. 상당히 어려운 이야기지만 골격만 간단히 말씀드리겠습니다. 이건 사실 이해하실 필요는 없으신데요 1957년 일본 수학자인 타니야마 유타카와 시무라 고로는 ‘모든 타원 방정식은 모듈로 전환할 수 있다’라는 ‘타니야마-시무라’ 추론을 주장했습니다. 타당성이 있었지만 증명하지는 못했죠. 1984년 독일 수학자 게르하르트 프라이가 페르마의 마지막 정리가 거짓이라면 페르마의 방정식을 타원 방정식으로 바꿀 수 있다고 발표했습니다. 그리고 1986년 미국 수학자 켄 리벳이 프라이가 만든 타원 방정식이 ‘모든 타원방정식은 모듈 형태’라는 타니야마-시무라 추론을 위반하는 예임을 증명했습니다. 프린스턴 대학교에서 착실히 연구하던 와일즈는 희열을 느끼게 됩니다.

 

페르마의 마지막 정리가 자신의 연구분야로 들어왔기 때문입니다. 페르마의 정리를 거짓으로 가정하고 만든 타원 방정식이 모듈 형태가 아닌 게 증명되었으니, 이제 타니야마-시무라 추론이 맞다는 것만 증명하면 페르마의 마지막 정리가 참이라는 게 증명되는 것이었습니다. 와일즈는 다른 연구를 모두 중단했습니다. 학계에서 7년간 잠적했습니다. 그리고 이 문제를 풀어냈습니다. 물론 이후 증명에 오류가 있다는 게 발견되어서, 1년간 추가 연구 끝에 완벽한 증명을 완성했습니다. 그의 나이 41살에 이뤄낸 업적이었습니다. 그런데 와일즈는 프린스턴의 잘 나가던 젊은 학자의 지위를 모두 내던지고 왜 사서 고생을 했을까요? 그건 이 문제를 푸는 게 즐거웠기 때문입니다. 처음 2년간은 문제에 들어가지도 못하고 전략만 계속 바꿨을 정도로 헤맸지만, 평생의 꿈에 매달린다는 것이 시간가는 줄 몰랐습니다. 그는 증명에 결정적인 아이디어가 떠오른 순간을 이렇게 회상했습니다. “갑자기 이상한 발상이 떠올랐어요. 수학자로 살아온 중에 그때가 최고로, 정말 최고로 중요한 순간이었죠. 절대 다시 오지 않을 겁니다.” 그 순간에 대한 감동이 떠올라 눈물을 보일 정도로 문제 자체에 빠져 있었던 겁니다. 이처럼 창조와 혁신에 있어 내적 동기는 큰 위력을 발휘합니다. 스스로 하고 싶은 동기가 다른 어떤 동기보다 우선한다는 것이죠. 1940년대 미국 심리학자 해리 할로(Harry Harlow)는 원숭이들의 학습실험을 설계했습니다. 간단한 자물쇠 퍼즐을 풀게 할 계획이었는데요, 실험을 세팅하기도 전에 원숭이들이 퍼즐을 가지고 놀다가 푸는 것이었습니다. 그런데 자물쇠를 푼 원숭이에게 건포도를 주자 퍼즐에 대한 관심사가 떨어지는 것이었습니다. 외적 보상이 내적 동기를 소멸시키는 현상이 나타난 것이죠. 이후 여러 학자들에 의해 동기 이론이 발전됩니다. 가령 창의적 과제는 숙달욕구, 불멸, 인정, 자존감, 미의 창조, 자기 입증, 근본 질서의 발견 등 내적 보상이 중요하고, 논리적 과제는 돈과 같은 외적 보상이 중요하다는 사실이 밝혀졌습니다.

 

돈으로 살 수 없는 것이 바로 창의력과 상상력입니다. 와일즈가 모든 것을 제쳐 두고 페르마의 정리를 위해 뛰어든 까닭은 돈, 명예, 지위 등 외적 요인 때문이 아니었습니다. 어렸을 적 자신을 수학의 길로 안내한 한 책자, 그 책자에 적힌 그 한 구절을 자신의 운명처럼 생각했기 때문입니다. 직원들에게 물질적 지원을 쏟아주면 당연히 결과도 비례하게 나올 것이라 기대하는 리더들 참 많죠. 하나 아무리 물질적 지원을 받아도 억압된 분위기 속에서 자존감이 낮아지고 인정도 못 받는다면 자신의 능력을 맘껏 발휘하지 못할 것입니다. 외적 동기 이상으로 중요한 것이 내적 동기입니다. 창의적 인재를 육성하기 위해 내적 동기를 저해하는 요인들을 찾아보는 것은 어떨까요? 읽어주셔서 감사합니다.