딥러닝의 기초가 되는 인공 신경망(Artificial Neural Network)이 우리의 뇌를 본따서 만든 것이라는 것은 다 알고 계실 것 입니다. 그렇기에 현재의 비약적인 발전이 계속 된다면 딥러닝 모델이 인간의 뇌처럼 발전하여 우리의 지능과 거의 비슷하게 또는 능가하는 수준이 되지 않을까라고 자연스럽게 추론할 수 있습니다. 흠, 근데 정말 과연 그럴까요?
빌 게이츠가 매 년 발표하는 독서 리스트를 살펴보던 중 뇌과학(Neuroscience)과 컴퓨터 과학(Computer Science)를 동시에 논하는 책이 있어 냉큼 사서 읽어보았습니다. Jeff Hawkins의 A Thousand Brains: A New Theory of Intelligence입니다.
Hawkins는 PC 초창기에 휴대용 컴퓨터를 개발하다가 뇌과학이라는 분야로 전향한 분으로, 어찌 보면 AI를 가장 잘 논할 수 있는 지식을 가진 사람이 아닐까 싶습니다. 그가 이 책에서 자신의 연구소에서 발표한 새로운 뇌에 대한 해석과 함께, 이에 연관되어 현재의 AI 모델의 구조는 인간 레벨에 준하는 Artificial General Intelligence(AGI)에 도달하기 어려울 것이라는 설명을 합니다.
위클리 NLP에서도 Week 36, Week 47 등에서 현재 딥러닝 기반 NLP 모델이 가진 한계점에 대해서 이야기했었습니다.
공상과학에서만 봐왔던 AGI, 정말 가능한 것일까요? 컴퓨터 이론을 이해하는 뇌과학자의 생각은 어떨까요?
뇌를 이해하는 새로운 방식
Hawkins는 첫번째 파트에서 Neocortex(신피질)을 중심으로 우리의 뇌를 어떻게 이해해야 하는지 설명합니다.
Neocortex에는 인간이 세상을 이해하기 위한 모델(model)이 담겨있다고 합니다. 이 모델을 이용하여 세상에서 생존하기 위한 다양한 생각과 행동을 하는 것이고, 이를 “지능"이라고 부릅니다. 어찌 보면 우리가 공부하는 AI “모델”과 굉장히 비슷한 컨셉인 것 같죠?
최근에 그의 연구소에서 발견한 뇌의 새로운 작동 방식을 요약하자면:
- 뇌에는 단 한 개의 모델이 아니라, 수천, 수만 개의 모델이 존재한다. 그리고 어떤 것에 대한 이해를 할 때 수천 개의 모델이 투표와 같은 메커니즘을 통해 이루어진다.
- 뇌가 어떤 정보를 저장할 때는 reference frame이라는 곳에 위치 정보를 함께 한다.
- 뇌는 이러한 모델을 통해 매 순간마다 미래를 예측한다.
- 이러한 방식은 커피 컵 같은 단순한 물체에 대한 이해 뿐만 아니라, 민주주의, 수학 같은 추상적인 컨셉에도 똑같이 적용된다.
5년 전만 해도 이러한 가설을 증명하기 힘들었지만, 그동안 많은 연구 논문을 통해 이러한 새로운 작동 방식이 사실이라는 것을 발표했다고 하는데요. 좀 더 많은 사람들에게 알리기 위해서 책을 썼다고 합니다. 아직은 뇌를 이해하는데 걸음마를 떼고 있는 수준이지만, 이는 굉장히 큰 진전이라고 평가하고 있습니다.
현재 AI 모델의 한계와 AGI
Hawkin은 현재 AI 모델은 아직 “shallow”, 얕다고 평가합니다.
실제로 세상에 대한 이해를 하는 것이 아니라 주어진 학습 데이터를 통해서 한정적인 모델을 구축할 수 밖에 없다고 지적합니다. 그렇기 때문에 현재의 AI 시스템은 특정한 문제에는 기가 막히게 좋은 성능을 보여줄 수 있지만, 전반적으로 봤을 때는 3살짜리 아이보다도 못한 “지능”을 갖고 있다고 평가하였습니다.
*이것은 Week 36에서 리뷰한 여러 논문이 지적한 AI 모델의 한정된 “세계관"과 접지 능력(grounding)과 맞닿아 있습니다.
이러한 한계점에도 불구하고 여기까지 발전해온 것은 엄청나게 대단한 일이며 충분히 상업적인 가치를 가지고 있다고 얘기합니다. 그러나 더 나아가려면 General-purpose, AGI가 필요하다고 주장합니다. 3살짜리 인간 아이처럼 쑥쑥 커가고 새로운 환경에도 금방 학습하고 적응할 수 있는 그런 모델을 가진 인공지능 말이죠.
많은 사람들은, “과연 그런 AI를 만들 수 있나?” 또는 “그런 AI가 왜 필요해?”라고 반문할 수도 있을 것이지만, Hawkin 본인은 PC가 발명된 초창기를 경험에 비추어 봤을 때 비슷한 논쟁이 있었다 보았습니다.
그 때도 기업들을 위해 필요한 기능만 가진 특정한 컴퓨팅 기계만 만드는 IBM과 Intel이 있었고, 다양한 개인 유저들도 쓸 수 있게 개인용 컴퓨터(PC)와 운영체제를 만드는 마이크로소프트와 애플이 있었죠. 누가 더 큰 승자가 되었는지는 따로 설명하지 않아도 될 것 같습니다.
지금의 AI 모델은 특정한 문제를 위해 데이터를 모으고 학습을 하고 난 후에 시스템에 배포가 되면, 추후 용도 변경에 꽤나 큰 비용이 듭니다. 모델은 재학습을 해야 하고, 전에 있었던 데이터와의 호환성, 한 모델이 여러 문제를 함께 다루게 하는 범용성도 굉장히 떨어집니다.
그렇기 때문에 기술적으로 가능하기만 하다면, general-purpose AI가 훨씬 더 널리 사용될 것은 경제학적으로 당연한 것이라고 주장합니다. 마치 많은 전자기기가 현재 스마트폰 하나로 통일된 것처럼요.
AGI를 위해 더 나아가려면?
하지만 general-purpose AI, 즉 AGI로 가는 길은 굉장히 멀어보입니다. Hawkin은 21세기의 말에 가면 이러한 AI가 가능할지도 모르겠다고 하며, 이를 위해 방향성을 제시합니다.
인간의 뇌가 작동하는 방식을 비추어 보았을 때 AI가 필요하는 것이 무엇인지 살펴본 리스트라고 보시면 될 것 같습니다.
1. Learning Continuously (지속적인 학습)
인간은 태어나서 죽을 때까지 매 순간에 새로운 것을 학습합니다. 새로운 환경에도 금방 적응하죠. 우리 뇌의 뉴런은 새로운 패턴을 보았을 때 새로운 연결(synapse)을 만들어 이를 학습합니다.
그러나 AI 모델은 보통 한번 학습되어 시스템에 배포되어 작동되기 시작한 순간 학습을 멈춥니다. 그렇기 때문에 어떤 환경 요소가 바뀌었을 때 심각한 에러를 불러 일으킬 수 있습니다. 이를 해결하기 위해 새로운 모델을 주기적으로 재학습시켜 배포해야 하고, 새로운 데이터 수집, 학습을 위한 컴퓨팅 파워 등 엄청난 비용을 초래합니다.
2. Learning via Movement (움직이면서 학습)
인간은 계속 몸을 움직이면서 세상에 대한 모델을 학습합니다. 한 공간에서 세상의 모든 것을 감지할 수는 없기 때문이죠. 여기서 공간은 물리적인 공간 뿐만 아니라 가상 공간까지 포함합니다. 인터넷을 통해서도 다양한 정보와 소통을 할 수 있습니다.
뇌의 신피질은 각 부분마다 감각과 운동에 대한 시스템을 구축하고 있습니다. 그렇기 때문에 어떤 움직임을 했을 때, 어떤 감각이 들어올지 예측할 수 있죠. 예를 들어, 뜨거운 커피 잔에 손가락을 올려놓으면 피부를 통해 뜨거움을 느낄 것이라는 것을 과거의 경험을 통해 미리 예측할 수 있습니다. 이러한 모델은 직접 움직이면서 세상과 "인터렉션"하면서 얻는 “데이터"를 통해 학습됩니다.
3. Many Models (많은 모델)
앞서 말했듯이, 뇌는 수천, 수만 개의 모델로 이루어졌다고 하였습니다. 하나의 물체에 대한 이해라도 여러 모델에 분산되어 있습니다. 이렇게 분산되어 있기 때문에 뇌는 더 유연하게 변화에 대처할 수 있고, 기존에 학습된 모델을 폐기하지 않아도 됩니다. 또한, 촉각, 시각, 후각 등 다양한 인풋을 조합하기 쉽습니다. 뇌는 수천, 수만 개의 모델의 결과를 투표(voting) 시스템을 통해 하나의 예측으로 통일할 수 있는 놀라운 능력을 가지고 있죠.
4. Using Reference Frames to Store Knowledge (위치 정보와 함께 지식을 저장)
새로 발견된 뇌의 작동 방식은 reference frame이라는 위치 정보에 연결하기 적합한 구조에 지식이 저장된다는 사실입니다. 그렇기 때문에 어떠한 물체의 공감각적인 정보를 기억한다거나, 각 물체 간의 상대성, 추상적 개념 간의 연관성을 쉽게 학습할 수 있는 것이지요.
현재의 인공신경망은 이러한 위치정보를 직접 명시적으로 구조에 반영하지 않는 이상 (ex. 체스 두는 AI 모델에 말의 위치를 인코딩하는 등) 반영하지 않습니다. 다만 점점 AI의 응용 분야가 로봇이나 자율주행자동차 등 위치 정보가 중요해지면서 이러한 방향으로 발전하고 있다고 합니다. 특히 딥러닝의 거장 중 한명인 Geoffrey Hinton 교수의 캡슐 네트워크를 이야기하는데, 나중에 시간이 되면 깊게 다루어보도록 하겠습니다.
“지능(Intelligence)는 기계가 몇 가지 문제를 얼마나 잘 푸는 것으로 측정할 수 없다. 오히려 기계가 얼마나 세상에 대한 지식을 잘 저장하고 지속적으로 학습하는지를 측정해야 한다". -Jeff Hawkins
오늘은 NLP에서 좀 줌아웃을 하여 저 멀리 뇌과학까지 살짝 들여다 보았습니다. 저도 같이 NLP를 연구하던 친한 동료가 뇌과학을 연구하게 되어 관심을 갖고 있던 찰나에 이렇게 두 가지 분야를 함께 엮어 공부할 수 있는 좋은 책이 있어서 <위클리 NLP>에도 소개하게 되었습니다. 피드백이나 질문이 있다면 댓글로 언제든지 환영합니다!
언제나 그렇듯이 더 자세한 내용은 책을 직접 읽어보시는 것을 추천합니다. 아쉽게도 번역판은 아직이네요! 저자가 직접 인터뷰 형식으로 소개하는 유튜브도 첨부합니다.
YouTube
Reference
- Jeff Hawkins, A Thousand Brains: A New Theory of Intelligence (amazon, 알라딘)
- Bill Gates, Is this how your brain works?, gatesnotes
