딥러닝은 한계에 직면했다?

긱뉴스에 ‘딥러닝은 한계에 직면했다'라는 글이 올라왔다.

• 글에서 설명하는 한계들은 : GPT-3는 문장을 이해하지 못하고 그저 자연스럽게 이어가는 데에 초점에 맞춰져있음. 테슬라의 자율 주행 모델은 STOP 표지판을 든 사람을 구분하지 못함. 눈에 파묻힌 버스를 제설차로 분류함. 이 원인은 딥러닝이 생각하는 게 아니라 암기한 다음 분류하는 것이기 때문.
• 그렇기에 치명적이지 않고 이미 결정된 분야에 대해서, 다음 결과를 예측할 수 있는 분야에서는 딥 러닝이 탁월한 효과를 보이지만. 그러지 못하는 영역에서는 문제가 많음. 글쓴이는 NetHack을 예로 듬. 해당 게임을 플레이해서 클리어하는 AI를 고전적인 AI와 딥러닝 AI. 두 가지로 테스트를 했고. 고전적인 AI가 더 탁월한 성능을 보였음.
• 고전적인 AI, 심볼 AI는 의미를 이해하고 진행할 수 있었음. 그렇기에 새로운 패턴이 등장해도 빠르게 대응함. 하지만 딥러닝은 기존 것에서 빈 것들을 분류하는데에는 유용하지만. 자동 생성되는 던전을 잘 해치우지는 못했음. 왜냐면 그게 무슨 의미를 가지는지는 알 수 없기 때문에.
• 글쓴이가 대안으로 제시한 건 하이브리드 AI. ( 참고 : AI의 과거를 통해 AI의 미래를 본다 - MIT Technology Review ) 고전 AI의 심볼 분석과 정의가능한 규칙들로 딥러닝 AI의 한계를 극복하는 것임. 이렇게 하면 내부 동작 원인을 통제할 수 있을 것이고 부분적인 관계와 전체적인 관계를 좀 더 정확하게 다룰 수 있음.
• 이런 AI는 단지 글쓴이의 주장 속에만 있는게 아니라 알파고와 AlphaFold2도 하이브리드 AI. 다른 기업들도 그런 방향으로 가고 있음.

AI 비전문가 입장에서, 예전같았으면 그런가? 하고 넘어갔을텐데 인공지능 회사로 왔으니 도메인 전문가들의 의견이 궁금해졌다. 그래서 의견을 여쭤봤다... 기보다는 링크와 함께 “딥러닝이 무조건 우월한 건 아니었군요"라고 메시지를 남겼다. 리서치 팀 리드, CTO, CEO님이 답변 남겨주신 내용이 인상적이어서 기록해둔다.

리서치 팀 리드 Kai: 저자인 Gary Marcus는 Deep Learning pioneer인 힌튼, 벤지오, 르쿤하고 사이가 안좋고 여러번 디베이트 한 사람으로 유명한데요. symbolic AI랑 deep learning이랑 합쳐야 한다고 오래전부터 얘기한 사람인데, 딥러닝이 워낙 잘 나가서 딥러닝 가이들한테 뭔가 억지부리는 이상한 사람 취급 받다가 최근에는 hybrid 모델 쪽 연구가 조금씩 나오는 추세인거 같네요. 힌튼을 비롯한 딥러닝 가이들은 여전히 symbolic AI를 반대하고 딥러닝이 계속 발전할 거라고 주장하고요.

CTO Jay: 일단 타이틀을 굉장히 선정적으로 잡았네요. 그리고 중간 중간에 든 예시들은 굉장히 코너 케이스들을 예로 들은 것 같고, 그러한 예시들로 한계라고 보기엔 무리가 있다고 생각이 드네요. 개인적으로는 딥러닝의 학습 방법은 성인이 무언가 새로운걸 학습하는 것과 굉장히 비슷하단게 전 첫 인상이었거든요. 우리도 지금 외국어를 공부하면 사실 다양한 문장의 페어를 통으로 암기하고 패턴화해서 새로운 문장을 만들어야할때 이전에 암기했던 내용에서 약간의 변형으로 뱉어내야 리얼타임(?)으로 외국어를 말 할 수 있는데 딥러닝 학습방식은 어린 아이가 자연스레 언어를 학습하는 방법하곤 확실히 차이가 있는 것 같고요. 당연히 앞으로도 더 발전하겠지만 우리가 하는 번역만 해도 음성/영상을 인풋으로 주는 멀티모달 번역같은 모델도 앞으로도 전 나올거라보고, “사람이 무언가를 할 때 쓰는 모든 피쳐(센싱?)를 한 모델이 다 가져가서 쓰고 나서도 액션을 사람처럼 잘 못한다” 는 것과 같은게 증명이 되면 딥러닝의 한계가 왔다고 말할 수 있지 않을까 합니다. 그렇게까지 안하고도 사람보다 잘 할수도 있고요.

CEO Tim: 선정적인 제목이라는데 저도 한표 ㅎㅎ 전반적으로 취지는 이해는 하겠지만, 확실하지 않은 글을 단정적으로 쓴것이 Kai가 얘기하신 것과 같은 의도가 보이는 것도 같습니다. 딥러닝은 이해할 수 없고 사람은 이해할 수 있다 - 이것도 우리가 확실히 알고 있지 못한 부분이죠. 사람은 왜 이해를 할 수 있는가 or 사람이 하는 것이 과연 이해인 것인가에 대한 정답도 모릅니다. 꼬마 선충을 컴퓨터로 artificial network로 재현하면 똑같이 동작한다고 하죠. 과연 뇌만이 특별히 축복받은 구조체인가.. 고민해볼만 한 내용입니다. 기존에는 computational resource와 data의 제약으로 if-else 식의 코딩만이 문제를 해결할 수 있는 시대가 있었죠. 이러한 제약들이 어느정도 해소하면서 deep learning이 비약적으로 발전하게 되었고요. 지금 단계에서 한계라고 불리는 것들이 deep learning의 가능성을 제한하고 있고, 그런 이유에서 hybrid로 가는것이 현재로서는 의미있는 진보를 만들어 낼 수도 있을 것 같고요. 그런데 현재의 한계들이 또 해소되면 (물리적으로 가능하다는 가정하에) 한단계 더 도약이 있을 수도 있겠죠. 그부분은 아직 모르는 것이라 봅니다. Ted의 코멘트로 돌아와서 "딥러닝이 무조건 우월한건 아니었군요" -는 항상 아니었습니다. ML에서도 훨씬 간단하고 쉽게 구현/training되는 방식(e.g. decision tree)들이 더 잘 푸는 문제들도 있고요. ML까지 갈 필요도 없이 간단한 예로 곱셉은 단순 코드가 더 잘 풀죠. a = b * c 같은 코드도 deep learning으로도 풀수 있습니다. 훨씬 오래 걸리고 훨씬 많은 데이터가 필요하지만 정확도는 오히려 저 한줄짜리 코드보다 떨어집니다. 포인트는 딥러닝이 모든 다른 문제 해결 방식보다 항상 우월한것은 당연히 아니고요. 문제에 맞는 가장 적합한 솔류션을 찾아 사용하는 것이 인류의 (좁게는 엔지니어들의) 과제가 아닌가 합니다. 그런면에서 hybrid가 더 적합한 문제가 있다 - 이것도 뭐 당연한 얘기인거죠.

이 짧은 문답에서, 내가 인공지능 도메인으로 이직하면서 기대했던 게 이런 거였구나 라는 게 확 느껴졌다. 인공지능이 세상을 바꾸고 있고, 더 바꿀 거라는 건 알겠는데 나는 그 이상 아는 게 없어서 배우고 싶다는 게 이 도메인을 선택한 주된 이유였다. 앞으로도 내 일, 즉 프론트엔드 개발과 팀 리드만 하지 말고 이런 통찰을 얻을 수 있게 노력해야겠다.