“retroanime style, two monsters fighting like their dancing. colorful” Playgroundai.com에서 이미지 생성
ChatGPT의 어떤 부분이 사람들을 이렇게 놀라게 하는걸까? 사람들은 왜 그렇게 흥분할까?
제가 지난 두 달 동안 대답하려고 노력했던 질문들입니다.
오랫동안 NLP를 연구하고 연구하는 사람으로서, 저는 ChatGPT를 그저 더 큰 모델 규모, 훈련 데이터를 통해 더 나은 응답 품질을 가지게 된 새로운 버전의 언어 모델로 받아들였습니다. 언어 모델은 무려 20년 간 꾸준히 발전해 온 연구죠. 물론 저도 직접 시도해보았을 때 놀라웠지만, 언어 모델이 어떻게 작동하고 한계를 알고 있기 때문에, 그렇게까지 흥분하지 않았던 것 같습니다.
그래서 저는 처음에는 사람들의 반응을 백프로 이해하지 못했습니다. 저 자신을 되돌아 본 결과 “지식의 저주(curse of knowledge)"에 걸렸다는 것을 깨달았습니다. 이미 알고 있는 지식 때문에 다른 사람들이 어떻게 느낄지 공감력이 떨어지는 인지적 편견에 빠진 것이죠. 그래서 "ChatGPT은 모든 것을 바꿀 것입니다!"와 같은 헤드라인을 읽을 때, 저는 또다른 클릭성 헤드라인이라고만 생각했습니다.
이러한 인지적 편견을 극복하기 위해, 저는 NLP 배경이 없는 친구들과 이야기를 나누고, 온라인 토론 그룹에 참여하고, ChatGPT에 대한 기술적인 측면이 아닌 기사들을 많이 읽기 시작했습니다. 이러한 노력은 제 관점을 좀 균형적으로 맞출 수 있게 도움이 되었습니다. 그리고 원래 알던 지식과 다른 분야의 사람들이 열광하는 점을 합쳐 여러 주제에 대해 생각을 하기 시작하였습니다.
저는 최근에 "혁신가의 딜레마"라는 책을 읽었는데 새로운 기술들이 대부분 대기업의 연구실에서 탄생된다는 것을 알게 되었습니다. 하지만 당시의 최첨단(state-of-the-art)에 비해 성능이 떨어지기 때문에 대기업들로부터 채택되지 못하고 비교적 작은 도전자에게 기술은 흘러가 큰 경쟁을 맞이합니다. 역시나 역사는 되풀이되는 걸까요?
(퀴즈: GPT의 핵심 요소 트랜스포머는 어디에서 발명되었을까요?)
저는 ChatGPT가 당장 모든 것을 바꾸지는 않지만, 향후 10년 이상에 걸쳐 점진적으로 많은 것을 바꿀 것이라고 생각합니다.
먼저 오늘 글에서는 ChatGPT가 검색과 웹 생태계의 미래를 어떻게 변화시킬 것인지에 대한 저의 생각을 논의하고자 합니다. 꽤 큰 주제지만 검색 회사에 근무하는 사람이자, 블로그 작가인 저로써는 생각하지 않을 수 없는 주제입니다.
*이 글은 소속된 회사 구글의 입장이 아닌 개인의 의견임을 미리 밝힙니다. 구글에 대한 정보는 공개된 정보만 활용하였습니다.
사람들은 왜 ChatGPT에 열광할까?
검색 엔진이 처음 나왔을 때만 해도, 관련 내용이 있는 웹 사이트들을 찾아 정리해서 파란색 하이퍼링크를 바로 얻을 수 있다는 것만 해도 엄청났습니다. 하지만 우리는 이제는 이정도 기술에는 익숙해졌고 더 큰 편리함을 갈구합니다. 우리는 끝없이 나오는 정보의 홍수를 스크롤하면서 읽기 보다는 바로 원하는 답을 보고 싶어합니다.
이러한 경향은 이미 커뮤니티성 소셜 미디어 Reddit의 인기를 보면 벌써 알 수 있습니다. 사람들은 웹사이트의 글보다는 어떤 사람의 답변을 원하죠. 심지어 Reddit을 검색하기 위해 필터를 걸고 Google을 사용하는 사람들도 있습니다. 사람들은 더 이상 웹 서핑을 하고 싶어하지 않습니다. 쓰레기와 광고로 가득 차 있는 바다로 들어가는 대신 바로 원하는 물고기를 원합니다.
이에 대응해 최근 몇 년간 구글은 이미 웹 검색 결과의 일부를 사용자가 클릭하기 전에 보여주는 Snippet과 같은 기능을 도입했습니다. 지식 그래프(Knowledge graph)를 사용하여 Snippet에 팩트를 정리해서 보여주기도 하죠.
구글의 Snippet은 잘 디자인된 UI에 구성된 정보라 유용할 때가 많지만, 검색하려는게 더 복잡해지면 ChatGPT 같은 대화형 인터페이스가 더 편리할 때도 있습니다 (앞으로 Chat+Search라고 부릅시다). 똑똑한 친구나 부하직원에게 물어보는 것은 느낌이죠. 저도 집에서 구글 어시스턴트를 사용하고 있는데, 대화형 인터페이스는 잘되었을 경우 정말 편합니다. 물론 문제는 잘 안 될 때는 정말 불편하다는 것이죠.
대화 인터페이스가 편한 이유는 간단합니다. 인간이 언어가 발명된 이래로 우리가 사용해온 궁극적인 소통방법이기 때문입니다. 책, 라디오, GUI 같은 여러 인터페이스보다 훨~~씬 오래되었습니다. ChatGPT가 엄청나게 다가오는 것은 인간에게 가장 자연스러운 인터페이스에게 처음으로 인간 수준 혹은 그 이상을 달성한 최초의 컴퓨터인 것처럼 보이기 때문이라고 생각합니다.
ChatGPT가 아무리 여러 한계가 있더라도 우리는 원하는 궁극의 인터페이스를 이미 경험했기에, Chat+Search 방향으로 진화는 피할 수 없을 것으로 생각됩니다. 다만 한번이 아니라 점차적인 진화로 이루어질 것으로 보입니다.
그렇다면 웹(Web)은?
ChatGPT 또는 Google Bard 같은 모든 종류의 언어 모델은 기본적으로 인터넷 텍스트 데이터로 학습되고, 추가로 모은 데이터를 통해 강화됩니다. 마치 물고기가 살아남기 위해 물이 필요한 것처럼, 언어 모델은 웹 데이터가 필요합니다.
이 웹이란 궁극적으로 무엇일까요? 웹이란 저와 같은 콘텐츠 크리에이터들이 지식을 창출하고 세상과 공유하기 위해 올려놓은 문서의 집합체입니다. 심지어 자기의 오프라인 가게를 홍보하기 위해 만든 웹사이트 역시 세상에 대한 지식이기에 일종의 콘텐츠라고 볼 수 있죠.
한번 이러한 크리에이터들이 왜 콘텐츠를 제작해서 웹에 올리는지 생각해봅시다.
- 직접 수익(Direct Monetization)
유튜브, 인스타그램, 틱톡과 같은 플랫폼은 크리에이터들에게 광고 수익을 공유합니다. 이 플랫폼들이 미친듯이 빠르게 성장하는 데 중요한 부분이었죠. 일반 웹에서는 구글 애드센스가 이러한 동일한 기능을 수행합니다. 예를 들어, 블로거들은 그들의 블로그에 구글 애드센스를 넣음으로써 금전적인 보상을 받을 수 있습니다.
2. 간접 수익(Secondary Monetization)
콘텐츠는 사람들이 돈을 내고 사용할 수 있는 다른 서비스와 연결될 수 있습니다. 예를 들어, 의학적 내용을 어떤 클리닉에서 게시하거나, 캠핑 팁을 아웃도어 이커머스 업체에서 작성하는 경우가 많죠. 웹사이트 정보를 읽다가 해당 업체의 서비스나 제품을 구매하게 되는 경우가 많습니다. 제가 블로그를 통해 이북을 판매하는 것 역시 간접 수익이라고 볼 수 있습니다.
3. 자기 성취, 자기 홍보
모든 동기부여가 돈과 관련된 것은 아닙니다. 크리에이터는 직접적인 경제적 이득이 없더라도, 자기 성취감 또는 자기 홍보와 같은 돈과 관련되지 않은 요소 때문에 콘텐츠를 올릴 수도 있습니다. 위키피디아에 팩트에 대한 열정으로 올릴 수도, 아니면 그저 관심을 위해 유튜브에 비디오를 올릴 수도, 아니면 자신의 능력을 홍보하기 위해 블로그에 글을 쓸 수도 있습니다. 저 역시 <위클리 NLP>에 좋아요나 댓글로 피드백이 오면 하루종일 기분이 좋습니다!
여기서 핵심은 트래픽(traffic)입니다. 얼마나 많은 사람들이 콘텐츠에 직접 클릭해보는지
한번 <Weekly NLP>의 트래픽을 통해서 설명해볼까요?
<Weekly NLP>의 이메일 구독자가 4,000명임에도 불구하고, 트래픽의 78%는 2023년에 Organic Search, 즉 검색 엔진을 통해서 왔습니다. 2022년의 64%에 비해 크게 증가한 것은 ChatGPT 덕분 인거 같습니다
Direct이 이메일에 있는 링크를 클릭해서 들어오는 것이죠. 생각보다 검색에 비해 비중이 적습니다.
근데 과연 이 트래픽이 Chat+Search가 제대로 도입되면 그대로일까요? ChatGPT 또는 어떠한 언어모델이든 제 블로그 글을 학습 데이터로 쓰고 있다고 100% 확신할 수 있습니다. 그렇다면 NLP 관련 질문을 한다면 제 글 뿐만 아니라 웹상의 여러 비슷한 콘텐츠에 학습된 것을 기반으로 답변을 할 것입니다*. 정확도는 보장 못하지만 말은 저보다 잘할지도 모릅니다.
이렇게 되면 점점 더 적은 사람들이 제 블로그를 방문할 것이고, 제가 글을 쓰는 동기는 그만큼 낮아지겠죠.
즉, 인센티브가 낮아졌다는 것은 웹상의 “인간” 크리에이터가 줄어든다는 것을 의미합니다. 크리에이터와 콘텐츠가 적어진다는 것은 웹 생태계 전반적인 품질이 낮아진다는 것을 시사합니다
번외*: 저작권/표절은 언어 모델 세계에서 어떻게 작동하나요?
조금 주제에서 벗어나긴 하지만, Chat+Search의 답변이 제 글을 기반으로 했을 때 제가 어떻게 느끼거나 행동해야 할지 잘 모르겠습니다. 제 게시물조차 다른 논문, 튜토리얼 등을 참고하여 100% 독창적인 작품은 아니라는 것은 알지만, 최소 다른 콘텐츠를 참고 자료로 사용했을 때 인용을 넣으려고 노력합니다. 혹시 언어모델에서의 지적재산권은 어떻게 적용되는지 아신다면 메일이나 댓글로 좀 알려주시길 바랍니다!
검색 거인의 딜레마
(누구신지 말 안해도 아는) 검색 거인에게 아주 큰 딜레마가 생겼습니다. 웹의 품질이 좋을수록 검색 엔진의 품질이 향상되기 때문에, 건강한 웹 생태계를 유지하기 위한 누구보다 큰 동기를 가지고 있습니다.
검색 엔진의 품질이 좋을수록 더 많은 사람들이 검색 엔진을 사용하고 연결된 웹 콘텐츠를 소비할 것 입니다. 검색 거인을 먹여 살리는 광고는 검색 엔진 자체에도, 웹 콘텐츠에도 여기저기 붙어 있습니다.
Chat+Search로 인해 웹사이트 가는 트래픽이 줄어든다면 어떻게 될까요?
그렇기에 저는 테크 대기업들이 기존 검색 방식을 전부 한꺼번에 버리고 대화형 인터페이스로 대체할 것이라고 생각하지 않습니다. 오히려 강화하는 방향으로 생각할 것입니다. 그럼에도 불구하고, Chat+Search는 상당한 양의 트래픽을 빨아들여 웹 생태계와 광고 사업에 타격을 줄 리스크가 있습니다.
변화를 하지 않는 것도 좋은 선택이 아닙니다. Bing에 이미 ChatGPT가 붙여 나오기 시작했기 때문이죠(물론 처음의 긍정적인 PR에 비해 많은 한계점을 노출하고 있어 논란이 되고 있지만). 아무런 변화를 가져오지 않을 시 ChatGPT 강화된 Bing이라는 경쟁자에게 시장 점유율의 상당 부분을 빼앗길 수 있습니다.
마이크로소프트 CEO의 의도대로 검색 거인은 춤을 추기 시작했습니다. 다만 여러 데모 시연 후 주식 시장의 최근 행보를 봤을 때, 거인이 경쟁사보다 잃을 것이 훨씬 많다는 것을 보여주었습니다. 제가 경영 전문가는 아니지만, 각 회사의 수익원 그래프를 보면 쉽게 알 수 있습니다.
마이크로소프트는 검색 거인에게 딜레마에 빠질 경쟁장을 내밀었습니다.
지금 나와서 우리랑 Chat+Search 경쟁해보자! 하지만 너네 핵심 사업을 망칠 수도 있으니 조심해! 그러면 우리 핵심인 Office(<=>Google Workspace), Azure(<=>GCP)와 경쟁할 제품에 쏟아부을 돈이 적어지겠지.
스포티파이(Spotify)가 음악 생태계에 어떤 영향을 미쳤는지 생각나는 대목입니다(Netflix 시리즈 The Playlist를 재밌게 보았습니다!). 전통적인 음반 회사들은 스포티파이가 스트리밍 기술을 가지고 나왔기에 변화를 할 수 밖에 없었습니다. 그러나 그것이 창작자들과 청취자들의 경험과 수익을 더 좋은 방향으로 만들었는지는 생각해볼 문제입니다.
Chat+Search으로의 변화는 무척 흥미롭지만 우리 사용자들에게 어떤 의미가 있을까요? 단기적으로는 지식을 찾는 것이 그 어느 때보다 쉬워질 것입니다. 하지만 디스토피아적으로 생각하는 장기적인 관점에서 품질 좋은 웹 콘텐츠는 고갈될 수 있습니다. 우리가 웹에서 보는 콘텐츠는 어느 누가 실제 경험과 사실에 대한 검토에 기초하여 쓰인 것이 아니라, 그저 누구의 이익에 의해 언어 모델에 의해 작성 됐을 가능성이 높아집니다.
반대로 유토피아적인 관점에서 봤을 때, ChatGPT, 기계번역, Grammarly 같은 문법 교정 등 같이 여러 언어 모델을 이용한 도구들이 작가 생산성을 높여 더 많은 좋은 글이 나올지도 모르죠.
오늘 위클리 NLP에서는 ChatGPT가 검색 및 웹 생태계에 미칠 영향에 대한 제 생각을 공유했습니다. 미래를 정확하게 예측하는 것은 거의 불가능하기 때문에, 제가 틀릴 가능성도 높다고 생각합니다만, 한번쯤은 같이 생각해볼 주제라고 여겨 글을 써보았습니다.
단기적으로 검색엔진에 너무 큰 변화가 일어나지 않을 것이라는 것은 확실합니다. 대규모 언어 모델을 개선해야 하는 장애물이 여전히 많습니다.
역시나 가장 어려운 것은 검색엔진의 핵심인 팩트체크 입니다. 또한, Chat+Search의 경제성을 어떻게 해결할지 제 머리로는 잘 모르겠습니다. 일상 검색 쿼리를 위해 수천 개의 GPU에서 그렇게 큰 모델을 실행하는 것은 터무니없이 비싸게 생각합니다 (현재의 기술로는). 이는 최신 정보와 오류 수정 사항을 반영하기 위해 막대한 모델 재학습 비용을 빼고도 말이죠.
그럼에도 불구하고, 변화는 좋든 나쁘든 서서히 일어날 것이라고 생각합니다. 1990년대에 PDA와 같은 작은 컴퓨터 장치가 나왔지만 스마트폰으로 지금의 우리가 있는 곳에 도달하는 데 20-30년이 걸렸던 것을 생각해보면요. 물론 이거보다 변화의 속도는 빠르겠지만요!
