날마다 새로운 연구와 제품 발표가 이어지는 요즘, 좀 더 지속가능한 인사이트와 지식을 어떻게 얻을 수 있을까 고민이 됩니다. 그래서 제가 <위클리 NLP> 글을 직접 생각하고 정리해서 쓰는 것도 있지만, 세상에는 저 말고도 훨씬 뛰어난 기술쟁이, 글쟁이 분들이 계시니 그 분들의 글을 읽는 것도 많은 도움이 됩니다.

워낙 많은 글들이 쏟아져 나오는 정보의 홍수에 허우적 되고 있지만, 제가 읽은 글 중에 흥미로웠던 글*을 공유합니다.

*영어 자료가 많은 점을 양해 부탁드립니다.

1. Andrew NG 교수 - The Batch Issue 191

제가 구독하고 있는 뉴스레터 중 무조건 챙겨 읽는 앤드류 응 교수 님의 글입니다. 이번 호에는 우리가 모두 생각해봐야 할 문제, "내 모델의 아웃풋으로 다른 모델을 학습 시킬 수 있다면, 어떻게 내 경쟁력을 지킬 수 있을까?"를 다룹니다. 특히 최근에 Koala나 Alpaca 같은 연구가 이러한 방식을 보여주었기에, 더 시사점을 던지는 문제인 것 같습니다.

2. Building LLM applications for production

Chip Huyen은 ML 모델을 프로덕션화하는 MLOps 전문가로 유명한 분인데요. 제가 썼던 ChatGPT로 프로덕트를 만들기 전 고려할 사항은? 보다 조금 엔지니어링적인 시각에서 고려할 점을 적어 주어서 많이 배웠습니다.

특히 Cost/Latency에 대해 좀 더 자세하게 다루었고, LLM을 그대로 쓰지 않고 엔지니어링 스택의 일부분에 적용해 쓰는 경우 (Part 2. Task Composability)가 흥미로웠습니다. 요즘 LLM 자체를 개선시키는 것보다 Application에 더 관심이 많이 가는 것 같습니다.

3. Generative AI 투자 기회에 대한 생각 - 허진호 VC

투자자 입장에서 Generative AI을 어떻게 바라보고 있는지, Industry가 어떤 식으로 구성될 것인지에 대해 굉장히 잘 정리해주셨습니다.  엔지니어로써 기술에만 몰두해 있을 때, 산업 전반에 대한 High-level 시각을 생각해볼 수 있어 감사한 글입니다.

4. 요즘 우울할 AI 대학원생들을 위한 서바이벌 가이드

LLM, Stable Diffusion 등 엄청난 모델 스케일이 모든 연구를 먹어 치워버리는 시대에 대학원생들은 어떻게 해야할까요? 저도 2016-17년에 NLP 연구를 했었는데, 그 때만해도 GPU 1장에 돌아가는 딥러닝 모델로 연구를 해 논문을 발표할 수 있었죠. 겨우 5년 만에 GPU 몇백, 몇천 장이 아니라면 명함도 못 내미는 세상이 되었습니다.

이런 시대에 대학원생들은 어떻게 연구 방향을 잡아야 할까요? 리소스가 부족한 스타트업들에게도 영감이 될지도 모르는 글이 아닐까 싶습니다.

5. 커튼 뒤 이야기, 지금 AI에 일하는 사람들의 마음 상태

전 글이 대학원생들을 위한 글이라면, 이 글은 저를 포함한 Industry에 있는 사람들을 위한 글입니다. LLM이 나오면서 많은 회사들의 프로젝트의 방향에 영향을 주고 있고, 이에 대한 FOMO(fear of missing out)가 대단하다는 얘기를 하고 있습니다. 이게 긍정적인 에너지가 될 수도 있고, 모든 프로젝트 우선순위와 전략의 혼선이 되는 부정적인 경우가 될 수도 있다는 점을 지적합니다. 여러분의 프로젝트는 어떠신가요?

오늘은 제 글 대신에 제가 흥미롭게 읽었던 글을 정리해서 공유보았습니다. 이런 형식은 어떠신가요? 종종 이런 형태로 뉴스레터를 구성해보도록 하겠습니다.

그리고 각 글에 나온 주제에 대해서 의견이나 피드백이 있으시다면 언제나 하단의 댓글을 달아주세요!