날마다 새로운 연구와 제품 발표가 이어지는 요즘, 좀 더 지속가능한 인사이트와 지식을 어떻게 얻을 수 있을까 고민이 됩니다. 그래서 제가 <위클리 NLP> 글을 직접 생각하고 정리해서 쓰는 것도 있지만, 세상에는 저 말고도 훨씬 뛰어난 기술쟁이, 글쟁이 분들이 계시니 그 분들의 글을 읽는 것도 많은 도움이 됩니다.

워낙 많은 글들이 쏟아져 나오는 정보의 홍수에 허우적 되고 있지만, 제가 읽은 글 중에 흥미로웠던 글*을 공유합니다.

*영어 자료가 많은 점을 양해 부탁드립니다.

1. Andrew NG 교수 - The Batch Issue 191

Robot Metal Workers, Better Pay for Data Wranglers, and more

The Batch - AI News & Insights: Last week, the tech news site The Information reported an internal controversy at Google. Engineers were concerned...

DeepLearning.AIRobot Metal Workers, Better Pay for Data Wranglers, and more

제가 구독하고 있는 뉴스레터 중 무조건 챙겨 읽는 앤드류 응 교수 님의 글입니다. 이번 호에는 우리가 모두 생각해봐야 할 문제, "내 모델의 아웃풋으로 다른 모델을 학습 시킬 수 있다면, 어떻게 내 경쟁력을 지킬 수 있을까?"를 다룹니다. 특히 최근에 Koala나 Alpaca 같은 연구가 이러한 방식을 보여주었기에, 더 시사점을 던지는 문제인 것 같습니다.

2. Building LLM applications for production

Chip Huyen은 ML 모델을 프로덕션화하는 MLOps 전문가로 유명한 분인데요. 제가 썼던 ChatGPT로 프로덕트를 만들기 전 고려할 사항은? 보다 조금 엔지니어링적인 시각에서 고려할 점을 적어 주어서 많이 배웠습니다.

특히 Cost/Latency에 대해 좀 더 자세하게 다루었고, LLM을 그대로 쓰지 않고 엔지니어링 스택의 일부분에 적용해 쓰는 경우 (Part 2. Task Composability)가 흥미로웠습니다. 요즘 LLM 자체를 개선시키는 것보다 Application에 더 관심이 많이 가는 것 같습니다.

Building LLM applications for production

It’s easy to make something cool with LLMs, but very hard to make something production-ready with them. Large language models’ (LLMs) limitations are exacerbated by a lack of engineering rigor in prompt engineering, partially due to the ambiguous nature of natural languages, and partially due to the…

Chip Huyen

3. Generative AI 투자 기회에 대한 생각 - 허진호 VC

투자자 입장에서 Generative AI을 어떻게 바라보고 있는지, Industry가 어떤 식으로 구성될 것인지에 대해 굉장히 잘 정리해주셨습니다.  엔지니어로써 기술에만 몰두해 있을 때, 산업 전반에 대한 High-level 시각을 생각해볼 수 있어 감사한 글입니다.

Generative AI 투자 기회에 대한 생각

90년대 후반 인터넷이 등장하면서 새로운 큰 흐름이 만들어지고 시장 구조가 완전히 새로 짜인 것과 같은 규모의 큰 변화가 AI에 의해서 일어날 것이라는 것은 너무 분명하였다. NfX에서 “Web3라는 용어를 Crypto에 사용한 것은 너무 조급하였다. AI를 Web3라고 불러야 했다”고 할만큼 큰 변화가 만들어질 것이다. 어쩌면 AI를 Web3라고 부르는…

허진호 (Jin Ho Hur)hurxyz

4. 요즘 우울할 AI 대학원생들을 위한 서바이벌 가이드

LLM, Stable Diffusion 등 엄청난 모델 스케일이 모든 연구를 먹어 치워버리는 시대에 대학원생들은 어떻게 해야할까요? 저도 2016-17년에 NLP 연구를 했었는데, 그 때만해도 GPU 1장에 돌아가는 딥러닝 모델로 연구를 해 논문을 발표할 수 있었죠. 겨우 5년 만에 GPU 몇백, 몇천 장이 아니라면 명함도 못 내미는 세상이 되었습니다.

이런 시대에 대학원생들은 어떻게 연구 방향을 잡아야 할까요? 리소스가 부족한 스타트업들에게도 영감이 될지도 모르는 글이 아닐까 싶습니다.

Choose Your Weapon: Survival Strategies for Depressed AI Academics

Are you an AI researcher at an academic institution? Are you anxious you arenot coping with the current pace of AI advancements? Do you feel you have no(or very limited) access to the computational and human resources required foran AI research breakthrough? You are not alone; we feel the same wa…

Julian TogeliusarXiv.org

5. 커튼 뒤 이야기, 지금 AI에 일하는 사람들의 마음 상태

전 글이 대학원생들을 위한 글이라면, 이 글은 저를 포함한 Industry에 있는 사람들을 위한 글입니다. LLM이 나오면서 많은 회사들의 프로젝트의 방향에 영향을 주고 있고, 이에 대한 FOMO(fear of missing out)가 대단하다는 얘기를 하고 있습니다. 이게 긍정적인 에너지가 될 수도 있고, 모든 프로젝트 우선순위와 전략의 혼선이 되는 부정적인 경우가 될 수도 있다는 점을 지적합니다. 여러분의 프로젝트는 어떠신가요?

Behind the curtain: what it feels like to work in AI right now

Fear, FOMO, and the scientific exodus driven by ChatGPT

Nathan LambertDemocratizing Automation

오늘은 제 글 대신에 제가 흥미롭게 읽었던 글을 정리해서 공유보았습니다. 이런 형식은 어떠신가요? 종종 이런 형태로 뉴스레터를 구성해보도록 하겠습니다.

그리고 각 글에 나온 주제에 대해서 의견이나 피드백이 있으시다면 언제나 하단의 댓글을 달아주세요!