위클리 NLP Week 28 - BERT만 잘 써먹어도 최고가 될 수 있다? NLP를 공부하시는 분들 중에 GPT나 BERT 같이 최근에 나온 무지막지하게 큰 언어 모델을 처음 공부하면 대부분 반응이 이렇습니다. "와 쩐다... 성능이 엄청나네." (감탄) "이거 뭐 이 정도면 NLP에서 더 할
위클리 NLP Week 27 - 전에 배운걸 잘 써먹어야 산다 Transfer Learning 운동 신경이 좋은 친구들은 새로운 스포츠를 배워도 몇 번만 해보면 금방 어느 정도 잘하고는 합니다. 평소에 책을 많이 읽던 친구들은 따로 준비하지 않아도 독해 시험에서 좋은 점수를 받습니다. 음감이 좋은
위클리 NLP Week 26 - ML 연구에도 네이밍 마케팅이 중요하다? BERT! 회사든 제품이든 아티스트 이름이든, 잘 지은 이름의 영향력은 대단한 것 같습니다. 매일 수천수만 개의 새로운 것이 쏟아 나오는 요즘 세상에 사람들 머릿속에 각인되는 게 그만큼 쉽지 않은데 말이죠. 근데 논문의
위클리 NLP Week 25 - NLP의 옵티머스 프라임, Transformer 등장! 반바지를 입고 아이스크림을 들고 있던 아이는 그것을 금방 다 먹었다.여기서 그것은 무엇을 가리키는 걸까요? 설마 아이가 반바지를... 번역을 하다보면 대명사 때문에 애먹는 경우가 많습니다. 그것이 무엇인지 유추하려면 앞에 있는
위클리 NLP Week 24 - 나 대신 아이한테 그림 책 읽어주는 AI가 나올까 요즘은 아이들의 상상력을 자극하기 위해 아예 글이 없는 그림 책이 인기라고 합니다. 아이들이 글보다는 그림에 집중하게 되어 자연스럽게 질문을 던지고 스토리를 같이 만들어 가는 형식이 좀 더 뇌발달에 효과적일 수
위클리 NLP Week 23 - NLP의 궁예 등장? 관심법으로 번역을 잘해보자 2020년 봉준호 감독의 기생충이 아카데미를 수상하면서 함께 주목을 받았던 사람이 바로 그의 동시 통역가 샤론 최 씨인데요. 기계번역이 아무리 좋아도 당장은 이런 고퀄리티의 통역가는 대체될 수 없겠구나라고 할 정도로 훌륭한
위클리 NLP Week 22 - 딥러닝 기계번역 모델 seq2seq 깊게 파보기 지난주에는 최근 몇년 간 기계번역 분야의 비약적인 성장에는 딥러닝 기반의 neural machine translation (NMT)의 seq2seq 모델이 있다는 것을 소개하며 간단히 모델의 구조에 대하여 공부해보았습니다. 그렇다면 seq2seq 모델은 어떤 방법으로
위클리 NLP Week 21 - 기계 번역의 패러다임을 바꾼 seq2seq 모델 저는 세기의 대결 2016년 <알파고 vs. 이세돌>을 인공지능 연구 석사를 시작하던 첫 학기 때 보았습니다. 저에게는 이제 이 새로운 길로 들어가려고 막 시작했던 때라 정말 가슴을 뛰게
위클리 NLP Week 20 - 구글 번역기는 처음에 어떻게 만들어진걸까? 영어 공부를 열심히 하면서 살던 중 어느 순간 컴퓨터가 번역을 자동으로 해줄 수 있다는 소식을 들었었습니다. 검색 시장으로 세계를 장악하던 G사가 만든 translate라는 제품. 간단한 거부터 해보았습니다. 오, 좀 하네?
위클리 NLP Week 19 - 언어 모델을 가지고 트럼프 봇 만들기?! 최근 윤종신 아티스트님이 구글 코리아에서 강연을 했던 것을 들었는데, 그 중 아주 인상 깊은 부분이 있었습니다. 청중 한 분이 “AI가 너무 발전해서 윤종신의 음악의 패턴을 분석해서 ‘윤종신스러운’ 새로운 곡을 쓸
위클리 NLP Week 18 - 기억력이 훨 좋은 딥러닝 언어 모델 등장! RNN LM "시장에 가면~ 바나나도 있고, 닭다리도 있고, 수박도 있고, 아이스크림도 있고~" 이 게임 기억나시는 분 있나요? 정말 옛날에 술자리에서 랜덤 게임을 하면 정말 드문 확률로 이 고전 게임이 시작되기도 했는데... (제가
위클리 NLP Week 17 - 딥러닝이 언어 모델에 필요한 이유 지난 2주 간 인공지능이 우리의 말귀를 알아들으려면 발음 모델 그리고 언어 모델을 학습해야 한다고 공부했습니다. 생각해보면 우리는 정말 많은 단어를 머리 속에 담고 무수히 많은 조합으로 문장을 쓰거나 대화를 합니다.
위클리 NLP Week 16 - AI은 어떻게 영어 발음을 나보다 잘 인식할 수 있을까 제 글이 값어치[가버치]를 하고 있나요? 글이 쌓고 [싸코] 쌓여 [싸여] 더 많은 지식이 여러분께 전달되었으면 좋겠네요. 이렇게 우리가 언어를 쓰는 방식은 실제로 발음하는 방식과 다를 때가 많습니다. 모국어의
위클리 NLP Week 15 - 인공지능은 말을 어떻게 알아 먹는걸까, ASR #1 사람이 많은 카페에서 친구와 같이 얘기를 하다가 잠깐 멈추면 주변이 얼마나 시끄러운지 그제야 깨닫게 되는 때가 종종 있습니다. 천장에서 나오는 음악, 양 옆에서 각자의 대화를 큰소리로 즐겁게 나누는 다른 사람들,
위클리 NLP Week 14 - 숫자만 잘 세도 NLP 모델이 된다? N-gram language model 지난 주 글에서 Language Model (LM)이 무엇인지에 대해서 배웠습니다. 어떠한 문장이 주어졌을 때 얼마나 그럴 듯 하냐를 확률(probability)로 나타내는 것이 LM의 핵심 개념입니다. 그렇다면 생각만 해도 복잡한
위클리 NLP Week 13 - 언어를 모델링한다? Language Model Basics 친구와 말을 하다 보면 특정한 단어가 생각나지 않을 때가 있지요. "내가 주말에 카페에서 공부를 하고 있는데... 그 누구지.. 커피.....""바리스타?""아 응, 바리스타가 말이야~"이렇게 친구가 내가 생각하는 단어를 잡아줄
위클리 NLP Week 12 - AI 모델에게도 예비 고사와 수능이 있다고요? 족보와 기출문제. 이 두 단어는 시험과는 떼려도 뗄 수 없는 단어들입니다. 학생들의 시험 기간 동안의 대화를 분석하면 이 단어들의 빈도 수가 높지 않을까요? 저 역시 고등학교 때 선배들한테 받은 기출문제들을
위클리 NLP Week 11 - 머신러닝 모델이 데이터를 공부하는 방법 대부분의 우리는 등산을 하러 가면 정상에 도달하자라는 하나의 목표를 가지고 열심히 걷습니다. 시작점에 있는 지도를 보기도 하고, 중간에 있는 팻말이 가리키는 방향을 보기도 하고, 사람들에게 물어보기도 합니다. 정말 모르겠으면 일단
위클리 NLP Week 10 - 단어를 컨베이어 벨트처럼 한개씩: RNN 저는 가끔은 책을 읽을 때 지금 보고 있는 부분을 손가락으로 가리키고는 합니다. 손가락을 밀면서 느껴지는 종이의 감촉이 좋아서 그런 것이기도 하고, 내용이 어려워서 집중을 잘하기 위해서 한데, 이러한 습관을 또
위클리 NLP Week 9 - 글을 그림처럼 보는 Convolutional Neural Network (CNN) 속독 (速讀) 학원이 한창 유행하던 때가 있었죠. 정보가 넘쳐나는 현대에 빠르게 글을 읽고 이해하는 것은 정말 누구나 탐내는 능력일 듯합니다. 저도 한참 공부를 많이 하던 중학생 때 그런 능력을 가진
Machine Learning Why Fighting Unintended Bias in Machine Learning Matters Machine learning (ML) models are susceptible to unintended biases as much as we do. The good news is we can design them not to be.
위클리 NLP Week 8 - 스팸 이메일 분류기 만들기 여러분의 이메일 받은 편지함은 얼마나 빨리 쌓이시나요? 저는 이것저것 가입하다 보니깐 하루에도 홍보성 이메일이 수십 개가 오고는 합니다. 저는 앱 아이콘에 숫자가 그려져 있는 것을 견디지 못해서 전부 지우거나 몇
위클리 NLP Week 7 - 머신 러닝과 NLP는 왜 함께 갈까 인간은 태어난 순간부터 언어를 접합니다. 아기가 세상에 나온 순간 부모로부터 불리는 이름은 처음에는 그저 여러 소리 중 하나로 들리겠지요. 하지만 점점 커가면서 부모가 아기에게 내는 소리는 장난감에서 나는 방울 소리나
Machine Learning Building a Sound Event Detection model for a smart home device How can machines understand different sounds? I will introduce two different works that I explored to build laughter and baby crying detection models.
위클리 NLP Week 6 - 박 대리, 얘네 문서들 주제별로 분류해오게 오늘은 박 대리를 도와 문서 분류를 자동으로 처리할 수 있나 document(text) classification에 대해 공부를 해보겠습니다.