Recently in 그들이 설명하지 않는 IT/딥러닝 Category

11/14, Sat

GPT3가 배우는 것

GPT3가 배우는 것은 주어진 모든 문맥상황에서의 말들끼리의 관계이다. GPT3 모델의 트랜스포머를 살펴보면 쿼리, 키, 밸류에 대한 Embedding이 핵심인데, 모든 문맥(morphme들이 서로가 서로를 만나지는 상황)마다 밸류가 바뀌도록 배우는 것이 핵심이다. 결국 "관계"를 배우는 것이다. 그 관계를 배우려다보니, 많은 문장으로 일일이 다 배우자니 컴퓨팅 퍼포먼스가 엄청나게 필요하게 된 것이다.

NLP가 한편으로 시들해지는 것이 GPT3 시대부터 가내수공업 단계가 슬슬 마무리되고 있기 때문이다. 현재 그러한 컴퓨팅을 갖출 수 있는 것은 언론에 따르면 한국에서도 삼성이나 네이버정도로 보인다.

다음 단어를 알아채도록 배우는 것이 아니라, 다음 단어를 알아맞추는 퀴즈를 풀면서 사실은 말들의 관계를 배우고 있다는 것. 평이한 태스크를 수행하면서 그 안에 내재된 요소들의 관계를 학습하는 것. 그렇다면 이러한 원리는 비단 자연어에만 적용되는 것일까?

트랜스포머 아키텍처가 모든 문맥 별 상황에 대한 각각 의미를 파악하려는 방식이 어쩌면 브루트 포스한 것이므로 그에 대한 튜닝을 노려볼 수는 있겠지만, 결국 요소들의 관계를 모든 Context에서 배우자는 트랜스포머의 대원리(?)는 당분간 지배적이고, 여러 분야로 퍼질 것으로 생각된다.

위 이야기들은 맞는가? 자신 없다. GPT3에 대해 뭔가 적어두고 싶어서 적어봤는데 틀렸거나 고칠 부분이 많이 있겠지. 결국 지금 해봐야할 것은 트랜스포머를 작게나마 NLP가 아닌 다른 필드에서 태워보기? 아니면 OpenAI API 사용법이나 잘 배우거나.

(나중에 더 해 볼 이야기 ...) 실제는 자신의 인더스트리에서 NLP 처리가 어떻게 얼만큼 필요한지 파악하는 것부터이다. 챗봇 사주세요 가 아니고. 트랜스포머는 이미 자연어를 넘어 이미지, 영상에서 활약 중인 것으로 알고 있다.

11/13, Fri

기술은 점점 쉬워지고 커뮤니케이션은 점점 어려워지는 시대를 살고 있다고

회사를 떠나는 사람에게 이야기해주었다. 아마 그 친구는 무슨 말인지 못 알아 들었을 것이다, 한국말에 약해서.

걷고 있는 길이 좋은 길인지 어떻게 알 수 있을까? 우리 엔트로피는 계속 작아져가는데...

07/19, Sun

DT란...

DT, Digital Transformation 이 뭐냐고 물어보면 쉽게 데이터/IT를 잘 다루는 일이라고 생각한다. 물론 맞는 이야기이다. 그러나 실제로는 데이터를 실무에 더욱 활용하는 이슈로 접근하는게 옳다고 생각한다. 내가 좋아하는 설명은 청소이다. 청소를 사람이 손으로 하다가 진공청소기로 하다가 요즘엔 로봇 청소기로 한다. 중요한 것은 로봇이 청소하는 것이 아니라 청소를 로봇이 하는 것이다. 문제는 청소다. SQL과 파이썬으로 무장하고 거만해진 - 덩크슛 쏜다고 거만한 십대 농구처럼 - IT Man들이 회사에 와서 결국 적응이 어려운 것은 거기서 비롯된다. 회사는 일을 하려고 모인 곳이고 농구는 점수를 많이 넣으려는 경기이기 때문이다.

최근에 누구와 밥 먹다가 이런 설명을 했었다.
"데이터 담당하시고 그쪽으로 일하시니 어떠세요?"
"하면 할수록 기술이 쉬워지니 저 같은 야메도 자리가 생기는 듯 합니다. 동영상 편집을 보면, 10년전만 해도 준 전문영역이었는데, 지금은 초등학생들도 유튜브 영상을 편집해서 만들잖아요? 중요한 것은 IT 기술이 아니라 업의 본질, 우리 회사는 무슨 일을 하고 어디서 돈을 버는지에 대한 집중이 훨씬 더 중요한 것 같습니다."

06/21, Sun

Prologue - 그들이 설명하지 않는 IT/딥러닝

이 필드에서 배우기 위해 책을 보거나 동영상 강의 설명을 듣다보면 꼭 설명하지 않는 것들을 만난다. 다음의 이유 때문일 것이다.

  1. 이런 것도 모를 리가 없다고 생각해서
  2. 실은 자기도 잘 몰라서

대부분 그들이 쓴 책이나 글을 보면 쉬운 부분은 필요 이상으로 장황하게 길게 잔뜩 설명하다가 정작 중요한 설명은 지나치고 갑자기 실제 적용이나 다음 단계로 넘어가는 것이다. 그간 문제는 1.의 양상이 많았는데 요즘 2.의 경우들이 점점 더 많이 목도된다. 대부분 IT가 그러하듯이 심오하다기보다는 알면 바로 알고 모르면 몰라서 모르는 질문들인데 - 과학이 아니므로. 그러한 그들의 행태는 의심이 많거나 호기심이 풍부한 배우려는 사람들을 참으로 당혹스럽게 한다. 그래서 내가 이제 알게 된 것들 - 얼마 안되겠으나 - 은 그간 그들에게 시달린 분들을 위해 설명해보기로 했다. 여기서는 댓글로 질문이 나오면 끝까지 답을 찾아보겠다.

질문 받습니다!! 물론 여기서는 어려운 것이 아니라 (내가 알 만한 수준의) 얕고 쉬운 것들인데 다른 사람들이 설명하지 않는 부분을 이야기해볼 생각이다.야기

이 공간의 시작은 2003년인데, 이번 카테고리 개편은 '16번째 개간일 기념'으로 거창하게 생각해보기로 했다. 또 돈을 내야하기 때문에.