트랜스포머로 시작하는 자연어 처리(NLP)

 

 

✔ 트랜스포머로 시작하는 자연어 처리

자연어 처리(Natural Language Processing, NLP)는 글로벌 디지털 시장에서 인공지능을 대표하고 있으며, 트랜스포머(transformer)는 자연어 이해(Natural Language Understanding, NLU)의 판도를 바꾸고 있다.

 

트랜스포머 모델은 인공지능의 새로운 시대를 알렸다. 자연어 이해는 언어 모델링, 챗봇, 개인 비서, 질문 답변, 텍스트 요약, 음성 인식, 감성 분석, 기계 번역 등의 기반이 되었다. 우리는 소셜 네트워크, 이커머스, 디지털 신문, 스트리밍 서비스, 원격 진료, 재택근무 등 수백 개의 도메인에서 디지털 전환이 이뤄지는 시대를 살고 있다. 언어를 이해하는 인공지능이 없다면 웹브라우저, 스트리밍 서비스 등 언어와 관련된 모든 디지털 활동이 어려워진다. 디지털 전환이라는 패러다임 속에서 인공지능의 발전은 필수적이었다. 인공지능은 조 단위의 단어로 구성된 데이터셋을 학습하기 위해 수십억 이상의 파라
미터를 가지도록 진화했다. 트랜스포머의 구조는 매우 혁신적이다. 기존의 RNN과 CNN을 탈피하고 과거의 기술로 만들었다. BERT와 GPT는 순환 네트워크를 셀프-어텐션(self-attention)으로 대체했다. 트랜스포머는 RNN 및 CNN 보다 좋은 성능을 보였다. 2020년대의 AI는 큰 변화를 겪고 있다.

 

트랜스포머의 인코더와 디코더의 어텐션 헤드(attention head)는 최첨단 하드웨어를 병렬로 활용할 수 있다. 또한 어텐션 헤드는 여러 GPU로도 연산할 수 있기 때문에 수십억 또는 수조 개의 파라미터를 가진 모델도 학습할 수 있다. OpenAI는 GPU 10,000개와 CPU 코어 285,000개로 구성된 슈퍼컴퓨터를 사용해 1,750억 개의 파라미터를 가진 GPT-3 트랜스포머 모델을 학습했다.

 

데이터가 증가함에 따라 대용량 AI 모델이 필요해졌고, 트랜스포머는 파라미터 기반 AI의 시대를 열었다. 수억 개의 단어가 문장에서 어떻게 어울리는지 이해하려면 엄청난 수의 파라미터가 필요하다. 구글의 BERT나 OpenAI의 GPT-3같은 트랜스포머 기반 모델은 더 높은 차원의 성능을 보여주었다. 트랜스포머는 학습하지 않은 수많은 NLP 작업도 수행할 수 있다. 트랜스포머는 이미지를 단어 시퀀스처럼 임베딩하여 이미지를 분류하거나 재구성 할 수있다.

 

컴퓨터 비전(computer vision)에서 사용하는 최신 트랜스포머인 ViT(Vision Transformer), CLIP, DALL-E 또한 이 책에서 살펴볼 것이다.

 

미세 조정(fine-tuning) 없이도 수백 가지 작업을 할 수 있는, 학습된 트랜스포머 모델을 파운데이션 모델(foundation model)이라고 한다. 파운데이션 모델은 방대한 정보 시대의 유용한 도구이다.

 

소셜 네트워크에 올라오는 메시지 수십억 개가 합법적이고 윤리적인지 판단하려면 몇 명이 필요할지
생각해보자. 하루에 수백만 개가 생성되는 웹페이지를 모두 번역하려면 몇 명의 사람이 필요할까. 또는, 분당 수백
만 개가 생성되는 메시지를 사람이 직접 분류한다면 몇 명이 필요할까!

 

마지막으로, 인터넷에 있는 방대한 스트리밍 데이터에 자막을 달거나 수십억 이미지에 캡션을 달아야 할 때 AI가 없다면 정말 많은 인적 자원이 필요하다.

 

이 책은 코드 개발부터 프롬프트(prompt)를 디자인하는 방법까지 다룬다. 프롬프트는 트랜스포머의 동작을 제어하는 새로운 “프로그래밍” 기술이다. 각 챕터에서 파이썬(Python), 파이토치(PyTorch), 텐서플로우(TensorFlow) 등을 사용하여 언어 이해의 핵심 요소를 다룰 것이다. 오리지널 트랜스포머와, 구글 BERT, OpenAI GPT-3, T5 등 다양한 모델의 아키텍처를 살펴볼 것이다. 트랜스포머를 학습하고, 미세 조정하고 강력한 API를 사용하는 방법 또한 배울 것이다.

 

페이스북 (Facebook), 구글, 마이크로소프트(Microsoft)와 같은 빅테크 기업이 공개한 거대한 데이터셋도 살펴볼 것이다. 미디어, 소셜 미디어, 연구 논문 등 다양한 분야에서 언어 이해 기술에 대한 시장의 요구를 파악할 것이다. 수백 가지의 AI 작업 중에서도 방대한 양의 데이터를 요약하거나, 모든 경제 분야의 문서를 번역하거나, 윤리적 및 법적으로 소셜 미디어 게시물을 검토하는 작업이 중요하다.

 

이 책에서는 파이썬, 파이토치, 텐서플로우를 직접 다룰 것이다. 먼저 언어 이해를 위한 주요 신경망 모델을 소개하고, 트랜스포머를 구현하는 방법을 배울 것이다. 이 혁신적인 4차 산업시대에서 AI 전문가에게 필요한 새로운 기술도 알아볼 것이다. 이 책으로 자연어 이해 모델을 효과적으로 개발하는데 필요한 딥러닝 지식과 도구를 제공하고자 한다.

 

 

✔ 이 책의 예상 독자

이 책은 파이썬 프로그래밍이나 기계 학습의 기초를 다루지 않는다. 대신 기계 번역, 음성 인식, 텍스트 음성 변환, 언어 모델링, 질문 답변 등 NLP 분야의 딥러닝 방법론에 집중한다.

 

이 책으로 가장 많은 도움을 얻을 수 있는 독자는 다음과 같다.

- 파이썬 프로그래밍에 익숙한 딥러닝 및 NLP 실무자
- 점점 증가하는 언어 데이터를 처리하기 위해 자연어 이해 도입을 원하는 데이터 분석가와 데이터 과학자

 

 

✔ 이 책을 최대한 활용하려면

이 책에 등장하는 프로그램은 대부분 코랩 노트북(Colaboratory notebook)이다. 구글의 지메일 (Gmail) 무료계정만 있다면 코랩의 가상머신에서 노트북을 실행할 수 있다.

몇몇 프로그램은 파이썬이 설치된 환경이 필요하다.

시간을 들여서 2장, 트랜스포머 모델 아키텍처 살펴보기와 부록 I, 트랜스포머 용어 설명를 읽어보길 권장한다. 2장은 부록 I, 트랜스포머 용어 설명에서 설명하는 블록으로 구축한 오리지널 트랜스포머를 소개한다. 오리지널 트랜스포머는 책 전반에 걸쳐 등장할 것이다. 만약 어렵게 느껴진다면, 장에서 소개하는 직관적인 아이디어를 위주로 살펴보자. 다른 장들을 더 공부하고 트랜스포머가 익숙해진 후에 한번 더 읽어보는 것도 좋다. 각 장을 읽고 나면, 요구사항에 맞는 트랜스포머를 어떻게 구현할 수 있을지 또는 어떻게 활용하여 참신한 아이디어로 커리어를 발전시킬 수 있을지 생각해보자.

 

 

(미리보기) 트랜스포머로 시작하는 자연어 처리 : https://vo.la/jtTTn