본문 바로가기

NLP

[트랜스포머로 시작하는 자연어 처리] 트랜스포머 용어 정리 * 본포스팅은 에서 발췌한 내용으로 작성되었습니다.  지난 수십 년 동안 CNNs(Convolutional Neural Network), RNNs(Recurrent Neural Networks)를 비롯한 다양한 인공신경망(Artificial Neural Networks, ANNs)이 개발되었다. 이들을 설명할 땐 공통적인 어휘들이 사용된다. 트랜스포머는 새로운 용어들을 도입하고 기존의 용어들을 다르게 사용한다. 이 부록은 트랜스포머를 간단히 살펴보며 트랜스포머의 용어를 설명한다. 트랜스포머 아키텍처는 딥러닝의 산업적인 활용을 고려하여 설계되었다. 트랜스포머는 병렬 처리에 적합한 구조를 가지고 있으며, 하드웨어를 최적화하기 위한 조건을 충족한다. 일례로 구글은 트랜스포머의 스택(stack) 구조를 활용하여.. 더보기
[자연어 처리] 트랜스포머로 NLP 모델 최적화 * 본포스팅은 에서 발췌한 내용으로 작성되었습니다.  ✔ 트랜스포머란무엇인가?트랜스포머는 산업적인 단일화(homogenized)된 포스트-딥러닝(post-deep learning)1 모델로, 슈퍼 컴퓨터가 병렬로 처리할 수 있게 고안됐다. 트랜스포머의 단일화된 특성 덕분에 별도 미세 조정없이도 다양한 작업에 모델을 활용할 수 있고, 수십억 파라미터로 라벨링되지 않은 수십억 원시데이터(raw data)에 대해 자기 지도 학습(self-supervised learning)을 수행할 수 있다. 포스트 딥러닝의 이와 같은 아키텍처를 파운데이션 모델(foundation model) 이라고 한다. 2015년도에 시작된 4차 산업혁명은 모든 것을 연결함으로써 기계 간 자동화를 실현했다. 파운데이션 모델인 트랜스포머는.. 더보기
트랜스포머로 시작하는 자연어 처리(NLP) ✔ 트랜스포머로 시작하는 자연어 처리자연어 처리(Natural Language Processing, NLP)는 글로벌 디지털 시장에서 인공지능을 대표하고 있으며, 트랜스포머(transformer)는 자연어 이해(Natural Language Understanding, NLU)의 판도를 바꾸고 있다. 트랜스포머 모델은 인공지능의 새로운 시대를 알렸다. 자연어 이해는 언어 모델링, 챗봇, 개인 비서, 질문 답변, 텍스트 요약, 음성 인식, 감성 분석, 기계 번역 등의 기반이 되었다. 우리는 소셜 네트워크, 이커머스, 디지털 신문, 스트리밍 서비스, 원격 진료, 재택근무 등 수백 개의 도메인에서 디지털 전환이 이뤄지는 시대를 살고 있다. 언어를 이해하는 인공지능이 없다면 웹브라우저, 스트리밍 서비스 등 언어와.. 더보기

티스토리툴바