[책 리뷰] 구글 BERT의 정석

구글 BERT의 정석 / 수다르산 라비찬디란 / 한빛미디어 / 2021

---

고등학교 때 '수학의 정석'이라는 책을 누구나 한 번쯤 접해봤을 것이다. 읽어본 사람들은 느끼겠지만 정석-이라는 책 제목만큼 너무나 원칙적이고 scratch부터 차근차근 스텝을 밟아 나간다. 단호하게 말해서 재미는 없지만 따라가다 보면 어느새 수학의 고수가 되어 있다. 구글 BERT의 정석도 그러한 형식으로 BERT에 대해서 정석적으로 알려준다.

나는 모든 자연어 처리 엔지니어들에게 이 책을 추천하고 싶다. 단순히 BERT를 import해서 training만 시키던 실무자들에게 Transformer 의 encoder, decorder를 component 단위로 하나하나 쪼개서 어떻게 돌아가는지 알려준다. 이를 이해하고 나면 BERT의 진정한 fine-tuning에 대해 좀 더 접근할 수 있지 않을까.

---

최근 BERT의 파생 모델 중 하나인 ELECTRA라는 언어 모델에 대해 관심이 있었는데, 이 모델에 대한 수식부터 예제 코드까지 설명되어 있더라. 정말 책 자체의 quality가 높고 잘~설명된 책이라서 내가 논문을 일일이 읽고 정리하지 않아도 될 수준이다! 오랜만에 지식 공유의 짜릿함을 느꼈다.

아쉬운 점이 있다면, 예제의 수준이 예제-에 그친다는 점이다. 즉 프로젝트 수준의 예제는 제공하지 않으며, 주로 언어 모델의 이론적인 면에 집중하고 있다. 프로젝트는 kaggle이나 다른 곳에서 crawling 하는 등 다른 dataset을 참고하여 진행하는 것이 좋을 듯하다.

자연어 처리 엔지니어를 희망하는 사람으로서, 추후 예제 컨텐츠 등을 정리해서 업로드 할 예정이다. 짧은 시간에 책을 후루룩 끝내기엔 너무 아쉬운 책이고, 음미하며 읽고 싶다 👅👅

---

 

목차
[PART I BERT 시작하기]

CHAPTER 1 트랜스포머 입문
1.1 트랜스포머 소개
1.2 트랜스포머의 인코더 이해하기
1.3 트랜스포머 디코더 이해하기
1.4 인코더와 디코더 결합
1.5 트랜스포머 학습
1.6 마치며
1.7 연습 문제
1.8 보충 자료
 
CHAPTER 2 BERT 이해하기
2.1 BERT 기본 개념
2.2 BERT의 동작 방식
2.3 BERT의 구조
2.4 BERT 사전 학습
2.5 하위 단위 토큰화 알고리즘
2.6 마치며
2.7 연습 문제
2.8 보충 자료
 
CHAPTER 3 BERT 활용하기
3.1 사전 학습된 BERT 모델 탐색
3.2 사전 학습된 BERT에서 임베딩을 추출하는 방법
3.3 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법
3.4 다운스트림 태스크를 위한 BERT 파인 튜닝 방법
3.5 마치며
3.6 연습 문제
3.7 보충 자료
 
 
[PART II BERT 파생 모델]
 
CHAPTER 4 B ERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT
4.1 ALBERT
4.2 ALBERT에서 임베딩 추출
4.3 RoBERTa
4.4 ELECTRA 이해하기
4.5 SpanBERT로 스팬 예측
4.6 마치며
4.7 연습 문제
4.8 보충 자료
 
CHAPTER 5 BERT 파생 모델 II: 지식 증류 기반
5.1 지식 증류 소개
5.2 DistilBERT: BERT의 지식 증류 버전
5.3 TinyBERT 소개
5.4 BERT에서 신경망으로 지식 전달
5.5 마치며
5.6 연습 문제
5.7 보충 자료
 
 
[PART III BERT 적용하기]
 
CHAPTER 6 텍스트 요약을 위한 BERTSUM 탐색
6.1 텍스트 요약
6.2 텍스트 요약에 맞춘 BERT 파인 튜닝
6.3 ROUGE 평가 지표 이해하기
6.4 BERTSUM 모델의 성능
6.5 BERTSUM 모델 학습
6.6 마치며
6.7 연습 문제
6.8 보충 자료
 
CHAPTER 7 다른 언어에 BERT 적용하기
7.1 M-BERT 이해하기
7.2 M-BERT는 다국어 표현이 어떻게 가능한가?
7.3 XLM
7.4 XLM-R 이해하기
7.5 언어별 BERT
7.6 마치며
7.7 연습 문제
7.8 보충 자료
 
CHAPTER 8 sentence-BERT 및 domain-BERT 살펴보기
8.1 sentence-BERT로 문장 표현 배우기
8.2 sentence-transformers 라이브러리 탐색
8.3 지식 증류를 이용한 다국어 임베딩 학습
8.4 domain-BERTCHAPTER 1 그래프 씽킹