'구글 BERT의 정석'을 읽고 나서

 

 

한빛미디어의 제공으로 구글 BERT의 정석 이라는 신간을 읽어보게 되었다.

책에 대한 제 생각을 한마디로 해보자면, 트랜스포머와 버트 구조에 관심 있는 초심자분들께서 꼭 읽어보셨으면 하는 책" 이다.

요즘 트랜스포머 구조가 자연어처리를 벗어나서, 이미지, 음성과 같은 다양한 분야에서도 사용되고 있기 때문에, 책의 독자층도 단순하게 자연어처리에 관심이 있는 분으로 한정되지도 않는다.

 

시중에 나와있는 많은 자연어처리 책들을 읽었는데, 이 책에 실려있는 트랜스포머와 버트의 설명이 가장 쉽게, 좋은 예시와 설명으로 쓰여 있었다. 

 

위의 설명을 보면, 각 행렬들의 예시를 실제 값으로 채워넣고 그 값들이 어떻게 변하는지와, 각 용어들에 대한 설명들이 꼼꼼하게 들어가있다.

 

책의 구성 또한 옹골차다고 느껴진 것이. 기본 개념 이해와 알고리즘(트랜스포머, 버트) 동작 설명 후에 버트를 어떻게 finetuning해야하는지에 대한 내용이 들어가있다. 이 내용이 PART1 의 내용이고, 그 다음의 PART2,3는 버트의 파생방식들에 대해 다루는데, 모든 파생방식을 설명하진 않고, 꼭 필요하다고 생각되는 Roberta, Albert, Electra, Spanbert, 경량화 기법을 다룬다. 또한 PART 3 끝자락에 한국어 모델의 사용법도 설명해주고 있다.

 

책에 쓰여있는 문체와 단어들도 간단하게 쓰여있었어서 읽기도 쉬웠다.