AI4NLP

한빛미디어의 제공으로 구글 BERT의 정석 이라는 신간을 읽어보게 되었다. 책에 대한 제 생각을 한마디로 해보자면, 트랜스포머와 버트 구조에 관심 있는 초심자분들께서 꼭 읽어보셨으면 하는 책" 이다. 요즘 트랜스포머 구조가 자연어처리를 벗어나서, 이미지, 음성과 같은 다양한 분야에서도 사용되고 있기 때문에, 책의 독자층도 단순하게 자연어처리에 관심이 있는 분으로 한정되지도 않는다. 시중에 나와있는 많은 자연어처리 책들을 읽었는데, 이 책에 실려있는 트랜스포머와 버트의 설명이 가장 쉽게, 좋은 예시와 설명으로 쓰여 있었다. 위의 설명을 보면, 각 행렬들의 예시를 실제 값으로 채워넣고 그 값들이 어떻게 변하는지와, 각 용어들에 대한 설명들이 꼼꼼하게 들어가있다. 책의 구성 또한 옹골차다고 느껴진 것이. 기본..

1. 시작 해당 논문은 ACL 2021에 long paper로 accept된 논문입니다. GPT에서 제시하였던 prompt tuning 방식은 기존 BERT와 같은 pretrain model에서 fine tuning하는 방식과는 다른, 하지만 더 높은 few-shot performance를 보여주며 주목을 받았던 바 있다. 기존 논문들에서는 prompt-based fine-tuning을 위해 prompt(template,label word)와 demonstration을 수동으로 작성해주었다. 하지만, 이렇게 수동으로 직접 prompt와 demonstration을 작성해야한다는 것은 fine-tuning하고자 하는 task의 domain 지식과 많은 시간들을 요구한다는 단점이 있었다. 해당 논문에서는 pr..

http://www.yes24.com/Product/Goods/103521543 나는 주니어 개발자다 - YES24 『나는 주니어 개발자다』는 다섯 명의 평범한 주니어 개발자들의 성장 이야기를 다룬다. 하지만 각자의 이야기는 결코 평범하지 않다. 늦깎이 취업 준비생, 사범대 졸업생, 임베디드, 산업기능 www.yes24.com 이번에 글또 5기에서 만난 분들과 주니어 개발자로서의 생활과 과정에 대한 글을 써서 모음집 형식으로 책을 냈다. 처음에는 쉬울거라고 생각하고 글 작성을 시작했는데, 내가 생각했던 것보다 고된 작업이었다. (힘들고 고통스러워서) 잊고 살던 기억들을 다시금 끄집어내서 써야했기 때문이다. 나도 모르게 잊고 살던 기억들이 많았다. 대학원 진학하기 이전부터 대학원에 갈지 임용을 볼지 고민하..

한빛 미디어에서 '머신러닝을 위한 웹최적화'라는 책을 리뷰어 활동으로 지원받아 읽게 되었다. 실제 웹 서비스 디자인에서 A/B 테스트를 어떻게 구성해야하고, 어떻게 발전시켜나가야하는지 궁금해서 신청하게 된 책이다. 책은 첫장에서부터 구성을 친절하게 알려주며 이야기를 시작한다. 1장과 2장은 주로 기초 내용과 A/B 테스트가 필요한 상황에 대한 내용을 다루며, 그외의 장들에서는 화살표가 이어지는 대로의 니즈에 맞게 설명들과 예시들이 이어진다. 책 내용 자체도 어려운 이론들보다는 실제 예시(디자인 시안)를 토대로 진행되기 때문에 읽음에 있어서도 큰 어려움은 없었다. 사실 기존에 머신러닝만 공부했어서 웹 관련 내용들을 잘 이해할 수 있을까 걱정하는 마음으로 읽었는데, 생각외로 고전 인공지능 알고리즘(힐 클라이..

한빛미디어에서 를 통해 책을 지원받아 작성한 리뷰입니다. 어떤 새로운 개념 혹은 (프로그래밍) 언어을 공부한다고 할 때에 제일 중요하다고 생각하는 것은 공부하려고 하는 것의 철학 혹은 역사를 아는 것이 중요하다고 생각한다. 시중에 파는 많은 책들은 책에서 설명하는 것에 대한 설치 방법부터 시작하는 경우가 많다. (절대 이런 류의 책이 잘못되었다는 뜻은 아니니 오해 없길 바랍니다.) 하지만, 이번에 읽은 '김상형의 SQL 정복'은 설치 방법이 아닌, SQL의 개념과 필요, 역사에 대한 설명부터 시작해서 너무 좋았다. 또, 별생각 없이 읽어나가다가 챕터 마지막에 있는 연습문제의 등장으로 인해 해당 챕터에서 공부한 개념들에 대해 다시한번 복습할 수 있게 해준다. 그 후 2-3장에 걸쳐 오라클, SQL Serv..

"한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 예전에 한 과제를 할 일이 있었다. 이 과제에서 점수가 책정되는 방식 중에서 전체 처리시간도 들어가있었는데, 파일 I/O (Input, Output)에서 병목이 발생해서 multiprocessing 라이브러리를 이용하여 해결해보려 했던 적이 있었다. 인터넷에 있던 여러 예제 코드들과 도큐먼트들을 참고해서 코드를 만들었는데.. 이전과 달라진 점들이 하나도 없었다. 그래서 직접 확인해보니, 분명히 동시에 처리는 하고 있었는데, 이상하게 속도가 1/n으로 줄어들어있었다. 결국 디버깅하지 못하고 그대로 과제를 제출했던 기억이 있다. 최근에 회사에서 업무를 진행하면서 비동기 프로그래밍이란 것에 대해 알게 되었는데, 비동기 프로그래밍을 적용하면 I/O를..

Slurm는 리눅스에서 사용하는 클러스터 관리 및 작업 스케쥴링 (job scheduling) 시스템이다. 회사에서 GPU 클러스터를 구입하면서 Slurm 설정을 하다가 DSNG 시스템에서 도움 받아.. 막힌 부분들을 반영해서 작성한 글이다. 아래처럼 따라하며 설정했을 때에 글쓴이의 클러스터에서는 아무 문제 없이 잘 작동했었다. 우선 Slurm을 사용하기 위해서는 인증 오픈SW인 munge를 설치해야 한다. $export MUNGEUSER=991$ groupadd -g $MUNGEUSER munge$ useradd -m -c "MUNGE Uid 'N' Gid Emporium" -d /var/lib/munge -u $MUNGEUSER -g munge -s /sbin/nologin munge 그 후에 ..

한빛미디어 리뷰어 선정으로 리뷰하게 된 도서이다. 책 제목에도 쓰여있다시피 시스템 구축부터 보안, 모니터링, 클라우드 운영 전반에 대한 내용을 다루고 있는 책이다. 인공지능 분야에서 일을 하면서 리눅스 시스템과 친해질 일이 많아서 기존 쉘 스크립트 관련된 책을 몇권 구입했던 적이 있다. 다만 생각보다 책의 내용이 너무 방대하고, 많아서 다른 말로는 필요하지 않은 부분들까지 다뤄서 완독을 못하고 있었다. 이 책은 리눅스를 다룸에 있어서 딱 필요한 내용들만 다루고 있어서 좋다. 총 3부로 구성되어있고, 1부는 쉘 스크립트 기초, 2부에서는 grep, find, awk sed, date 등을 다루고 있고, 마지막 3부에서는 실제 여러 상황들에 대한 쉘 스크립트 사용을 다루고 있다. 2부까지는 필요한 내용이어서..