일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Cosine annealing
- aitech
- 부스트캠프
- 머신러닝
- deep learning
- ai
- End-To-End
- 인공지능
- Lr Scheduler
- 인공지능 그랜드 챌린지
- 딥러닝
- 부스트캠프ai
- 네이버커넥트재단
- Machine Learning
- Learning rate Scheduler
- VAD
- 음성인식
- Today
- Total
목록전체 글 (34)
AI4NLP
한빛미디어의 제공으로 구글 BERT의 정석 이라는 신간을 읽어보게 되었다. 책에 대한 제 생각을 한마디로 해보자면, 트랜스포머와 버트 구조에 관심 있는 초심자분들께서 꼭 읽어보셨으면 하는 책" 이다. 요즘 트랜스포머 구조가 자연어처리를 벗어나서, 이미지, 음성과 같은 다양한 분야에서도 사용되고 있기 때문에, 책의 독자층도 단순하게 자연어처리에 관심이 있는 분으로 한정되지도 않는다. 시중에 나와있는 많은 자연어처리 책들을 읽었는데, 이 책에 실려있는 트랜스포머와 버트의 설명이 가장 쉽게, 좋은 예시와 설명으로 쓰여 있었다. 위의 설명을 보면, 각 행렬들의 예시를 실제 값으로 채워넣고 그 값들이 어떻게 변하는지와, 각 용어들에 대한 설명들이 꼼꼼하게 들어가있다. 책의 구성 또한 옹골차다고 느껴진 것이. 기본..
1. 시작 해당 논문은 ACL 2021에 long paper로 accept된 논문입니다. GPT에서 제시하였던 prompt tuning 방식은 기존 BERT와 같은 pretrain model에서 fine tuning하는 방식과는 다른, 하지만 더 높은 few-shot performance를 보여주며 주목을 받았던 바 있다. 기존 논문들에서는 prompt-based fine-tuning을 위해 prompt(template,label word)와 demonstration을 수동으로 작성해주었다. 하지만, 이렇게 수동으로 직접 prompt와 demonstration을 작성해야한다는 것은 fine-tuning하고자 하는 task의 domain 지식과 많은 시간들을 요구한다는 단점이 있었다. 해당 논문에서는 pr..
http://www.yes24.com/Product/Goods/103521543 나는 주니어 개발자다 - YES24 『나는 주니어 개발자다』는 다섯 명의 평범한 주니어 개발자들의 성장 이야기를 다룬다. 하지만 각자의 이야기는 결코 평범하지 않다. 늦깎이 취업 준비생, 사범대 졸업생, 임베디드, 산업기능 www.yes24.com 이번에 글또 5기에서 만난 분들과 주니어 개발자로서의 생활과 과정에 대한 글을 써서 모음집 형식으로 책을 냈다. 처음에는 쉬울거라고 생각하고 글 작성을 시작했는데, 내가 생각했던 것보다 고된 작업이었다. (힘들고 고통스러워서) 잊고 살던 기억들을 다시금 끄집어내서 써야했기 때문이다. 나도 모르게 잊고 살던 기억들이 많았다. 대학원 진학하기 이전부터 대학원에 갈지 임용을 볼지 고민하..
한빛 미디어에서 '머신러닝을 위한 웹최적화'라는 책을 리뷰어 활동으로 지원받아 읽게 되었다. 실제 웹 서비스 디자인에서 A/B 테스트를 어떻게 구성해야하고, 어떻게 발전시켜나가야하는지 궁금해서 신청하게 된 책이다. 책은 첫장에서부터 구성을 친절하게 알려주며 이야기를 시작한다. 1장과 2장은 주로 기초 내용과 A/B 테스트가 필요한 상황에 대한 내용을 다루며, 그외의 장들에서는 화살표가 이어지는 대로의 니즈에 맞게 설명들과 예시들이 이어진다. 책 내용 자체도 어려운 이론들보다는 실제 예시(디자인 시안)를 토대로 진행되기 때문에 읽음에 있어서도 큰 어려움은 없었다. 사실 기존에 머신러닝만 공부했어서 웹 관련 내용들을 잘 이해할 수 있을까 걱정하는 마음으로 읽었는데, 생각외로 고전 인공지능 알고리즘(힐 클라이..
한빛미디어에서 를 통해 책을 지원받아 작성한 리뷰입니다. 어떤 새로운 개념 혹은 (프로그래밍) 언어을 공부한다고 할 때에 제일 중요하다고 생각하는 것은 공부하려고 하는 것의 철학 혹은 역사를 아는 것이 중요하다고 생각한다. 시중에 파는 많은 책들은 책에서 설명하는 것에 대한 설치 방법부터 시작하는 경우가 많다. (절대 이런 류의 책이 잘못되었다는 뜻은 아니니 오해 없길 바랍니다.) 하지만, 이번에 읽은 '김상형의 SQL 정복'은 설치 방법이 아닌, SQL의 개념과 필요, 역사에 대한 설명부터 시작해서 너무 좋았다. 또, 별생각 없이 읽어나가다가 챕터 마지막에 있는 연습문제의 등장으로 인해 해당 챕터에서 공부한 개념들에 대해 다시한번 복습할 수 있게 해준다. 그 후 2-3장에 걸쳐 오라클, SQL Serv..
"한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 예전에 한 과제를 할 일이 있었다. 이 과제에서 점수가 책정되는 방식 중에서 전체 처리시간도 들어가있었는데, 파일 I/O (Input, Output)에서 병목이 발생해서 multiprocessing 라이브러리를 이용하여 해결해보려 했던 적이 있었다. 인터넷에 있던 여러 예제 코드들과 도큐먼트들을 참고해서 코드를 만들었는데.. 이전과 달라진 점들이 하나도 없었다. 그래서 직접 확인해보니, 분명히 동시에 처리는 하고 있었는데, 이상하게 속도가 1/n으로 줄어들어있었다. 결국 디버깅하지 못하고 그대로 과제를 제출했던 기억이 있다. 최근에 회사에서 업무를 진행하면서 비동기 프로그래밍이란 것에 대해 알게 되었는데, 비동기 프로그래밍을 적용하면 I/O를..
2021년은 아직까지는 나에게 다사다난한 때였다. 이전에 일하던 환경에서 나와서 다시 대학원으로 돌아왔고, 대학원에 있으면서 또 여러 사이드 프로젝트에 함께 했었다. 여러 사이드 프로젝트 안에서 페이를 받는 사이드 프로젝트가 있다보니, 여러 프로젝트 사이에서 균형을 잡는 것이 아주 어려웠다. 페이를 받는 사이드 프로젝트가 있다보니, 이 프로젝트에 신경이 더 쏠릴 수 밖에 없었는데.. 같이 하는 몇 사람들은 이 프로젝트를 중요하다고 생각하지 않는다는 느낌을 매우 강하게 받았다. 마감 기한까지 해오기로 한 것들을 안 해오는 경우가 부지기수였고, 그 일들 때문에 내 사기도 많이 꺾였다. 이전에는 이래본 적이 없었어서 너무 당혹스러웠고, 화만 났다. 마감 기한을 놓치는 일들이 하나 둘 쌓여가다보니까, 내 스트레..
Slurm는 리눅스에서 사용하는 클러스터 관리 및 작업 스케쥴링 (job scheduling) 시스템이다. 회사에서 GPU 클러스터를 구입하면서 Slurm 설정을 하다가 DSNG 시스템에서 도움 받아.. 막힌 부분들을 반영해서 작성한 글이다. 아래처럼 따라하며 설정했을 때에 글쓴이의 클러스터에서는 아무 문제 없이 잘 작동했었다. 우선 Slurm을 사용하기 위해서는 인증 오픈SW인 munge를 설치해야 한다. $ export MUNGEUSER=991 $ groupadd -g $MUNGEUSER munge $ useradd -m -c "MUNGE Uid 'N' Gid Emporium" -d /var/lib/munge -u $MUNGEUSER -g munge -s /sbin/nologin munge 그 후에 ..