티스토리

AI4NLP

검색하기

블로그 홈

AI4NLP

ai4nlp.tistory.com/m

nlp user 님의 블로그입니다.

구독자: 12

방명록 방문하기

주요 글 목록

이것이 리눅스다 3판 을 읽고 나서 이번 한빛미디어 서평단으로 이것이 리눅스다 3판을 받았다. 요즘은 도커를 주로 사용하고 있지만 vm 기반 환경에서 돌아가는 리눅스 서버에도 관심이 있어서 신청하게 되었다. 현재 업무에서는 우분투를 주로 사용하고 있는데, 이것이 리눅스다 에서는 레드햇 계열의 Rocky Linux9을 다루고 있다. 잘 모르는 리눅스 시스템이어서 처음부터 읽는데에 어려울 것이라 생각했는데, 원리들에 대해서 차근차근 알려줘서 읽기가 수월했다. 책에서 실습으로 주로 다루는 내용은 Rocky Linux 설치부터 서버 운영을 위한 준비, 실질적인 연결 등을 다룬다. 완전히 리눅스 서버 운영을 처음하는 분들에게는 읽을만한 내용이라고 생각되었고, 완전히 숙달하신 분들 중에서도 기본적인 원리나 연결 체계등에 대해 관심이 있으신 분들도 읽.. 공감수 0 댓글수 0 2023. 3. 26.
혼자 공부하는 컴퓨터구조 + 운영체제 를 읽고 나서 이번에 한빛 체험단에 선정되어 혼자 공부하는 컴퓨터구조 + 운영체제를 읽게 되었다. 결론부터 말하자면, 완전 추천하고 싶다. 나는 비전공자 출신으로 개발 업무를 시작하게 되었는데, 업무 초기에는 컴퓨터 기초 지식에 대한 필요가 없었다. 그런데, 업무를 하면 할수록 같이 일하는 분들과 미묘한 한두끗 차이가 생기기 시작하면서 점점 벌어져간다는 느낌을 받았다. 그 미묘한 한두끗 차이가 네트워크, 컴퓨터구조, 운영체제와 같은 컴퓨터 공학 기초들이었다. 그래서 흔히들 추천하는 공룡책과 같은 책을 보려했으나, 현업 업무를 하면서 전공 서적을 틈틈히 보는 것은 굉장히 힘든 일이었다. 그런데! 이 책, 혼자 공부하는 컴퓨터구조 + 운영체제 책은 업무와 함께하며 보기에 큰 부담이 없었다. 설명 자체도 간결하게 되어있고,.. 공감수 1 댓글수 0 2022. 12. 31.
적정 소프트웨어 아키텍쳐 를 읽고 나서 이번에 한빛 미디어에서 "적정 소프트웨어 아키텍쳐"라는 책을 제공 받아 서평을 쓰게 되었다. 책의 서문에도 적혀있듯, 리스키한 환경의 소프트웨어 엔지니어들의 소프트웨어 아키텍쳐 설계에 대한 내용인데.. 결론부터 이야기해보자면 책이 꽤 어렵다. 어쩌면 내가 잘 몰라서 & 관심이 상대적으로 적은 분야여서 그럴 수도 있다. 그렇지만 책의 구성과 짜임새는 잘 짜여져 있어서 읽어나가는 데에는 큰 어려움이 없었다. 책의 내용은 어렵다고 적었지만, 현업과는 밀접한 관계가 있는 내용들이다. 현재 회사에서 스크래치부터 소프트웨어를 개발하고 있는데, 그 회의에서 나오던 내용들의 흐름을 이해하는 데에 책의 내용이 큰 도움이 되었다. 아래 첨부된 사진대로 소프트웨어 아키텍쳐에 관심있는 학부 고학년이나 실제 소프트웨어 아키텍쳐.. 공감수 0 댓글수 2 2022. 11. 28.
이것이 자료구조 + 알고리즘이다 를 읽고 나서 한빛미디어 서평단 활동으로 이것이 자료구조 + 알고리즘이다 를 받았다. 자료구조를 다루는 책은 오랜만에 읽어본다. 파이썬을 자주 쓰다보니 부끄럽게도 포인터 개념에 대해서는 어렴풋이나마 알고 있지만 여전히 명확히 이해하지는 못하고 있다. 그렇기 때문에, 자료구조와 알고리즘의 입문자와 중급자 사이에 모호하게 걸쳐져 있는 상태인데, 책이 상당히 쉽게 읽혔다. 설명들도 꼼꼼했고, 궁금할 만한 부분들에 대해서도 작성시에 고려되어 있었는지 읽는 족족 궁금증들이 잘 정리가 되었다. 기존에 다른 자료구조 책들도 몇권 갖고 있는데, 그 책들에 비하면 두께가 얇은 편이다. 그래서 내용이 적은 것일까? 싶었는데, 내용이 적은 편도 아니었고, 설명 자체가 장황하기보다 간결하고 필요한 부분만 작성되어 있어서 그런 것 같았다. .. 공감수 0 댓글수 0 2022. 8. 28.
파이썬을 활용한 베이지안 통계 를 읽고 나서 한빛미디어의 도서체험단 리뷰 도서로 받아서 리뷰를 하게 되었다. 아무래도 고등학교 내내 배우는 확률은 빈도주의 기반이다보니 베이지안을 공부해야할 때가 왔을 때, 많은 사람들이 어려움을 겪곤 한다. 이 책은 제목대로 파이썬을 활용해서 다루기 때문에 당연 핸즈온 스타일로 구성되어 있다. 이러한 점은 장점도 있고, 단점도 있는데.. 장점이라면, 유로문제(Euro problem) 등과 같은 문제들을 다룰 때, 계산의 어려움을 적게 겪을 수 있다는 점과, 핸즈온 스타일이기 때문에 책을 보면서 쉽게 따라할 수 있다는 것이다. 단점이라면, 직접 하나하나 따라서 손으로 계산하면서 하는 것도 필요할 때가 있는데, 코드로만 하다보면 그런 부분들을 놓칠 수 있다는 점이다. 하지만, 이런 부분들은 파이썬 핸즈온과는 별개로 손.. 공감수 0 댓글수 2 2022. 7. 24.
소프트웨어 아키텍처 101 를 읽고 나서 이번에 한빛미디어의 체험단 활동으로 소프트웨어 아키텍처 101을 받게 되었다. 잠시 미국에 있는 대학교의 대학원에서 공부할 때에 계절학기 프로젝트로 아키텍처 설계 수업을 들었을 때에는 이걸 왜 듣지 하는 생각이 들었었다. 한국에 귀국해서 대학원 학기가 붕 뜨는 바람에 인턴 활동을 시작하게 되었고, 인턴 활동 중에 협업을 접하게 되며 아키텍처 설계의 중요성에 대해 생각하게 되었다. 기본적으로 개발 프로세스의 규모가 거대해져가면서 팀으로 개발하게 되는 것이 필수가 되었고, 아키텍처 설계는 그 개발의 결과물에 대한 사전 설계와 같다고 생각하게 되었다. 비유하자면 건물을 짓는데에 건물의 설계를 하고 짓는지 아니면, 이 건물을 이렇게 생겼고, 이런 기능을 해야하니 대강 이렇게 지으면 되겠지? 1층부터 지어보자 의.. 공감수 0 댓글수 0 2022. 6. 26.
유연한 소프트웨어를 만드는 설계 원칙 을 읽고 나서 이번에 한빛미디어 도서 체험단으로 "유연한 소프트웨어를 만드는 설계 원칙"을 받게 되었다. 책의 내용 자체는 흥미로운 내용이었다. 요즘 핫한 함수형 프로그래밍을 기반으로 하여 어떻게 하면 확장성 좋고 유연한 소프트웨어를 만들 수 있을지, 그 디자인에 대해서 생각해보고 논한다. 특히 컴퓨터 프로그램의 구조와 해석 이란 책을 재미있게 읽고, 잘 아시는 분이라면 더욱 흥미롭게 읽을 수 있는 책이라고 생각한다. 예제로 LIPS 기반의 Scheme이란 언어를 사용하기 때문이다. 이 점은 코드를 핸즈온으로 따라함에 있어서 단점일 수도 있는 것이 윈도우 환경이 아닌 MIT/GNU 환경에서 컴파일 되기 때문이다. 번역은 류광님이 맡으셨다. 이전에 류광님이 번역하신 심층학습, 인공지능 현대적 접근 이란 책을 읽었는데, .. 공감수 2 댓글수 0 2022. 4. 24.
쿠브플로 운영 가이드 를 읽고 나서 이번에 한빛 미디어로부터 쿠브플로 운영 가이드 라는 제공받아 서평을 작성하게 되었다. 핸즈온 예제 위주로 쓰여진 책이어서 상당히 빠르게 읽을 수 있었다. 아무래도 예제 위주로 쓰여진 책이다보니 책의 지식에 대한 자세한 이야기보다는 이 책의 장점과 단점등에 대해 짤막하게 쓸 예정이다. 우선 가장 큰 장점은 책의 두께가 얇다는 점이다. 무슨 말인가 싶겠지만, 빠르게 핸즈온 위주로 둘러봐야하는 책들에서는 책의 내용이 많다는 것은 생각 외로 큰 부담이다. 예제 중심으로 짧게 짜여져있어서, 빠른 시간내로 쿠브 플로우에 대해 잘 정돈된 내용을 알고 싶은 분들에겐 정말 좋은 책이다. 다음 장점은 예시 아키텍쳐와 그에대해서 GCP, AWS, AZURE의 배포 예제를 같이 해볼 수 있다. 각자 주로 쓰시는 클라우드 서비.. 공감수 0 댓글수 0 2022. 2. 23.
'구글 BERT의 정석'을 읽고 나서 한빛미디어의 제공으로 구글 BERT의 정석 이라는 신간을 읽어보게 되었다. 책에 대한 제 생각을 한마디로 해보자면, 트랜스포머와 버트 구조에 관심 있는 초심자분들께서 꼭 읽어보셨으면 하는 책" 이다. 요즘 트랜스포머 구조가 자연어처리를 벗어나서, 이미지, 음성과 같은 다양한 분야에서도 사용되고 있기 때문에, 책의 독자층도 단순하게 자연어처리에 관심이 있는 분으로 한정되지도 않는다. 시중에 나와있는 많은 자연어처리 책들을 읽었는데, 이 책에 실려있는 트랜스포머와 버트의 설명이 가장 쉽게, 좋은 예시와 설명으로 쓰여 있었다. 위의 설명을 보면, 각 행렬들의 예시를 실제 값으로 채워넣고 그 값들이 어떻게 변하는지와, 각 용어들에 대한 설명들이 꼼꼼하게 들어가있다. 책의 구성 또한 옹골차다고 느껴진 것이. 기본.. 공감수 0 댓글수 0 2021. 11. 21.
Making Pre-trained Language Models Better Few-shot Learners 1. 시작 해당 논문은 ACL 2021에 long paper로 accept된 논문입니다. GPT에서 제시하였던 prompt tuning 방식은 기존 BERT와 같은 pretrain model에서 fine tuning하는 방식과는 다른, 하지만 더 높은 few-shot performance를 보여주며 주목을 받았던 바 있다. 기존 논문들에서는 prompt-based fine-tuning을 위해 prompt(template,label word)와 demonstration을 수동으로 작성해주었다. 하지만, 이렇게 수동으로 직접 prompt와 demonstration을 작성해야한다는 것은 fine-tuning하고자 하는 task의 domain 지식과 많은 시간들을 요구한다는 단점이 있었다. 해당 논문에서는 pr.. 공감수 0 댓글수 0 2021. 10. 24.
"나는 주니어 개발자다" 작업 후기 http://www.yes24.com/Product/Goods/103521543 나는 주니어 개발자다 - YES24 『나는 주니어 개발자다』는 다섯 명의 평범한 주니어 개발자들의 성장 이야기를 다룬다. 하지만 각자의 이야기는 결코 평범하지 않다. 늦깎이 취업 준비생, 사범대 졸업생, 임베디드, 산업기능 www.yes24.com 이번에 글또 5기에서 만난 분들과 주니어 개발자로서의 생활과 과정에 대한 글을 써서 모음집 형식으로 책을 냈다. 처음에는 쉬울거라고 생각하고 글 작성을 시작했는데, 내가 생각했던 것보다 고된 작업이었다. (힘들고 고통스러워서) 잊고 살던 기억들을 다시금 끄집어내서 써야했기 때문이다. 나도 모르게 잊고 살던 기억들이 많았다. 대학원 진학하기 이전부터 대학원에 갈지 임용을 볼지 고민하.. 공감수 1 댓글수 0 2021. 9. 12.
'머신러닝을 활용한 웹 최적화' 를 읽고 나서 한빛 미디어에서 '머신러닝을 위한 웹최적화'라는 책을 리뷰어 활동으로 지원받아 읽게 되었다. 실제 웹 서비스 디자인에서 A/B 테스트를 어떻게 구성해야하고, 어떻게 발전시켜나가야하는지 궁금해서 신청하게 된 책이다. 책은 첫장에서부터 구성을 친절하게 알려주며 이야기를 시작한다. 1장과 2장은 주로 기초 내용과 A/B 테스트가 필요한 상황에 대한 내용을 다루며, 그외의 장들에서는 화살표가 이어지는 대로의 니즈에 맞게 설명들과 예시들이 이어진다. 책 내용 자체도 어려운 이론들보다는 실제 예시(디자인 시안)를 토대로 진행되기 때문에 읽음에 있어서도 큰 어려움은 없었다. 사실 기존에 머신러닝만 공부했어서 웹 관련 내용들을 잘 이해할 수 있을까 걱정하는 마음으로 읽었는데, 생각외로 고전 인공지능 알고리즘(힐 클라이.. 공감수 1 댓글수 0 2021. 7. 25.
'김상형의 SQL 정복'을 읽고 나서 한빛미디어에서 를 통해 책을 지원받아 작성한 리뷰입니다. 어떤 새로운 개념 혹은 (프로그래밍) 언어을 공부한다고 할 때에 제일 중요하다고 생각하는 것은 공부하려고 하는 것의 철학 혹은 역사를 아는 것이 중요하다고 생각한다. 시중에 파는 많은 책들은 책에서 설명하는 것에 대한 설치 방법부터 시작하는 경우가 많다. (절대 이런 류의 책이 잘못되었다는 뜻은 아니니 오해 없길 바랍니다.) 하지만, 이번에 읽은 '김상형의 SQL 정복'은 설치 방법이 아닌, SQL의 개념과 필요, 역사에 대한 설명부터 시작해서 너무 좋았다. 또, 별생각 없이 읽어나가다가 챕터 마지막에 있는 연습문제의 등장으로 인해 해당 챕터에서 공부한 개념들에 대해 다시한번 복습할 수 있게 해준다. 그 후 2-3장에 걸쳐 오라클, SQL Serv.. 공감수 0 댓글수 0 2021. 6. 19.
파이썬 비동기 라이브러리 Asyncio 를 읽고 나서 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 예전에 한 과제를 할 일이 있었다. 이 과제에서 점수가 책정되는 방식 중에서 전체 처리시간도 들어가있었는데, 파일 I/O (Input, Output)에서 병목이 발생해서 multiprocessing 라이브러리를 이용하여 해결해보려 했던 적이 있었다. 인터넷에 있던 여러 예제 코드들과 도큐먼트들을 참고해서 코드를 만들었는데.. 이전과 달라진 점들이 하나도 없었다. 그래서 직접 확인해보니, 분명히 동시에 처리는 하고 있었는데, 이상하게 속도가 1/n으로 줄어들어있었다. 결국 디버깅하지 못하고 그대로 과제를 제출했던 기억이 있다. 최근에 회사에서 업무를 진행하면서 비동기 프로그래밍이란 것에 대해 알게 되었는데, 비동기 프로그래밍을 적용하면 I/O를.. 공감수 0 댓글수 0 2021. 5. 23.
따라하며 하는 Slurm 세팅 & 설명, Ubuntu 18.04 Slurm는 리눅스에서 사용하는 클러스터 관리 및 작업 스케쥴링 (job scheduling) 시스템이다. 회사에서 GPU 클러스터를 구입하면서 Slurm 설정을 하다가 DSNG 시스템에서 도움 받아.. 막힌 부분들을 반영해서 작성한 글이다. 아래처럼 따라하며 설정했을 때에 글쓴이의 클러스터에서는 아무 문제 없이 잘 작동했었다. 우선 Slurm을 사용하기 위해서는 인증 오픈SW인 munge를 설치해야 한다. $ export MUNGEUSER=991 $ groupadd -g $MUNGEUSER munge $ useradd -m -c "MUNGE Uid 'N' Gid Emporium" -d /var/lib/munge -u $MUNGEUSER -g munge -s /sbin/nologin munge 그 후에 .. 공감수 0 댓글수 4 2021. 4. 18.
처음 배우는 셸 스크립트 를 읽고 나서 한빛미디어 리뷰어 선정으로 리뷰하게 된 도서이다. 책 제목에도 쓰여있다시피 시스템 구축부터 보안, 모니터링, 클라우드 운영 전반에 대한 내용을 다루고 있는 책이다. 인공지능 분야에서 일을 하면서 리눅스 시스템과 친해질 일이 많아서 기존 쉘 스크립트 관련된 책을 몇권 구입했던 적이 있다. 다만 생각보다 책의 내용이 너무 방대하고, 많아서 다른 말로는 필요하지 않은 부분들까지 다뤄서 완독을 못하고 있었다. 이 책은 리눅스를 다룸에 있어서 딱 필요한 내용들만 다루고 있어서 좋다. 총 3부로 구성되어있고, 1부는 쉘 스크립트 기초, 2부에서는 grep, find, awk sed, date 등을 다루고 있고, 마지막 3부에서는 실제 여러 상황들에 대한 쉘 스크립트 사용을 다루고 있다. 2부까지는 필요한 내용이어서.. 공감수 0 댓글수 0 2021. 3. 21.
영화 유튜버 라이너의 철학 시사회를 읽고 나서 유튜버 라이너 님은 게임 채널을 하던 시절부터 즐겨보던 유튜버였다. 그러다가 부캐처럼 만든 영화 리뷰 채널이 많은 사람들의 주목을 받으며 지금은 부캐가 본캐를 넘어 더 유명해져버렸다. 그런 이유로 현재는 영화 유튜버로서 더 유명하다. (어둠땅에 대한 이야기도 게임 채널에서 보고 싶은데...ㅎㅎ) 그런 라이너님이 책을 냈다고 해서 예스에서 구입해서 읽어보게 되었다. 철학은 초중고 시절 무지막지하게 팽창하던 나의 자아를 잡아주고 묶어주는 버팀목이 되어주는 지식이자 학문이었고, 인공지능을 공부하고 있는 현재로서는 더더욱 멀리할 수 없는 것이 되어버렸다. 내가 이해한 바로는 철학과 영화에는 공통점과 차이점이 있다. 공통점이라면 둘 다 인간에 대한 이해를 그 기반으로 한다는 것이다. 차이점이라면 철학은 인간에 대.. 공감수 0 댓글수 0 2021. 3. 21.
1년간 정들었던 회사를 떠나며 사실 구직활동의 시작은 2019년 12월 뉴립스부터였다. 몇몇 회사들은 면접을 진행중이었고, 몇몇 제안도 받았지만.. 배우면서 일할 수 있는 환경이 구성되지 않은 회사가 대다수였어서 그대로 귀국하기로 마음 먹었었다. 그렇게 2020년 2월말 카네기멜론대학교에서의 6개월간의 수업을 마치고, 귀국하면서 여러 상황적인 요인들과 회사에서 일하는 것이 궁금했어서 다시 구직 활동을 시작했었다. 일을 배워가면서 하고 싶단 욕심, AI 업무의 시작과 끝을 경험해보고 싶단 생각, 지금까지 공부해왔던 것들을 점검해보고 싶단 생각이 강했어서, 대기업, 중견기업에는 아예 이력서도 넣지 않고 스타트업에서 일하려고 했었다. 내가 한가지 특이했던 점은.. 원래 공부하던 분야는 자연어처리였지만, "학습 속도가 빠른 사람이 되자"라는.. 공감수 0 댓글수 0 2021. 2. 21.
실전 보고서 작성 기술 with 파워포인트, 워드, 한글 를 읽고 나서 한빛미디어의 제공으로 "실전 보고서 작성 기술"이라는 책을 받아보게 되었다. (감사해요 한빛미디어!) 우선 이 책을 읽었을 떄에 들은 생각은 "아쉽다!" 였다. 책 내용이 "아쉽다"는 뜻은 절대 아니고, 이 책을 미리 만났더라면 얼마나 좋았을까 하는 "아쉬움"이었다. 저는 대학원생이자, 스타트업에서 일하는 사람인데, 업무 특성상 사업 계획서를 작성할 일이 많다. 또한, 가끔씩 사업 계획서를 보고 평가할 일도 생기곤 하는데 다른 사람의 서류를 볼 때마다 드는 아쉬움, 감탄등이 있었다. 국가 연구 지원을 위한 사업 계획서를 작성할 때마다, 남들이 쓴 사업 계획서를 작성할 때마다 "좋은 보고서란 무엇일까?"에 대해 생각하는 일이 잦았다. "좋은 보고서란 이것이다!" 라고 확답을 내리지는 못하고 있었는데, 이 .. 공감수 0 댓글수 0 2021. 2. 20.
IEEE ICASSP 2021 SELF-ATTENTIVE VAD: CONTEXT-AWARE DETECTION OF VOICE FROM NOISE 후기 및 간단설명 이번에 IEEE ICASSP 2021에 제출하였던 논문이 accept되어서 논문에 대한 포스팅을 올리게 되었다. 돌이켜보면 2020년, 팀장님과 둘이서 딥러닝 연구 개발을 하면서 힘든 일이 많았는데, 개발에 대한 부분들은 대회 입상(이전 포스트 참고 (1), (2) ), 연구에 대한 부분들은 이번 논문으로 어느정도 해소된 것 같아 기쁘다. 우선 논문을 소개하기에 앞서 Voice Activity Detection 통칭 VAD라고 하는 task에 대해 짚고 가야할 필요가 있다. VAD란 Voice Activity Detection의 약자로서 오디오 파일 내에서 음성이 있는 영역을 찾아주는 task이다. 음성인식의 예를 들어보자면, 음성인식은 상대적으로 짧으면서, 노이즈가 적은 오디오 파일에 대해서 학습하게 .. 공감수 5 댓글수 0 2021. 1. 30.
늦깍이 학점 낮은 비전공자, 인공지능 공부의 첫 시작부터 지금까지를 돌이켜보며 (2018-2020) 언젠가는 인공지능 공부를 시작하면서부터 지금까지의 과정을 돌이켜보고 복기해보자고 생각은 하고 있었는데, 맘 먹은만큼 쉽지 않았다. 아마 공부를 시작하면서부터 너무 바쁘게, 정신없이 달려온 것이 그 이유가 아닐까 생각한다. 그래서 미루고 미뤄두고 있었는데, 참여하고 있는 프로젝트 팀 헤파이스토스에서 2020년 회고 모임을 가졌고, 그 모임에서 이야기하다 보니 생각이 어느정도 정리가 되어서 회고 글을 쓰게 되었다. 2018년 나는 사범대, 수학교육과를 졸업했다. 학부에 다니는 동안 좋은 선생님이 되기 위해 여러방면으로 많은 노력을 하였다. 4학년 1학기 교생 실습 중에 선생님이라는 직업에 대해 다시금 생각해보게 되었다. 선생님이라는 직업은 분명 보람있고 가치있는 직업이다. 하지만, 학생들과 부대끼는 시간보다.. 공감수 63 댓글수 8 2021. 1. 1.
AI Grand Challenge, 인공지능 그랜드 챌린지 1위 입상 후기 및 입상 모델 설명 대회 및 task 설명 이번에 회사에서 팀장님과 함께 인공지능 그랜드 챌린지에 참여하였다. 회사 소속으로 참여한 2번째 대회이다 (첫번째로 참여한 대회 후기는 이 링크를 클릭! ). 인공지능 그랜드 챌린지는 1단계 2019년, 2단계 2020년, 3단계 2021년, 4단계 2022년 순으로 진행되는 대회이며, 우리가 참여한 대회는 2단계 4차 대회 트랙 2, 음성인지 였다. 4차 트랙2 음성인지는 폭력상황의 대화를 인지하여 어떤 폭력의 종류인지 분류하는 대회였다. 간단히 설명하자면, 대화가 입력으로 들어와서 그 대화의 class를 분류하는 것(일반 대화 label 포함)이었다. 여러 우여곡절이 있었지만, 결과적으로는 1위로 입상하였고, 후속 연구 지원금으로 7억 6천만원 정도를 지원받게 되었다. 데이터 .. 공감수 12 댓글수 0 2020. 12. 27.
코싸인 어닐링,Cosine annealing learning rate scheduler 간단 설명 Cosine annealing은 "SGDR: Stochastic Gradient Descent with Warm Restarts"에서 제안되었던 학습율 스케쥴러로서, 학습율의 최대값과 최소값을 정해서 그 범위의 학습율을 코싸인 함수를 이용하여 스케쥴링하는 방법이다. Cosine anneaing의 이점은 최대값과 최소값 사이에서 코싸인 함수를 이용하여 급격히 증가시켰다가 급격히 감소시키 때문에 모델의 매니폴드 공간의 안장(saddle point)를 빠르게 벗어날 수 있으며([그림 1] 참조), 학습 중간에 생기는 정체 구간들 또한 빠르게 벗어날 수 있도록 한다. 결과적으로 이러한 방법이 모델의 일반화 성능을 극대화시켜준다. 논문의 실험 결과에 따르면 Cosine annealing을 이용하여 학습한 wide.. 공감수 4 댓글수 1 2020. 12. 13.
네이버 커넥트재단 업스테이지 부스트캠프 AI Tech 설명회 참석 후기 설명회를 듣고 기억을 더듬어가면서 작성한 글이라서, 혹시라도 설명회 내용 혹은 답변과 다른 부분이 있다면 꼭 지적 부탁드립니다. 이번에 인공지능 교육 관련하여 네이버 커넥트재단과 업스테이지가 주최하는 부스트 캠프 AI Tech 온라인 설명회를 들었다. 설명회는 1시간 정도 진행되었고, 설명회에서 중요하다고 생각하는 혹은 기억에 남는 것들을 정리해보면 다음과 같다. 1. 부스트캠프의 목적 혹은 비전은 지속가능한 개발자 양성이라고 한다. 지속가능한 개발자란 언어나 라이브러리, 프레임워크이 바뀌더라도 그에 제약받지 않고 스스로 성장해가는 개발자 로 이해했었다. 2. AI Tech 코스는 그러한 부스트캠프의 목적하에서 진행되는 코스로 보여진다. 3. 초반은 부스트캠프 프로그램에 대한 소개로 이어졌다. 여러가지 .. 공감수 1 댓글수 0 2020. 11. 30.
글또 5기를 시작하며 지난 분기에 이어서 이번 분기에도 글또 5기에서 활동하게 되었습니다. 이번 분기에는 저번 분기에 작성하려고 하였던 end-to-end 음성 인식에 대한 내용들을 마무리 짓고, 그래프 기반의 자연어처리에 대해 공부해보고 그 내용들을 블로그에 정리해보려고 합니다. 이전 분기에서 작성하려던 end-to-end 음성 인식의 경우 막상 글로 작성하려고 하니 잘 설명이 되지 않아 글 작성에 어려운 면이 많았습니다. 그 이유가 무엇일까 스스로 피드백을 해보니 머릿속에서 생각이 잘 정리되지 않아서 였습니다. 아무래도... 글또 2주 기한의 시작일 때에부터 무슨 글을 쓸지 고민하고 계속해서 고민했어야 했는데, 마감 3일전부터 고민을 하니 글이 잘 써질리가 없겠죠.... 그래서 이번 분기에는 작성해야할 글 내용들에 대해 .. 공감수 0 댓글수 0 2020. 11. 15.
GPT-3 paper를 읽고 써보는 간략한 리뷰 혹은 설명, Language Models are Few-Shot Learners 이번에 OpenAI에서 발표한 Language Models are Few-Shot Learners, 통칭 GPT-3 Paper를 읽어보았다. 논문이 상당히 길어서 읽기 힘들까 걱정되었지만, 기술적인 내용보다는 모델에 대한 insight에 대해 많이 다루는 편이어서 쉽게 읽혔다. 거대한 모델을 다루는 것에 대한 insight를 얻고 싶었지만, 그에 대한 내용은 상대적으로 적어서 아쉬웠었다. 이번 포스팅은 논문에 대한 재정리라기보단 논문 내용 요약이라고 보는 것이 타당할 것 같다. 1. Introduction Fine tuning 기반의 방법들은 다음과 같은 단점이 있다. 1. 매번 새로운 task를 풀때마다 많은 레이블 데이터가 필요하다. 2. Fine tuning 기반의 방법들은 사전학습 중에는 다량의 .. 공감수 7 댓글수 0 2020. 9. 6.
추천 시스템(Recommendation System) - 협업 필터링 (Collaborative filtering) 설명 (1) 이번 포스팅에서는 추천 시스템의 기본이 되는 Collaborative filtering에 대해 기존에 작성했던 코드를 기반으로 다뤄보려고 합니다. Collaborative filtering은 축적해놓은 데이터 (memory)를 이용하기 때문에 memory based method의 한 종류로 분류됩니다. Collaborative filtering의 간단한 Pipeline은 아래와 같습니다. 과거 사용자의 평가를 훈련데이터로 사용합니다. 훈련 데이터의 결측값을 메꾸고, 적절한 행렬로 바꿔줍니다. 쿼리(신규 사용자)에 대해 훈련데이터와 Knn 알고리즘을 이용, 쿼리와 비슷하다고 판단되는 사용자 그룹을 추출합니다. 추출된 사용자 그룹들의 값(Knn 결과물)을 토대로 점수를 예측합니다. 협업 필터링(Collabo.. 공감수 3 댓글수 0 2020. 7. 19.
인공지능 온라인 경진대회 (음성인식) 입상 후기 이번에 6월 17일부터 6월 30일까지 진행했던 인공지능 온라인 경진대회에 참여했었습니다. 최종 검증 과정을 거쳐, 어린이 음성인식 1등, 잡음 상황의 음성인식 2등으로 바뀌었습니다. 덩달아 종합 순위도 기존 24위에서 전체 7위로 바뀌었습니다. 등수가 올라서 기분은 좋지만, 1등만을 목표로 했던 대회여서 여전히 아쉽습니다. 결과적으로는 총 400팀 중에서 24위를 하였고, 1억 6천만 원의 사업화 지원 대상에는 포함되었습니다. 음성인식에서는 어린이 음성인식 3등, 잡음 상황의 음성인식에서는 2등을 하였습니다. 사업화 대상에 들어서 다행일수도 있고, 아닐 수도 있지만 개인적으로는 아쉬운 점이 있어서 회고하고, 스스로 새겨두고자 글을 쓰게 되었습니다. TMI 총 3개의 태스크에서 했어야 하는데 음성인식은 .. 공감수 4 댓글수 0 2020. 7. 5.
Learning rate Scheduler 설명 딥러닝, 머신러닝을 사용할 때에 Model이나 Optimizer에는 많은 신경을 쓰지만 Lr Scheduler에는 많은 신경을 쓰지 않는 경우가 많습니다. (제가 그랬습니다...ㅠㅠ) 실제 학습을 할 때에 어떤 Lr Scheduler를 고르느냐, Lr Scheduler의 Hyperparameter로 어떤 값을 고르느냐에 따라 학습 결과에는 큰 차이가 존재합니다. Lr Scheduler는 미리 학습 일정을 정해두고, 그 일정에 따라 학습률을 조정하는 방법입니다. 일반적으로는 warmup이라는 파라미터를 정하고 현재 step이 warmup보다 낮을 경우는 learning rate를 linear하게 증가 시키고, warmup 후에는 각 Lr Scheduler에서 정한 방법대로 learning rate를 upd.. 공감수 2 댓글수 0 2020. 6. 21.
Tensorflow 2.0 Tutorial - Text Classification 설명 Intro 포스팅을 시작하기에 앞서 시퀀스와 텍스트의 관계에 대해 이야기하고 시작해보려 합니다. 시퀀스(Sequence)의 뜻은 롱맨 영어사전에 따르면 다음과 같습니다. "the order that something happens or exists in, or the order it is supposed to happen or exist in" 해석하자면 "어떤 것이 일어나거나 존재하는 순서 혹은 그것이 일어나거나 존재하게 되어 있는 순서."입니다. 간략하게 말하자면 순서입니다. 순서를 가지고 분석해야할 일상의 문제들은 어떤 것들이 있을까요? 주식, 날씨, 등이 있을 것입니다. 또한 주식, 날씨와 같이 순차적으로 일어나는 것들은 "이전의 상태가 현재 상태에 영향을 주는 경우"라고도 이해할 수 있을 것입니.. 공감수 0 댓글수 0 2020. 4. 12.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.