AI4NLP

유튜버 라이너 님은 게임 채널을 하던 시절부터 즐겨보던 유튜버였다. 그러다가 부캐처럼 만든 영화 리뷰 채널이 많은 사람들의 주목을 받으며 지금은 부캐가 본캐를 넘어 더 유명해져버렸다. 그런 이유로 현재는 영화 유튜버로서 더 유명하다. (어둠땅에 대한 이야기도 게임 채널에서 보고 싶은데...ㅎㅎ) 그런 라이너님이 책을 냈다고 해서 예스에서 구입해서 읽어보게 되었다. 철학은 초중고 시절 무지막지하게 팽창하던 나의 자아를 잡아주고 묶어주는 버팀목이 되어주는 지식이자 학문이었고, 인공지능을 공부하고 있는 현재로서는 더더욱 멀리할 수 없는 것이 되어버렸다. 내가 이해한 바로는 철학과 영화에는 공통점과 차이점이 있다. 공통점이라면 둘 다 인간에 대한 이해를 그 기반으로 한다는 것이다. 차이점이라면 철학은 인간에 대..

사실 구직활동의 시작은 2019년 12월 뉴립스부터였다. 몇몇 회사들은 면접을 진행중이었고, 몇몇 제안도 받았지만.. 배우면서 일할 수 있는 환경이 구성되지 않은 회사가 대다수였어서 그대로 귀국하기로 마음 먹었었다. 그렇게 2020년 2월말 카네기멜론대학교에서의 6개월간의 수업을 마치고, 귀국하면서 여러 상황적인 요인들과 회사에서 일하는 것이 궁금했어서 다시 구직 활동을 시작했었다. 일을 배워가면서 하고 싶단 욕심, AI 업무의 시작과 끝을 경험해보고 싶단 생각, 지금까지 공부해왔던 것들을 점검해보고 싶단 생각이 강했어서, 대기업, 중견기업에는 아예 이력서도 넣지 않고 스타트업에서 일하려고 했었다. 내가 한가지 특이했던 점은.. 원래 공부하던 분야는 자연어처리였지만, "학습 속도가 빠른 사람이 되자"라는..

한빛미디어의 제공으로 "실전 보고서 작성 기술"이라는 책을 받아보게 되었다. (감사해요 한빛미디어!) 우선 이 책을 읽었을 떄에 들은 생각은 "아쉽다!" 였다. 책 내용이 "아쉽다"는 뜻은 절대 아니고, 이 책을 미리 만났더라면 얼마나 좋았을까 하는 "아쉬움"이었다. 저는 대학원생이자, 스타트업에서 일하는 사람인데, 업무 특성상 사업 계획서를 작성할 일이 많다. 또한, 가끔씩 사업 계획서를 보고 평가할 일도 생기곤 하는데 다른 사람의 서류를 볼 때마다 드는 아쉬움, 감탄등이 있었다. 국가 연구 지원을 위한 사업 계획서를 작성할 때마다, 남들이 쓴 사업 계획서를 작성할 때마다 "좋은 보고서란 무엇일까?"에 대해 생각하는 일이 잦았다. "좋은 보고서란 이것이다!" 라고 확답을 내리지는 못하고 있었는데, 이 ..

이번에 IEEE ICASSP 2021에 제출하였던 논문이 accept되어서 논문에 대한 포스팅을 올리게 되었다. 돌이켜보면 2020년, 팀장님과 둘이서 딥러닝 연구 개발을 하면서 힘든 일이 많았는데, 개발에 대한 부분들은 대회 입상(이전 포스트 참고 (1), (2) ), 연구에 대한 부분들은 이번 논문으로 어느정도 해소된 것 같아 기쁘다. 우선 논문을 소개하기에 앞서 Voice Activity Detection 통칭 VAD라고 하는 task에 대해 짚고 가야할 필요가 있다. VAD란 Voice Activity Detection의 약자로서 오디오 파일 내에서 음성이 있는 영역을 찾아주는 task이다. 음성인식의 예를 들어보자면, 음성인식은 상대적으로 짧으면서, 노이즈가 적은 오디오 파일에 대해서 학습하게 ..

언젠가는 인공지능 공부를 시작하면서부터 지금까지의 과정을 돌이켜보고 복기해보자고 생각은 하고 있었는데, 맘 먹은만큼 쉽지 않았다. 아마 공부를 시작하면서부터 너무 바쁘게, 정신없이 달려온 것이 그 이유가 아닐까 생각한다. 그래서 미루고 미뤄두고 있었는데, 참여하고 있는 프로젝트 팀 헤파이스토스에서 2020년 회고 모임을 가졌고, 그 모임에서 이야기하다 보니 생각이 어느정도 정리가 되어서 회고 글을 쓰게 되었다. 2018년 나는 사범대, 수학교육과를 졸업했다. 학부에 다니는 동안 좋은 선생님이 되기 위해 여러방면으로 많은 노력을 하였다. 4학년 1학기 교생 실습 중에 선생님이라는 직업에 대해 다시금 생각해보게 되었다. 선생님이라는 직업은 분명 보람있고 가치있는 직업이다. 하지만, 학생들과 부대끼는 시간보다..

대회 및 task 설명 이번에 회사에서 팀장님과 함께 인공지능 그랜드 챌린지에 참여하였다. 회사 소속으로 참여한 2번째 대회이다 (첫번째로 참여한 대회 후기는 이 링크를 클릭! ). 인공지능 그랜드 챌린지는 1단계 2019년, 2단계 2020년, 3단계 2021년, 4단계 2022년 순으로 진행되는 대회이며, 우리가 참여한 대회는 2단계 4차 대회 트랙 2, 음성인지 였다. 4차 트랙2 음성인지는 폭력상황의 대화를 인지하여 어떤 폭력의 종류인지 분류하는 대회였다. 간단히 설명하자면, 대화가 입력으로 들어와서 그 대화의 class를 분류하는 것(일반 대화 label 포함)이었다. 여러 우여곡절이 있었지만, 결과적으로는 1위로 입상하였고, 후속 연구 지원금으로 7억 6천만원 정도를 지원받게 되었다. 데이터 ..

Cosine annealing은 "SGDR: Stochastic Gradient Descent with Warm Restarts"에서 제안되었던 학습율 스케쥴러로서, 학습율의 최대값과 최소값을 정해서 그 범위의 학습율을 코싸인 함수를 이용하여 스케쥴링하는 방법이다. Cosine anneaing의 이점은 최대값과 최소값 사이에서 코싸인 함수를 이용하여 급격히 증가시켰다가 급격히 감소시키 때문에 모델의 매니폴드 공간의 안장(saddle point)를 빠르게 벗어날 수 있으며([그림 1] 참조), 학습 중간에 생기는 정체 구간들 또한 빠르게 벗어날 수 있도록 한다. 결과적으로 이러한 방법이 모델의 일반화 성능을 극대화시켜준다. 논문의 실험 결과에 따르면 Cosine annealing을 이용하여 학습한 wide..

설명회를 듣고 기억을 더듬어가면서 작성한 글이라서, 혹시라도 설명회 내용 혹은 답변과 다른 부분이 있다면 꼭 지적 부탁드립니다. 이번에 인공지능 교육 관련하여 네이버 커넥트재단과 업스테이지가 주최하는 부스트 캠프 AI Tech 온라인 설명회를 들었다. 설명회는 1시간 정도 진행되었고, 설명회에서 중요하다고 생각하는 혹은 기억에 남는 것들을 정리해보면 다음과 같다. 1. 부스트캠프의 목적 혹은 비전은 지속가능한 개발자 양성이라고 한다. 지속가능한 개발자란 언어나 라이브러리, 프레임워크이 바뀌더라도 그에 제약받지 않고 스스로 성장해가는 개발자 로 이해했었다. 2. AI Tech 코스는 그러한 부스트캠프의 목적하에서 진행되는 코스로 보여진다. 3. 초반은 부스트캠프 프로그램에 대한 소개로 이어졌다. 여러가지 ..