학술 논문

블로그 만드는데 테스트 하기 위해 잠 깐 만든 글입니다. ㅇㄴㅁㄹ`aaaaaaaaaaaaaaaaaaaa"bbbbbbbbbbbbbbbbbbb'cccccccccccccasdfasdfasdfasdfasdf프로젝트를 위해 유용한 라이브러리나 도구들을 서칭하던 도중 발견한 아주 귀한 녀석이다.이번엔 이녀석에게 빨아먹을수 있는 기능들을 최대한 단시간 내에 빨아먹어보도록 하겠다.ESP netESPnet: end-to-end speech processing toolkitend-to-end 발화 관련된 처리 모델을 같은 규격으로 모아놓은 툴킷이다. 이 레파지토리만 따로 리뷰를 하는 이유는 여기 하고자하는게 거의 다들어가있기 때문이다.  GitHub - espnet/espnet: End-to-End Speech Proce..

작성중입니다. Abstract 언어 모델을 이용하여 Agent를 설정된 집단과 환경에서 인간과 유사하게 행동할 수 있도록 하는 simulation을 구현한 연구에 대한 논문이다. Agent는 큰 언어모델(chatgpt)에 Agent의 경험을 기억할 수 있고, 그 기억을 높은 수준으로 반영하여 반응을 생성하며, 그 데이터들을 동적으로 행동을 계획하기 위해 불러올 수 있다. Keywords Human-AI Interaction Agents Generative AI Large language models Introduction 인공 사회를 만드는데는 “The Sims”(게임)에서 영감을 받아서 가상 환경을 설계했다. 환경에 던져진 Agent들은 과거의 경험과 괴리가 없도록 일관적으로 행동했고, 어떻게 어려운 ..

날렵한 곰의 논문 리뷰 시리즈입니다. * 논문 읽는 연습을 하는 단계에서 쓴 글입니다. ※ 후기 (22.05.31) 다읽고 이해도 어느정도 했습니다. 짜투리 시간 쪼개서 종이에 꾸깃꾸깃 정리도 다 해놨었는데. 훈련다녀오니 파쇄 되어있었습니다.. 해당 논문은 실제 운용중인 서비스에 대하여 다룸으로 거대한 아키텍처 구조에 대한 개괄적인 설명과, 중요한 모듈에 대하여 상세한 구조와 수식을 제공하기도 합니다. 좋은 아이디어와 영감을 얻을 수는 있었지만, 방대한 데이터를 기반으로 만든 아키텍처임으로 쉽사리 흉내내볼 엄두가 안나는 구현 내용이였습니다. 언제 이 리뷰글을 이어서 쓸지는 모르겠지만 상당히 도움이 되었다라고 할 수 있을 것 같습니다. - 논문 링크 : https://arxiv.org/abs/1812.08..

날렵한 곰의 차근차근 구현하는 시리즈 입니다. * 구현 연습을 하는 단계에서 쓴 글입니다. 대충 무슨내용인지는 아는데 구현은 직접하고 싶고 할라니까 아리까리하고 할 때 보면 좋다! 논문과 세부적인 구현 내용은 다를 수 있다. 해당 포스팅은 seq2seq와 attention mechanism의 연결을 최대한 쉽게 이해할 수 있도록 만드는데 목적을 둔다. 포스팅 하단의 구현 코드를 같이 보면서 읽으면 더 이해하기 좋다. 이론 Reference Sequence to Sequence Learning with Neural Networks : https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural Networks Deep Neural Ne..

날렵한 곰의 논문 리뷰 시리즈 입니다. * 논문 읽는 연습을 하는 단계에서 쓴 글입니다. * 참고할만한 한글리뷰가 없이 작성해서 조금 미숙합니다. * 자연스러운 번역을 위해 다듬은 표현이 있습니다. - 논문 링크 : https://arxiv.org/abs/1907.05774 Hello, It's GPT-2 -- How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems Data scarcity is a long-standing and crucial challenge that hinders quick development of task-oriented dialogue systems ac..

날렵한 곰의 논문 리뷰 시리즈 입니다. * 논문 읽는 연습을 하는 단계에서 쓴 글입니다. - 논문 링크 : https://arxiv.org/abs/1512.03385 Deep Residual Learning for Image Recognition Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions with arx..