전체 글 (45) 썸네일형 리스트형 [한국어 오픈도메인 챗봇] 1. 기초 지식 공부 해당 포스팅에서는 가볍게 챗봇을 만들기 위한 기초 지식 공부와 간단한 채팅 모델에 API서버를 연동한 웹사이트를 보이려고 한다. 조금더 진척이 되고 올리려고 했으나, 입대까지 얼마 남지 않아 급한마음에 그냥 올리게 되었다. 챗봇 개발을 위한 기본 지식 공부 1. Transformer의 기반이 되는 Attention seq2seq + attention을 논문과 함께 간단하게 구현해 봤다. attention의 개념 정도는 확실히 잡고 가는 게 맞다고 생각했다. [Pytorch] 차근차근 구현하는 seq2seq + attention mechanism 날렵한 곰의 차근차근 구현하는 시리즈 입니다. * 구현 연습을 하는 단계에서 쓴 글입니다. 대충 무슨내용인지는 아는데 구현은 직접하고 싶고 할라니까 아리까리하고 .. [Pytorch] 차근차근 구현하는 seq2seq + attention mechanism 날렵한 곰의 차근차근 구현하는 시리즈 입니다. * 구현 연습을 하는 단계에서 쓴 글입니다. 대충 무슨내용인지는 아는데 구현은 직접하고 싶고 할라니까 아리까리하고 할 때 보면 좋다! 논문과 세부적인 구현 내용은 다를 수 있다. 해당 포스팅은 seq2seq와 attention mechanism의 연결을 최대한 쉽게 이해할 수 있도록 만드는데 목적을 둔다. 포스팅 하단의 구현 코드를 같이 보면서 읽으면 더 이해하기 좋다. 이론 Reference Sequence to Sequence Learning with Neural Networks : https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural Networks Deep Neural Ne.. [한국어 오픈도메인 챗봇] 0. 사람같은 챗봇 만들기 + 2022.06.04 추가함 2016년 친구를 대신하여 대화상대가 되어 줄 수 있는 대화 봇을 만들 수 없을까 생각하며, 데이터베이스, 음성 생성 엔진 기반 대화봇을 만들었었다. 2019년 진짜 사람처럼 SNS를 관리하고 이용하는 인공지능을 만들어 보고자 생각했었다. 실제로 페이스북 같은 인스타그램 계정을 운영하면서 캐릭터 컨셉에 맞는 게시물을 올리고 채팅을 칠 수 있다면 분명 재밌을 것 이라고 생각했다. 2020년 AI분야로는 많이 부족한 나에겐 일단 AI를 SNS에 올릴 수 있는 플랫폼 코드를 구현하며 SNS관련 API를 숙달했다. 2021년 20년도 초 부터 운영해 오던 인공지능 동아리에서 조금이나마 AI에 대한 지식을 쌓았고, 무작정 챗봇 개발에 돌입했다. 그렇게 공부도중 9월 대한민국 육군 특.. [Pytorch] colab memory CUDA out of memory. Tried to allocate 24.00 MiB (GPU 0; 7.43 GiB total capacity; ...... 일단 GPU메모리가 바닥나서 나는 오류이다. Colab쓸때 가끔 보는오류 나는 이유도 여러가지 있고 해결방법도 여러가지 있다. 일단 기본적인 원인을 꼽자면 정말로 GPU메모리가 부족할정도로 큰 데이터가 들어왔다는것이다. 전체 데이터를 모두 CUDA로 만들고 학습을 돌렸을때 -> CPU상태의 데이터를 batch로 받아 연산시에만 CUDA로 바꾸어 쓴다. CUDA가 생각보다 용량이 작고 당장 계산하지 않을 데이터를 CUDA에 넣어놓는것은 비효율적,.. 약간 뻔한 이유 (1)번을 수행했음에도 메모리가 부족한 경우가 있는데 그것은 한 batch에서 너무 많은 데이터를 사용하기 때문이다. batch size를 줄여주자. cuda 캐시를 비워주는 아래 명령을 이용해보자. 왠만하면 요쯤에서 해결된다. # cuda d.. [논문 리뷰] Hello, It’s GPT-2 - How Can I Help You? Towards the Use of Pretrained Language Modelsfor Task-Oriented Dialogue Systems 날렵한 곰의 논문 리뷰 시리즈 입니다. * 논문 읽는 연습을 하는 단계에서 쓴 글입니다. * 참고할만한 한글리뷰가 없이 작성해서 조금 미숙합니다. * 자연스러운 번역을 위해 다듬은 표현이 있습니다. - 논문 링크 : https://arxiv.org/abs/1907.05774 Hello, It's GPT-2 -- How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems Data scarcity is a long-standing and crucial challenge that hinders quick development of task-oriented dialogue systems ac.. [유전 알고리즘] 밥 잘먹는 박테리아 배양 시뮬레이터 분석편 진행중인 프로젝트입니다. 작성중인 게시물입니다. 밥을 잘 먹는 유전자를 가진 박테리아를 육성하는 시뮬레이터를 만들 것이다. 이 시뮬레이터는 유전 알고리즘을 기반으로 만들어진다. 실제로 박테리아는 유성생식을 하진 않지만, 유전물질을 교환하여 접합, 교차, 변이를 수행하기도 한다. lunaB/Genetic-Algorithm-Simulation genetic algorithem simulator with HTML5 Canvas and Typescript - lunaB/Genetic-Algorithm-Simulation github.com 요약 시각적으로나 알고리즘 적으로나 많이 개선해보려고 시도한 내용이다... [유전 알고리즘] 밥 잘먹는 박테리아 배양 시뮬레이터 개발편 진행중인 프로젝트입니다. 밥을 잘 먹는 유전자를 가진 박테리아를 육성하는 시뮬레이터를 만들 것이다. 이 시뮬레이터는 유전 알고리즘을 기반으로 만들어진다. 실제로 박테리아는 유성생식을 하진 않지만, 유전물질을 교환하여 접합, 교차, 변이를 수행하기도 한다. lunaB/Genetic-Algorithm-Simulation genetic algorithem simulator with HTML5 Canvas and Typescript - lunaB/Genetic-Algorithm-Simulation github.com 개발 스펙 HTML5, CSS3, Javascript Webpack, Typescript 요약.. [유전 알고리즘] 밥 잘먹는 박테리아 배양 시뮬레이터 설계편 진행중인 프로젝트입니다. 밥을 잘 먹는 유전자를 가진 박테리아를 육성하는 시뮬레이터를 만들 것이다. 이 시뮬레이터는 유전 알고리즘을 기반으로 만들어진다. 실제로 박테리아는 유성생식을 하진 않지만, 유전물질을 교환하여 접합, 교차, 변이를 수행하기도 한다. lunaB/Genetic-Algorithm-Simulation genetic algorithem simulator with HTML5 Canvas and Typescript - lunaB/Genetic-Algorithm-Simulation github.com 간단 이론 유전 유전에 대하여 알아보자. 아니 사실 알필요도 없다. 유전학 하나로 책이 수천 .. 이전 1 2 3 4 5 6 다음
