| 날렵한 곰의 논문 리뷰 시리즈 입니다. * 논문 읽는 연습을 하는 단계에서 쓴 글입니다. * 참고할만한 한글리뷰가 없이 작성해서 조금 미숙합니다. * 자연스러운 번역을 위해 다듬은 표현이 있습니다. |
- 논문 링크 : https://arxiv.org/abs/1907.05774
Hello, It's GPT-2 -- How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems
Data scarcity is a long-standing and crucial challenge that hinders quick development of task-oriented dialogue systems across multiple domains: task-oriented dialogue models are expected to learn grammar, syntax, dialogue reasoning, decision making, and l
arxiv.org
해당 논문을 원활히 읽기 위해서는 아래의 논문에 대하여 어느 정도 이해가 있다면 편하게 읽을 수 있다.
seq2seq, Transformer, GPT2, TransferTransfo
Abstract
문제점
데이터 부족은 여러 영역에서 task-oriented dialogue system의 빠른 개발을 오랜 시간 방해하는 장기적이고 중대한 과제이다.
* task-oriented dialogue system - 작업(업무) 지향적 대화형 시스템
작업 지향적 대화형 모델 학습을 위한 문법, 구문, 대화 추론, 의사 결정, 언어 생성 작업들을 터무니없이 적은 데이터로 학습할 것으로 예상된다.
목적
해당 논문에서 최근 진행된 언어 모델링 사전 학습과 전이 학습이 이 문제를 해결할 가능성을 보여주려고 한다.
해당 논문은 텍스트 입력만으로 작동하는 작업 지향적 대화형 모델을 제안한다. 이는 명시적 정책(모델 학습을 위한 것들)들과 언어 생성 모듈을 효과적으로 우회한다.
결과
TransferTransfo 프레임워크(Wolf et al., 2019)와 생성 모델 사전 학습(Radford et al., 2019)을 기반으로 ImageNet데이터 세트에서 MultiWOZ의 복잡한 다중 도메인 작업 지향 대화에 대한 접근법을 검증한다.
* MultiWOZ: Wizards of Oz(WOZ)란 크라우드 소싱 환경에서 두 명의 임의의 참여자가 “사용자”와 “에이전트”의 역할을 나누어 대화를 나누며 데이터를 생성하는 형태를 의미한다. MultiWOZ는 호텔, 택시, 레스토랑, 기차 등을 포함하는 7개 영역에서의 예약과 관련된 약 1만여 개의 대화 세션들로 구성된 데이터이다.
MultiWOZ dataset : https://github.com/budzianowski/multiwoz
우리의 *자동 평가와 인간 평가는 제안된 모델이 강력한 작업별 neural baseline과 동등하다는 것을 보여준다. 장기적으로, 우리의 접근 방식은 데이터 부족 문제를 완화할 수 있고 작업 지향형 대화 에이전트 구성을 서포트할 가능성이 있다.
Summery
| 요약보다는 공부하는 느낌으로 읽었다. 너무 쉬워서 패스하는 구문 없이 번역하는 느낌으로 꼼꼼히 정리했다. |
1. Introduction
통계적 회화 체계는 2개의 메인 카테고리로 얼추 분류할 수 있다.
- 작업 지향적 모듈식 시스템
- 오픈 도메인 chit-chat 뉴럴 모델
* chit-chat : 잡담, 수다
전자는 일반적으로 언어 이해, 대화 관리 및 응답 생성과 같은 독립적으로 훈련된 구성 모듈로 구성된다.
이러한 시스템의 주된 목표는 제한적인 도메인과 작업에서 실질적인 가치가 있는 대화 에이전트를 구축함에 있어서 의미 있는 시스템 응답을 제공하는 것이다.
하지만 이러한 시스템을 위한 데이터 수집과 주석은 복잡하다. 시간적으로, 비용적으로 봤을 때 말이다.
그리고 (데이터를) 양도받기 쉽지 않다.
반면 후자인 오픈 도메인 회화 봇은 자유롭게 이용할 수 있는 주석 처리되지 않은 대량의 데이터들을 활용할 수 있다.
많은 말뭉치들(corpora)은 일반적으로 sequence-to-sequence 아키텍처를 사용하여 end-to-end 뉴럴 모델로 학습할 수 있다.
이것은 고도로 데이터 중심적이지만 이러한 시스템은 신뢰성이 낮고 의미 없는 대답을 만들어내기 쉬움으로 실제 회화 애플리케이션의 생산을 방해한다.
이렇듯 해결되지 않은 end-to-end 아키텍처의 이슈 때문에 검색 기반(retrieval-based) 모델로 초점이 이동했다.
작업 특화 애플리케이션에서 검색 기반 모델은
대규모 데이터 셋을 활용하여 좋은 영향을 준다는 장점이 잇었으며,
시스템 응답에 대한 모든 제어가 가능하지만, 높은 확률로 예측이 가능하다는 단점이 있었다.
즉 pre-existing set에 의존적이며 일반적으로 멀티 도메인에 서 부적절하다.
* 즉 검색 시스템의 응답은 대규모 데이터를 이용해 학습할 시 모든 상황에 대한 응답 제어가 가능하지만,
학습 데이터에 따라 너무 뻔한 대답이 나올 확률이 높다는 것이다.
하지만 최근 연구된 GPT, GPT2와 같이 대용량 데이터셋과 대용량 언어 모델은 생성 모델이 작업 기반 대화 애플리케이션을 지원할 수 있을 거란 질문을 다시 열어준다.
최근 연구진은 fine-tuning 된 GPT모델이 개인적인 회화 분야에서 유용할 수 있음을 보였다.
이러한 접근법은 Persona Chat dataset에서 상당한 개선을 이끌고, 회화 도메인 이서 대규모 사전 학습된 생성 모델 사용에 대한 가능성을 보였다.
* GPT pre-trained 모델을 사용하여 작업 기반 대화 애플리케이션을 만들 수 있을 것이라는 가능성 언급
위 논문에서는 일반적인 주제에 대한 대규모 말뭉치 데이터를 사전 학습한 대규모 생성 모델이 작업 지향형 대화형 애플리케이션을 지원할 수 있다는 것을 보이려고 한다.
첫째로 워드 토큰화, 다중 작업 학습, 확률적 샘플링과 같은 다양한 구성 요소를 결합하여 작업 지향 애플리케이션을 지원하는 방법에 대해 논의한다. 그런 다음 명시적 대화 관리 모듈과 도메인별 자연어 생성 모듈을 효과적으로 우회하여 텍스트 입력에서 완전히 작동하도록 모델을 조작하며, 제안된 모델은 전적으로 시퀀스 대 시퀀스 방식으로 작동하며 간단한 텍스트만 입력으로 소비한다.
* 대화 관리 모듈과 자연어 생성 모듈의 콘텐츠를 모델의 텍스트 입력으로 작동 가능하도록 우회한다는 말이다.
Belief 상태, 데이터베이스 상태 및 이전 턴을 포함하는 전체 대화 콘텍스트는 디코더에 원시 텍스트로 제공된다.
* belief state : 대화의 진행 정보를 저장하는 상태 정도로 이해하면 된다. figure 1을 보면 쉽게 이해할 수 있다.
제안된 모델은 최근에 제안된 TransferTransfo 프레임워크를 따르고 GPT 계열의 사전 훈련된 모델에 의존한다.
*자동 평가는 우리의 프레임워크가 여전히 강력한 작업별 neural baseline에 약간 못 미친다는 것을 나타내지만, 그것은 또한 우리의 프레임워크의 주요 장점을 암시한다. 그것은 널리 휴대할 수 있고 많은 도메인에 쉽게 적응할 수 있으며 복잡한 모듈식 설계를 적은 성능 비용으로만 우회한다. 또한 사용자 중심 평가는 두 모델 사이에 유의한 차이가 없음을 시사한다.
* 사실상 가장 핵심. 모듈식 설계를 텍스트 형식의 입력으로 우회하는 간소화를 하며 성능이 떨어지지 않았다는 것.
2. From Unsupervised Pretraining to Dialogue Modeling,
2.1. TransferTransfo Framework
Relate work은 간단하게 요약했다.
(2.) 작업 지향 대화 모델링에는 도메인별로 수동으로 라벨링 한 데이터가 필요하다.
그렇기에 대형 코퍼스를 학습시킨 사전학습 데이터에 수동으로 라벨링 한 데이터를 전이 학습으로 적용시킬 수 있는가 라는 의문이 생기고
이에 대한 연구가 여러 논문에서 성과가 있었다.
(2.1.) TransferTransfo Framework가 무엇인지에 대하여 간단하게 설명한다.
3. Domain Transfer for (Task-Oriented) Dialogue Modeling
(작업 중심의) 대화 모델링을 위한 도메인 전송
3.1 Domain Adaptation and Delexicalization
도메인 적응 및 *탈어휘화
* Delexicalization : 다소 번역하기 어려운 부분이다.
오전 3:15 -> <Time>
Mr. Na -> <Name>
NLP에서는 위와 같은 작업을 말할 때 쓰는 용어라고 한다.
탈어휘화 된 단어 out-of-vocabulary(OOV)를 다루는 것은 생성된 출력을 자주 탈어휘화 시켜야 하는 작업 지향 생성에는 더 중요하다. 탈어휘화는 슬롯 값을 해당(일반) 슬롯 토큰으로 대체하고 값 독립 매개 변수를 학습할 수 있도록 합니다. 최근에는 서브워드 레벨 토큰화로 인해 언어 모델이 이제 OOV 및 도메인별 어휘를 보다 효과적으로 처리할 수 있게 되었다.
* Subword Tokenizer
3.2 Simple Text-Only Input
최근 간단한 텍스트 형식으로 NLP 작업을 posing 하면 비지도 아키텍처를 개선할 수 있다는 경험적 검증이 있었다.
예를 들어 작업 지향 대화 모델링에서 Sequicity model은 belief state에 대한 분류를 생성 문제로 본다.
이렇듯 모든 대화 모델의 파이프라인은 sequence-to-sequence 아키텍처를 기반으로 한다, 하나의 모델의 출력은 후속 반복 모델의 입력인 셈이다.
* 멀티턴을 가정하고 belief state가 저장되기 때문
해당 논문은 belief 상태와 지식기반 상태(knowledge base state)를 모두 생성자에게 간단한 텍스트 형식으로 제공하는 접근법을 따른다. 이것은 작업 지향 모델 구축의 패러다임을 단순화시킨다. 모든 새로운 정보의 소스는 간단하게 자연어로 텍스트 입력의 한 부분으로 추가될 수 있다.
3.3 Transferring Language Generation Capabilities
언어 생성 기능 전송
Transformer 아키텍처는 fine-tuning 단계에서 새로운 (즉, 도메인별) 토큰 임베딩을 학습하는 능력을 보여준다.
이는 GPT 모델이 특별한 토큰을 통해 특정 작업에 적응할 수 있다는 것을 의미한다. 입력 표현을 도메인별 토큰과 함께 텍스트로 제공함으로써, 우리는 새로운 대화 하위 모듈을 훈련할 필요 없이 기성(off-the-shelf) 아키텍처를 사용하고 도메인별 입력에 적응할 수 있다.
토큰 레벨 레이어(Figure 2)는 Transformer의 Decoder에게 입력의 어떤 부분이 시스템 측 또는 사용자 측으로부터 오는지 알려준다.
그러면 해당 모델은 fine-tuning 중에 두 개의 작업 지향 특정 토큰(System과 User의 토큰)을 생성한다.
3.4 Generation Quality
생성 퀄리티
마지막으로 오랜 기간 문제 되었던 지루하고 반복적인 응답 생성 문제가 최근 연구의 초점이 되었다.
이는 새로운 샘플링 전략들로 인하여 생성 모델이 더 길고 일관된 시퀀스 출력을 생성할 수 있게 되었다. (해결)
* 언어 생성 모델을 테스트하다 보면 가끔 특정 부분에서 몇 가지의 연관된 단어가 반복되어 이상한 응답이 나오는 경우가 종종 있는데 그것을 말하는 것 같다. ex) <start> 오늘은 밥이 맛있는 것 같다. 음~ 배불러~ 음~ 배불러~ 음~ 배불러~ 음~ 배불러~....
이는 오픈 도메인 대화 모델링에 대하여도 다른 논문에서 검증되었다.
이 논문은 최근 제안된 *nucleus sampling (핵 샘플링) 절차뿐만 아니라 표준 디코딩 전략을 실험한다.
표준 탐욕 샘플링 전략(standard greedy sampling strategy)은 다음 항목을 선택합니다.
* nucleus sampling : Top P sampling이라고도 부른다. Top K sampling의 분포에 상관없이 고정된 k개를 샘플링하여 엉뚱한 단어가 나올 수도 있는 문제를 보완하여 누적 분포를 계산하여 누적 분포 함수가 P값을 초과할 경우 샘플링하여 분포에 따라 유연하게 선택 가능성을 조절하는 샘플링 방법이다.
반면 nucleus sampling은 p 번째 % 에서 나오는 단어로만 제한됨으로 선택된 단어들의 확률은 재조정되고 이 부분 집합에서 시퀀스가 샘플링된다.
해당 논문은 성능을 손상시키지 않고 greedy sampling 대신 nucleus smpling에 의존하면서도 더 다양하고 의미적으로 풍부한 응답을 생성할 수 있는 대규모 pre-trained model의 능력을 조사했다.
4. Fine-Tuning GPT on MultiWOZ
GPT 생성에 대한 Fine tuning의 전이 능력을 평가하기 위해 대화 작업과 도메인을 제약하고 집중해야 했고,
그러기 위해 다중 도메인 MultiWOZ dataset을 이용했다.
MultiWOZ는 7개의 도메인과 10438개의 대화로 구성되어있고 인간과 인간의 상호작용을 통해 모인 대화인 만큼 자연스러운 대화 데이터이다.
하지만 대화 데이터에는 예약 ID나 전화번호 같은 도메인별 어휘를 기반으로 하기에, 이는 데이터베이스에 전적으로 의존적이기에 삭제되어야 한다.
*개인적으로 좋아했던 "이루다"서비스 같은 경우가 이러한 데이터베이스 의존적 데이터를 정제하지 못하여 문제가 있었다.
예를 들면 이름 같은 개인정보 말이다.
Natural Language as (the Only) Input
GPT는 텍스트 입력으로만 작동한다.
이것은 beilef state와 database state가 숫자 형식으로 인코딩 되는 표준 작업 지향 대화 아키텍처와 반대된다.
예를 들면 database state는 일반적으로 현재 상태에서 사용 가능한 엔티티들을 나타내는 n-bin 인코딩으로 정의된다.
따라서 beilef state와 지식 기반 표현을 간단한 텍스트 표현으로 변환한다.
belife state는 다음과 같은 형태이다.
그리고 database 표현은 다음과 같이 제공된다.
본 연구에서는 지식 기반상태를 자연어 형식으로 변환하고 이 두 가지 정보(belief, database)가 전체 대화 맥락을 형성하게 한다.
대화에 참여하는 두 당사자를 위해 새로운 토큰 임베딩을 추가하여 관심 계층에게 컨텍스트의 일부가 사용자로부터 오고 시스템과 관련된 부분이 무엇인지 알려준다.
*figure 2를 보면 굳이 글을 읽지 않아도 직관적인 이해가 가능하다.
Training Details
fine-tuning 가능한 checkpoint를 제공하는 GPT와 GPT-2 아키텍처의 오픈소스를 사용했다.
해당 연구에서 language model loss에 대한 가중치를 응답에 대한 prediction 가중치보다 2배 높게 설정했다.
파라미터 설정은 아래와 같으며 *grid search를 기반으로 선택되었다.
- batch size : 24
- learning rate : 1e-5
- candidates per sequence : 2
* grid search : 파라미터 선택 방법론 중 하나입니다. 특정 범위 값을 grid로 나누어 모든 경우에서의 성능을 확인하여 선택하는 방법
5. Results and Analysis
해당 연구의 평가 과제는 dialogue-context-to-text 작업이다.
주요 평가는 두개의 모델 사이의 비교를 기반으로 한다.
- 베이스 라인은 oracle belief state를 가진 뉴럴 응답 생성 모델
- (4.)에서 제안되고 figure 2에서 제시한 모델
해당 연구는 pretrained GPT model, original GPT model을 테스트하며 2개의 GPT2 모델인 small (GPT2), medium GPT2-M)를 참조했다.
5.1. Evaluation with Automatic Measures
3가지 표준 자동평가 방법으로 점수를 냈다.
1. 시스템이 적절한 엔티티(정보)를 제공했는가
2. 요청된 모든 속성에 응답했는지 성공률
3. 유창성 (BLEU 점수로 측정)
*BLEU Score 기계의 응답과 사람의 응답의 유사도를 비교하는 방법이다.
첫 번째는 MultiWOZ에서 세 가지 버전의 GPT를 미세 조정하고 greedy sampling을 사용하여 평가했다.
결과는 Table 1에 요약되어있다.
이것은 Baseline이 Task(Inform, Success) 관련에서는 높은 점수를 받았지만
BLEU(유창성)은 GPT2-M에서 가장 높은 점수를 기록했다.
GPT기반 방법의 성능은 낮았지만 해당 논문의 실험은 모델 설계의 단순성에 주목한다.
따라서 표 2의 nucleus sampling 방법으로도 결과를 보고한다.
위 결과를 보면 점수를 통해 올바른 샘플링 방법을 선택하는 게 중요하다는 것을 확인할 수 있다.
GPT2모델은 Inform과 Success 점수를 향상시킨다.
이때 모든 모델에서 BLUE 점수가 일관되게 하락하는데 nucleus sampling를 사용하면 결과의 가변성이 증가하기 때문이다.
또한 이는 도메인별 토큰을 생성할 확률을 감소시킬 수 있다.
*즉 전체적으로 점수가 낮아지긴 한다는 것이다.
5.2. Human Evaluation
영어를 모국어로 사용하는 *사람들은 Baseline, GPT, GPT2-M 및 대화에서 one-turn응답을 제시하면 이진 선호도를 평가하도록 요청받았다.
사람들은 서로 다른 모델이 생성한 2개의 응답을 받아서 어떤 응답을 선호하는지 선택했다.
*해당 논문에서는 평가자들을 Turker라고 칭한다.
결과는 Table 3에 요약되어있다.
GPT에서 생성된 출력이 baseline보다 강하게 선호되었고, GPT2 모델에서는 그 반대였다.
이렇게 결론을 낼 수 없는 결과는 이후 연구에서 추가 분석을 요구하고 baseline과 GPT기반 모델을 비교할 때 품질에 상당한 차이가 없음을 보여준다.
6. Conclusion
본 논문에서는 작업 지향 대화를 모델링하기 위해 pretrained 생성 모델을 이용했다.
필요한 정보를 텍스트로 인코딩할 수 있는 fine-tuning절차의 단순성은 제한된 도메인과 도메인별 어휘에 빠르게 적응 가능하다.
