[2022-11-11] 오늘의 자연어처리

miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings

 

This paper presents miCSE, a mutual information-based Contrastive learning framework that significantly advances the state-of-the-art in few-shot sentence embedding. The proposed approach imposes alignment between the attention pattern of different views during contrastive learning. Learning sentence embeddings with miCSE entails enforcing the syntactic consistency across augmented views for every single sentence, making contrastive self-supervised learning more sample efficient. As a result, the proposed approach shows strong performance in the few-shot learning domain. While it achieves superior results compared to state-of-the-art methods on multiple benchmarks in few-shot learning, it is comparable in the full-shot scenario. The proposed approach is conceptually simple, easy to implement and optimize, yet empirically powerful. This study opens up avenues for efficient self-supervised learning methods that are more robust than current contrastive methods for sentence embedding.

 

이 논문은 상호 정보 기반 대조 학습인 miCSE를 제시한다. 퓨샷 문장의 최첨단 기술을 크게 발전시키는 틀 박아넣기 제안된 접근 방식은 주의 사이에 정렬을 부과한다. 대조적인 학습 동안 다른 관점의 패턴. 학습문장 miCSE를 사용한 임베딩은 통사적 일관성을 강화하는 것을 수반한다. 모든 문장에 대한 증강된 보기, 대조적인 자체 감독 만들기 보다 효율적인 샘플 학습. 결과적으로, 제안된 접근 방식은 강력함을 보여준다. 퓨샷 학습 영역에서의 성능. 우수한 성과를 거두는 동시에 퓨샷에서 여러 벤치마크의 최첨단 방법과 비교 학습, 그것은 풀샷 시나리오에서 비교할 수 있다. 제안된 접근법은 다음과 같다. 개념적으로 단순하고 구현 및 최적화하기 쉬우면서도 경험적으로 강력합니다. 이 연구는 효율적인 자기 지도 학습 방법을 위한 길을 열어준다. 문장 임베딩을 위한 현재의 대조적인 방법보다 더 강력하다. 

 

 

Distribution-based Emotion Recognition in Conversation

 

Automatic emotion recognition in conversation (ERC) is crucial for emotion-aware conversational artificial intelligence. This paper proposes a distribution-based framework that formulates ERC as a sequence-to-sequence problem for emotion distribution estimation. The inherent ambiguity of emotions and the subjectivity of human perception lead to disagreements in emotion labels, which is handled naturally in our framework from the perspective of uncertainty estimation in emotion distributions. A Bayesian training loss is introduced to improve the uncertainty estimation by conditioning each emotional state on an utterance-specific Dirichlet prior distribution. Experimental results on the IEMOCAP dataset show that ERC outperformed the single-utterance-based system, and the proposed distribution-based ERC methods have not only better classification accuracy, but also show improved uncertainty estimation.

 

대화의 자동 감정 인식(ERC)은 다음과 같은 경우에 중요하다. 감정 인식 대화식 인공지능 이 논문은 다음을 제안한다. ERC를 시퀀스 투 시퀀스로 공식화하는 배포 기반 프레임워크 감정 분포 추정에 대한 문제. 감정의 본질적인 모호성 그리고 인간 인식의 주관성은 감정의 불일치로 이어진다. 라벨은 우리의 프레임워크에서 자연스럽게 처리된다. 감정 분포의 불확실성 추정 베이지안 훈련 손실은 각각의 감정을 조절함으로써 불확실성 추정을 개선하기 위해 도입되었다. 발성별 디리클레 사전 분포에 대한 상태. 실험 IEMOCAP 데이터 세트에 대한 결과는 ERC가 다음을 능가한다는 것을 보여준다. 단일 발성 기반 시스템 및 제안된 분배 기반 ERC 방법 분류 정확도가 더 높을 뿐만 아니라 향상된 것을 보여준다. 불확실성 추정 

 

 

What is Wrong with Language Models that Can Not Tell a Story?

 

This paper argues that a deeper understanding of narrative and the successful generation of longer subjectively interesting texts is a vital bottleneck that hinders the progress in modern Natural Language Processing (NLP) and may even be in the whole field of Artificial Intelligence. We demonstrate that there are no adequate datasets, evaluation methods, and even operational concepts that could be used to start working on narrative processing.

 

이 논문은 서술에 대한 더 깊은 이해와 성공적인 것에 대해 주장한다. 주관적으로 더 길고 흥미로운 텍스트의 생성은 중요한 병목 현상이다. 현대 자연어 처리(NLP)의 발전을 방해하고 심지어는 인공지능의 전 분야에 종사하고 있다 우리는 그것이 있다는 것을 증명한다. 적절한 데이터 세트, 평가 방법 및 운영 개념조차 없습니다. 내러티브 처리를 시작하는 데 사용될 수 있습니다.