[2022-11-11] 오늘의 자연어처리

Novel Chapter Abstractive Summarization using Spinal Tree Aware Sub-Sentential Content Selection

 

Summarizing novel chapters is a difficult task due to the input length and the fact that sentences that appear in the desired summaries draw content from multiple places throughout the chapter. We present a pipelined extractive-abstractive approach where the extractive step filters the content that is passed to the abstractive component. Extremely lengthy input also results in a highly skewed dataset towards negative instances for extractive summarization; we thus adopt a margin ranking loss for extraction to encourage separation between positive and negative examples. Our extraction component operates at the constituent level; our approach to this problem enriches the text with spinal tree information which provides syntactic context (in the form of constituents) to the extraction model. We show an improvement of 3.71 Rouge-1 points over best results reported in prior work on an existing novel chapter dataset.

 

새로운 장을 요약하는 것은 입력 길이와 원하는 요약에 나타나는 문장이 내용을 끌어낸다는 사실 장 전체에 걸쳐 여러 장소. 우리는 파이프 라인을 제시한다. 추출 단계가 내용을 필터링하는 추출-추출 접근법 추상적인 구성 요소로 전달됩니다. 매우 긴 입력도 가능합니다. 그 결과 추출을 위해 부정적인 인스턴스로 매우 왜곡된 데이터 세트가 생성된다. 요약; 따라서 우리는 추출을 장려하기 위해 마진 순위 손실을 채택한다. 긍정적인 예와 부정적인 예 사이의 분리 추출 구성 요소 구성 요소 수준에서 작동한다; 이 문제에 대한 우리의 접근 방식은 다음을 풍부하게 한다. (형태로) 구문적 문맥을 제공하는 척추 트리 정보가 있는 텍스트 (성분들의) 추출 모델에 대한. 우리는 3.71의 개선을 보여준다. 기존 소설에 대한 이전 연구에서 보고된 최상의 결과보다 루즈-1 포인트. 챕터 데이터 세트 

 

 

Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document

 

In the scenario of unsupervised extractive summarization, learning high-quality sentence representations is essential to select salient sentences from the input document. Previous studies focus more on employing statistical approaches or pre-trained language models (PLMs) to extract sentence embeddings, while ignoring the rich information inherent in the heterogeneous types of interaction between words and sentences. In this paper, we are the first to propose an unsupervised extractive summarizaiton method with heterogeneous graph embeddings (HGEs) for Chinese document. A heterogeneous text graph is constructed to capture different granularities of interactions by incorporating graph structural information. Moreover, our proposed graph is general and flexible where additional nodes such as keywords can be easily integrated. Experimental results demonstrate that our method consistently outperforms the strong baseline in three summarization datasets.

 

감독되지 않은 추출 요약 시나리오에서, 학습 높은 품질의 문장 표현은 두드러진 문장을 선택하는데 필수적이다. 입력 문서로부터. 이전 연구는 통계 활용에 더 초점을 맞추고 있다. 문장 추출을 위한 접근법 또는 사전 훈련된 언어 모델(PLM) 이기종 고유의 풍부한 정보는 무시한 채 임베딩 단어와 문장 사이의 상호 작용 유형 이 논문에서, 우리는 먼저 감독되지 않은 추출 요약 방법을 제안합니다. 중국어 문서의 이기종 그래프 임베딩(HGE)입니다. 이질적인 텍스트 그래프는 상호 작용의 다른 입도를 포착하기 위해 구성된다. 그래프 구조 정보를 통합합니다. 게다가, 우리가 제안한 그래프는 키워드와 같은 추가 노드를 쉽게 사용할 수 있는 일반적이고 유연함 통합된. 실험 결과는 우리의 방법이 일관되게 세 가지 요약 데이터 세트에서 강력한 기준을 능가합니다. 

 

 

DeepE: a deep neural network for knowledge graph embedding

 

Recently, neural network based methods have shown their power in learning more expressive features on the task of knowledge graph embedding (KGE). However, the performance of deep methods often falls behind the shallow ones on simple graphs. One possible reason is that deep models are difficult to train, while shallow models might suffice for accurately representing the structure of the simple KGs. In this paper, we propose a neural network based model, named DeepE, to address the problem, which stacks multiple building blocks to predict the tail entity based on the head entity and the relation. Each building block is an addition of a linear and a non-linear function. The stacked building blocks are equivalent to a group of learning functions with different non-linear depth. Hence, DeepE allows deep functions to learn deep features, and shallow functions to learn shallow features. Through extensive experiments, we find DeepE outperforms other state-of-the-art baseline methods. A major advantage of DeepE is the robustness. DeepE achieves a Mean Rank (MR) score that is 6%, 30%, 65% lower than the best baseline methods on FB15k-237, WN18RR and YAGO3-10. Our design makes it possible to train much deeper networks on KGE, e.g. 40 layers on FB15k-237, and without scarifying precision on simple relations.

 

최근 신경망 기반 방법이 학습에 힘을 발휘하고 있다. 지식 그래프 임베딩(KGE) 작업에 대한 보다 표현적인 기능. 그러나 심층적인 방법의 성능은 종종 얕은 방법의 성능보다 뒤떨어진다. 단순 그래프 한 가지 가능한 이유는 딥 모델이 훈련하기 어렵기 때문이다. 얕은 모델은 의 구조를 정확하게 표현하기에 충분할 수 있다. 단순 KGs 본 논문에서, 우리는 DeepE라고 불리는 신경망 기반 모델을 제안한다. 꼬리를 예측하기 위해 여러 빌딩 블록을 쌓는 문제를 해결한다. 주체와 관계를 기반으로 하는 엔티티입니다. 각 빌딩 블록은 선형 및 비선형 함수의 추가입니다. 쌓이는 빌딩 블록은 비선형 깊이가 다른 학습 함수의 그룹에 해당합니다. 따라서 DeepE는 딥 기능을 통해 딥 기능을 학습할 수 있으며, 얕다. 얕은 피쳐를 학습하는 함수입니다. 광범위한 실험을 통해 우리는 DeepE는 다른 최첨단 기준 방법을 능가한다. 의 주요 장점 DeepE는 견고함입니다. DeepE는 6%, 30%의 평균 순위(MR) 점수를 획득합니다. FB15k-237, WN18R 및 YAGO3-10의 최상의 기준 방법보다 65% 낮습니다. 우리들의 설계는 KGE에서 훨씬 더 깊은 네트워크(예: 40개 계층)를 훈련시키는 것을 가능하게 한다. FB15k-237에 탑재되어 있으며, 간단한 관계에서도 정밀도가 떨어집니다.