西湖大学自然语言处理（三）——自然语言处理任务介绍

admin管理员组

文章数量:1612831

西湖大学自然语言处理（三）——自然语言处理任务介绍

• • Fundamental NLP tasks
  • • Synatactic tasks（句法分析任务）
    • • Word Level
      • Sentence level
    • Semantic tasks（语义分析任务）
    • • Word level
      • Sentence level
    • Text entailment（自然语言推理）
    • Discourse tasks（篇章分析）
  • Information Extraction tasks
  • • Entities
    • • Named entity recognition（命名实体识别）
      • Anaphora Resolution（指代消解）
      • Co-references（共指消解）
    • Relations
    • • Relations extraction（关系抽取）
      • Knowlwdge graph（知识图谱）
    • Events
    • • Event Detection（事件检测）
    • Sentiment analysis(情感分析)
    • • Sentiment related tasks(情感分析相关任务)
  • Text Generation tasks
  • • Realization（实现）
    • • Data-to-text Generation
    • Summarization（文本摘要）
    • Machine translation（机器翻译）
    • Grammer error correction（句法纠错）
    • Question answering（QA）（问答）
    • • Knowledge-base QA
      • Reading comprehension（machine reading）
      • Community QA
      • Open QA
    • Dialogue systems（对话系统）
  • Other Applications
  • • Information retrieval（信息检索）
    • Recommendation system（推荐系统）
    • Text mining and text analytics

Fundamental NLP tasks

Synatactic tasks（句法分析任务）

Word Level

• Morphological analysis（形态分析）
• Word segmentation（词的分割）
• Tokenization（标识化）
• POS Tagging（词类）
• Part-of-speech（POS)
  
  

Sentence level

• Constituent parsing（成分语法）—— 成分短语将短语标签分配给成分，也被称为短语结构语法
  

• Dependency parsing（依存语法）—— 依存语法用head words 和 dependent words来分析句子
  

• CCG parsing（组合范畴语法）—— 标签具有丰富的信息
  
  例如，bought这个单词，标签是(S/NP)/NP，是一个动词，它需要向右找一个单词a book(NP)，组成一个动词短语，bought a book；然后再向左找一个NP，组成一句话

• Supertagging
  浅层句法分析任务，解析前的一个预处理步骤

  • CCG supertagging（用CCG组合范畴语法给句子打标签）
  • Syntactic chunking（和成分语法类似，不过是把句子切分为短语块）

Semantic tasks（语义分析任务）

Word level

• Word sense disambiguation（词义消岐WSD）
  Never trouble troubles till trouble troubles you.
  I saw a man saw a saw with a saw.

• Metaphor（隐喻）
  Love is a battlefield.
  Bob is a couch potato

• Sense relations between words
  同义词，反义词，上下位词，组成 部分
  

• Analogy（类比）
  

Sentence level

• Predicate-argument relations（semantic role labeling）
  

• Semantic graphs（语义图）
  

Text entailment（自然语言推理）

natural langeage inference

Discourse tasks（篇章分析）

• Discourse: multiple sub-topics and coherence relations
• Discourse parsing: Analyze the coherence relations between sub-topics in a discourse.
  
  

Information Extraction tasks

Information Exaction(IE) —— Obtain structured information from unstructured texts（从非结构文本中抽取结构信息）

Entities

Named entity recognition（命名实体识别）

识别给定文本段中提到的所有命名实体

Anaphora Resolution（指代消解）

• 判断一句话中名词短语和代词指代什么
• 零指代：检测和解释省略的代词
  

Co-references（共指消解）

• 在一段文字中找出相同意思的表达
  

Relations

Relations extraction（关系抽取）

Knowlwdge graph（知识图谱）

• Entity linking（实体链接）
  把文本中提到的实体和知识图谱中的实体进行关联

• Related task（实体规范化）
  找到命名实体提及的规范术语
  

• Link prediction（关系预测）
  通过知识图谱来预测相关知识
  

Events

Event Detection（事件检测）

从文本中检测出触发词

• News event detection新事件检测 (first story detection)
  通过社会媒体中的文本，发现自然灾害等的信息，做到有效预防

• Event factuality prediction事件可能性确定(predict the likelihood of event)
  

• Event time extraction(时间线检测)

• Causality detection(因果检测)

• Event coreference resolution(事件共指消解)

• Zero-pronous(零指代消解)
  

• Script learning(脚本学习)
  

Sentiment analysis(情感分析)

Sentiment related tasks(情感分析相关任务)

• Sarcaem detection(讽刺检测)

• Sentiment lexicon acquisition(情感词汇习得)

• Emotion detection(情绪检测)
  

• Stance detection and argumentation mining
  

Text Generation tasks

Realization（实现）

从句法/语义表示生成自然语言文本

Data-to-text Generation

Summarization（文本摘要）

• Extractive summarzation（抽取式摘要）
• Abstractive summarization（生成式摘要）

Machine translation（机器翻译）

Grammer error correction（句法纠错）

• Grammer error detection
• Disfluency detection
• Writing quality assessment
  

Question answering（QA）（问答）

Knowledge-base QA

Reading comprehension（machine reading）

用解释的方法来回答问题

Community QA

Open QA

Dialogue systems（对话系统）

• Chit-chat（闲聊对话）
• Task-oriented dialogues（基于任务的对话）
  

Other Applications

Information retrieval（信息检索）

Recommendation system（推荐系统）

Text mining and text analytics

本文标签： 自然语言西湖大学