自然语言处理图解,自然语言处理修炼之路

为什么是“自然语言”处理？

自然语言就是大家平时在生活中常用的表达方式，大家平时说的「讲人话」就是这个意思。

自然语言：我背有点驼(非自然语言：我的背部呈弯曲状)

自然语言：宝宝的经纪人睡了宝宝的宝宝（微博上这种段子一大把）

NLP 有2个核心的任务：

1. 自然语言理解 – NLU | NLI
2. 自然语言生成 – NLG

自然语言理解 – NLU|NLI

自然语言理解就是希望机器像人一样，具备正常人的语言理解能力，由于自然语言在理解上有很多难点(下面详细说明)，所以 NLU 是至今还远不如人类的表现。

自然语言理解的5个难点：

1. 语言的多样性
2. 语言的歧义性
3. 语言的鲁棒性
4. 语言的知识依赖
5. 语言的上下文

想要深入了解NLU，可以看看这篇文章《》

自然语言生成 – NLG

NLG 是为了跨越人类和机器之间的沟通鸿沟，将非语言格式的数据转换成人类可以理解的语言格式，如文章、报告等。

NLG 的6个步骤：

1. 内容确定 – Content Determination
2. 文本结构 – Text Structuring
3. 句子聚合 – Sentence Aggregation
4. 语法化 – Lexicalisation
5. 参考表达式生成 – Referring Expression Generation|REG
6. 语言实现 – Linguistic Realisation

想要深入了解NLG，可以看看这篇文章《》