自然语言处理图解,自然语言处理修炼之路

1. 分词 – Tokenization
2. 词干提取 – Stemming
3. 词形还原 – Lemmatization
4. 词性标注 – Parts of Speech
5. 命名实体识别 – NER
6. 分块 – Chunking

1. 中文分词 – Chinese Word Segmentation
2. 词性标注 – Parts of Speech
3. 命名实体识别 – NER
4. 去除停用词

自然语言处理（NLP）就是在机器语言和人类语言之间沟通的桥梁，以实现人机交流的目的。

NLP的2个核心任务：

1. 自然语言理解 – NLU
2. 自然语言生成 – NLG

NLP 的5个难点：

1. 语言是没有规律的，或者说规律是错综复杂的。
2. 语言是可以自由组合的，可以组合复杂的语言表达。
3. 语言是一个开放集合，我们可以任意的发明创造一些新的表达方式。
4. 语言需要联系到实践知识，有一定的知识依赖。
5. 语言的使用要基于环境和上下文。

NLP 的4个典型应用：

1. 情感分析
2. 聊天机器人
3. 语音识别
4. 机器翻译

NLP 的6个实现步骤：

1. 分词-tokenization
2. 次干提取-stemming
3. 词形还原-lemmatization
4. 词性标注-pos tags
5. 命名实体识别-ner
6. 分块-chunking