自然语言处理

第一章：NLP基础概念

1.1 什么是自然语言处理

要讲NLP，咱们首先得搞清楚一个问题：到底什么是自然语言？

自然语言啊，就是咱们平时说话、写字用的语言，比如中文、英文、日文这些。相比之下，还有一种叫"形式语言"的东西，比如编程语言、数学符号这些，它们有严格的语法规则，歧义很少。而自然语言呢，充满了各种模糊性和歧义性。

那么自然语言处理，就是让计算机能够处理、理解、生成自然语言的技术。你可以用它来：

• 机器翻译（中译英、英译日）
• 文本分类（判断文章是正面的还是负面的）
• 问答系统（智能客服、聊天机器人）
• 文本摘要（自动生成文章摘要）
• 语音助手（Siri、小爱同学）
• 情感分析（分析评论是好评还是差评）

等等等等，应用场景特别多。据统计，现在NLP技术已经渗透到了各行各业，从金融、医疗到教育、娱乐，几乎没有它不涉及的领域。

1.2 NLP的发展历程

要理解现在的NLP，咱们得先看看它是怎么发展过来的。这里面有好几个重要的里程碑：

早期阶段（1950s-1980s）

最早的时候，人们用的是基于规则的方法。什么意思呢？就是靠语言学家手动编写语法规则，然后让计算机按照这些规则来处理文本。比如说要分词，就制定一套规则：哪些字组合在一起是一个词，哪些不是。

这种方法听起来挺靠谱，但实际上问题多多：