任务和限制

理论上，NLP是一种很吸引人的人机交互方式。早期的语言处理系统如SHRDLU，当它们处于一个有限的“积木世界”，运用有限的词汇表会话时，工作得相当好。这使得研究员们对此系统相当乐观，然而，当把这个系统拓展到充满了现实世界的含糊与不确定性的环境中时，他们很快丧失了信心。

由于理解（understanding）自然语言，需要关于外在世界的广泛知识以及运用操作这些知识的能力，自然语言认知，同时也被视为一个人工智能完备（AI-complete）的问题。同时，在自然语言处理中，"理解"的定义也变成一个主要的问题。

实际问题

一些NLP面临的问题实例：

句子“我们把香蕉给猴子，因为(它们)饿了”和“我们把香蕉给猴子，因为(它们)熟透了”有同样的结构。但是代词“它们”在第一句中指的是“猴子”，在第二句中指的是“香蕉”。如果不了解猴子和香蕉的属性，无法区分。(英文的it没有区分，但在中文里“它”和“它”是有区别的，只是代词在中文里常常被省略，因此需区别属性并且标示出来)

自然语言处理的主要范畴

文本朗读（Text to speech）/语音合成（Speech synthesis）

语音识别（Speech recognition）

中文自动分词（Chinese word segmentation）

词性标注（Part-of-speech tagging）

句法分析（Parsing）

自然语言生成 （ 英语 ： Natural_language_generation ） （Natural language generation）

文本分类（Text categorization）

信息检索（Information retrieval）

信息抽取（Information extraction）

文字校对（Text-proofing）

问答系统（Question answering）

机器翻译（Machine translation）

自动摘要（Automatic summarization）

文字蕴涵（Textual entailment）

自然语言处理研究的难点

单词的边界界定

词义的消歧

句法的模糊性

有瑕疵的或不规范的输入

语言行为与计划

当前自然语言处理研究的发展趋势

第一，传统的基于句法-语义规则的理性主义方法受到质疑，随着语料库建设和语料库语言学的崛起，大规模真实文本的处理成为自然语言处理的主要战略目标。

第二，统计数学方法越来越受到重视，自然语言处理中越来越多地使用机器自动学习的方法来获取语言知识。

第三，浅层处理与深层处理并重，统计与规则方法并重，形成混合式的系统。

第四，自然语言处理中越来越重视词汇的作用，出现了强烈的“词汇主义”的倾向。词汇知识库的建造成为了普遍关注的问题。

统计自然语言处理

统计自然语言处理运用了推测学、概率、统计的方法来解决上述，尤其是针对容易高度模糊的长串句子，当套用实际文法进行分析产生出成千上万笔可能性时所引发之难题。处理这些高度模糊句子所采用消歧的方法通常运用到语料库以及马可夫模型（Markov models）。统计自然语言处理的技术主要由同样自人工智能下与学习行为相关的子领域：机器学习及资料采掘所演进而成。

相关实例

GATE: a Java Library for Text Engineering

LTP:语言技术平台（简体中文）

MARF

Python编程语言的自然语言处理工具包教程

FudanNLP开源中文自然语言处理工具包

参见

科幻小说中的万能翻译机（universal translator）

计算机科学课程列表

电脑语言学

受限自然语言（controlled natural language）

资讯检索

自然语言理解

潜在语义索引（latent semantic indexing）

语言资讯处理学

统计自然语言处理

机器记者

延伸阅读

Bates, M. Models of natural language understanding. Proceedings of the National Academy of Sciences of the United States of America. 1995, 92 (22): 9977–9982. doi:10.1073/pnas.92.22.9977 .

Steven Bird, Ewan Klein, and Edward Loper (2009). Natural Language Processing with Python . O"Reilly Media. ISBN 978-0-596-51649-9.

Daniel Jurafsky and James H. Martin (2008). Speech and Language Processing , 2nd edition. Pearson Prentice Hall. ISBN 978-0-13-187321-6.

Christopher D. Manning, Prabhakar Raghavan, and Hinrich Schütze (2008). Introduction to Information Retrieval . Cambridge University Press. ISBN 978-0-521-86571-5.Official html and pdf versions available without charge.

Christopher D. Manning and Hinrich Schütze (1999). Foundations of Statistical Natural Language Processing . The MIT Press. ISBN 978-0-262-13360-9.

David M. W. Powers and Christopher C. R. Turk (1989). Machine Learning of Natural Language . Springer-Verlag. ISBN 978-0-387-19557-5.

免责声明：以上内容版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。感谢每一位辛勤著写的作者，感谢每一位的分享。