ITPub博客

首页 > > > 语言与文字.

语言与文字.

作者:RayChou 时间:2019-12-26 10:20:33 0 删除 编辑

NLP是Nature Language Processing的缩写,即自然语言处理,是研究使用计算机处理人类语言的技术的一大领域,是人工智能的一大重点研究方向,也是近年来包括所有一线互联网公司在内所有新技术企业都在努力研究并应用的主要热门领域之一。

NLP 是 Nature Language Processing 的缩写,即自然语言处理,是研究使用计算机处理人类语言的技术的一大领域,是人工智能的一大重点研究方向,也是近年来包括所有一线互联网公司在内所有新技术企业都在努力研究并应用的主要热门领域之一。

NLP 所涉及的内容非常庞杂,但就这一门学科来说就可以写几十本书。由于本专栏的篇幅有限 ,我们就把其应用的基本方法和思路做个主要的串连,相信读过第一部分之后,你一定会对 NLP 研究领域的主要方法和思路有个清晰的了解与认识。

有人说 NLP 处理的对象是人类平时所用最多的“文字流”信息,这种说法绝对不虚。人类与世界交互的方式有很多,效率最高的几种方式之中,其一是视觉,计算机视觉领域的研究内容起步比较早,方法也比较多,到现在取得的成绩也最明显;语音与听觉应该算是第二种方式,人们可以在健身或者烹饪的时候和朋友煲电话粥、听有声读物,这就有效加大了并行性,所以语音与听觉方面的应用也是一种效率非常高的方式。但如果说信息量最大、抽象程度最高的方式,应该算是文字,或者说是文字流了。

文字是所有感觉器官的延伸工具中发展最晚的。一个正常诞生的人类婴儿生来就有视觉、听觉与语音能力,但是文字能力需要更为系统的高级学习才能获得,文字的发明也比较晚,最早的文字也只能追溯到距今 5000 多年前的苏美尔文明 [1]所使用的楔形文字(如下图所示)。通常认为中国最早的文字是甲骨文或者良渚文字,这两种都是距今超过 4000 年甚至超过 5000 年的古老文字。

楔形文字


[1] 在今伊拉克东南部幼发拉底河和底格里斯河下游孕育的古代文明,距今约 5000 ~ 7000 年的历史。


甲骨文和良渚文字

文字作为一种意义符号,其代表的含义更为凝练与抽象。这些意义符号的不同顺序、不同组合会产生不同的环境释义,这就给文字领域的量化分析带来了很多挑战。NLP 就是研究如何解决这一系列问题的。

在我看来,自然语言文字类的处理任务不管有多令人眼花缭乱的概念和应用种类,应该被分成两大类任务,一类是“自然语言理解”,一类是“自然语言生成”。自然语言理解方向,主要目标是让机器更好理解人的语言,包括基础的词法、句法等语义理解,比如类别分析、情感层面的高层理解,文本分类、摘要提取等,这是一种“降维”的工作。自然语言生成方向,主要目标是让机器生成人能够理解的语言,比如问答系统、写稿机器人等,这是一种“ 升维”的工作,或者说至少是同等数量级维度的输出工作。

不过我的观点是这些分类虽然可以人为这样分,在具体应用的过程中,有很多场景是要进行融会贯通的,不能割裂地机械地去区分自然语言应用的范畴。以后我们碰到具体的问题,比较简单的方式就是使用“就事论事”的方式来对具体场景和问题进行认知,后面我们会逐步介绍,大家不要着急。

思考题:你能说出一些你认为NLP技术在你的工作中可以应用的场景吗?


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69954080/viewspace-3146617/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 8.3 BERT模型介绍
请登录后发表评论 登录
全部评论
现任金山办公软件人工智能组高级AI研发工程师。多年从事机器学习,特别是NLP自然语言处理算法的研究及开发工作。拥有丰富的软件开发经验,以及丰富的人工智能算法训练平台开发经验。

注册时间:2019-11-14

  • 博文量
    71
  • 访问量
    60567