-
seq2seq通俗理解----编码器和解码器(TensorFlow实现)
文章目录1. 什么是seq2seq2. 编码器3. 解码器4. 训练模型5. seq2seq模型预测5.1 贪婪搜索5.2 穷举搜索5.3 束搜索6. Bleu得分7. 代码实现8. 参考文献 1. 什么是seq2seq 在⾃然语⾔处理的很多应⽤中，输⼊和输出都可以是不定⻓序列。以机器翻译为例，输⼊可以是⼀段不定⻓的英语⽂本序列，输出可以是⼀段不定⻓的法语⽂本序列，例如： 英语输⼊：“They”、...
-
美能华童先明：自然语言处理应用领域仍是一片蓝海
从工程师到创业者，从硅谷到苏州，无论是身份的切换还是工作场景的转变，童先明都对“自然语言处理技术”有着独特的情怀。众所周知，自然语言处理技术被誉为“人工智能皇 冠上的明珠”，研发难度很大，仍有更深层次的问题等待突破。正是看到了自然语言处理领域的挑战和广阔前景，有技术和人才的童先明毅然决然迈向了创业的道路。2018年，童先明携手其他10位联合创始人共同创立了苏州美能华智能科技有限公司（下称“美能华”
-
「完结」 12篇文章带你完全进入NLP领域，掌握核心技术
专栏《NLP》第一阶段正式完结了。在本专栏中，我们从NLP中常用的机器学习算法开始，介绍了NLP中常用的算法和模型；从朴素贝叶斯讲到XLnet，特征抽取器从RNN讲到transformerXL。这篇文章我们就一起回顾一下这些文章。作者&编辑 | 小Dream哥1 朴素贝叶斯贝叶斯分类器在早期的自然语言处理任务中有着较多实际的应用，例如大部分的垃圾邮件处理都是用的贝叶斯分类器。贝叶斯决策论是
-
入门自然语言处理必看：图解词向量
词嵌入（embedding）是机器学习中最惊人的创造， 如果你有输入法打字预测的经历，那么你很有可能是词嵌入（自然语言处理的核心模型）技术的受益者。在过去的几十年中，基于神经网络模型的词嵌入技术发展迅猛。尤其是最近，包括使用BERT和GPT2等最先进的模型进行语义化词嵌入。Word2vec是一种有效创建词嵌入的方法，于2013年提出。除了作为词嵌入的方法之外，它的一些概念已经被证明可以有效地应用在
-
美能华童先明：自然语言处理应用领域仍是一片蓝海
从工程师到创业者，从硅谷到苏州，无论是身份的切换还是工作场景的转变，童先明都对“自然语言处理技术”有着独特的情怀。众所周知，自然语言处理技术被誉为“人工智能皇 冠上的明珠”，研发难度很大，仍有更深层次的问题等待突破。正是看到了自然语言处理领域的挑战和广阔前景，有技术和人才的童先明毅然决然迈向了创业的道路。2018年，童先明携手其他10位联合创始人共同创立了苏州美能华智能科技有限公司（下称“美能华”
-
textRNN & textCNN的网络结构与代码实现！
1. 什么是textRNN textRNN指的是利用RNN循环神经网络解决文本分类问题，文本分类是自然语言处理的一个基本任务，试图推断出给定文本(句子、文档等)的标签或标签集合。 文本分类的应用非常广泛，如： 垃圾邮件分类：2分类问题，判断邮件是否为垃圾邮件 情感分析：2分类问题：判断文本情感是积极还是消极；多分类问题：判断文本情感属于{非常消极，消极，中立，积极，非常积极}中的哪一类。 新闻主...
-
「NLP」GPT：第一个引入Transformer的预训练模型
目前两种最重要的预训练语言模型，一种是前面介绍过的BERT，另外一种就是GPT。GPT出了两个版本，GPT1.0和GPT2.0，GPT2.0相对于GPT1.0差别不大，可以认为是它的增强版。本篇介绍GPT1.0和GPT2.0，看看它于BERT有什么不一样。作者 | 小Dream哥编辑 | 言有三1 GPT是什么General Pre-Training(GPT)，即通用预训练语言模型，是一种利用Tr
-
NLP数据就像开飞机，你永远不知道会遇见什么情况
全文共2006字，预计学习时长4分钟最好在错误发生之前预测并修复错误标注NLP数据就像开飞机，看起来容易，但你永远不知道会遇到什么情况，往往会出现一些莫名其妙的错误。找到出错的地方，然后检测并修复错误才是良好的第一步。本文将分享NLP实体标注中出现的四个常见问题，讨论它们的根本原因和可能的解决方案。空白空白部分很难看到，可能会引起混淆标记者不一致的最常见原因可能是尾随空格和前导空格以及标点符号的标
-
XLM — 基于BERT的跨语言模型
导语：这个模型在跨语言分类任务（15个语言的句子蕴含任务）上比其他模型取得了更好的效果，并且显著提升了有预训练的机器翻译效果。注意力模型，尤其是BERT模型，已经在NLP领域分类和翻译任务上取得了极具前景的结果。Facebook AI在一篇新论文中提出了一个改良版的BERT模型XLM，在以上两个任务上均取得了SOTA结果。XLM用了一个常见的预处理技术BPE（byte pair encoder字节
-
「NLP」XLnet：GPT和BERT的合体，博采众长，所以更强
前面介绍过BERT，作为一种非常成功的预训练模型，取得了非常不错的成绩，那么，他还有改进的空间吗？本文介绍BERT的改进版，XLnet。看看它用了什么方法，改进了BERT的哪些弱点。作者 | 小Dream哥编辑 | 小Dream哥1 为什么要有XLnet?要理解XLnet，我们先回顾一下先于XLnet的两种表现最好的预训练模型BERT和GPT：1) Generative Pre-Training(
-
四步理解GloVe！(附代码实现)
文章目录1. 说说GloVe2. GloVe的实现步骤2.1 构建共现矩阵2.2 词向量和共现矩阵的近似关系2.3 构造损失函数2.4 训练GloVe模型3. GloVe与LSA、Word2Vec的比较4. 代码实现5. 参考文献 1. 说说GloVe 正如GloVe论文的标题而言，**GloVe的全称叫Global Vectors for Word Representation，它是一个基于全局...
-
XLM — 基于BERT的跨语言模型
导语：这个模型在跨语言分类任务（15个语言的句子蕴含任务）上比其他模型取得了更好的效果，并且显著提升了有预训练的机器翻译效果。注意力模型，尤其是BERT模型，已经在NLP领域分类和翻译任务上取得了极具前景的结果。Facebook AI在一篇新论文中提出了一个改良版的BERT模型XLM，在以上两个任务上均取得了SOTA结果。XLM用了一个常见的预处理技术BPE（byte pair encoder字节
-
NLP系列文章：子词嵌入(fastText)的理解！(附代码)
文章目录1. 什么是fastText2. n-gram表示单词3. fastText模型架构4. fastText核心思想5. 输出分类的效果6. fastText与Word2Vec的不同7. 代码实现8. 参考文献 1. 什么是fastText 英语单词通常有其内部结构和形成⽅式。例如，我们可以从“dog”“dogs”和“dogcatcher”的字⾯上推测它们的关系。这些词都有同⼀个词根“dog...
-
NLP系列文章：子词嵌入(fastText)的理解！(附代码)
文章目录1. 什么是fastText2. n-gram表示单词3. fastText模型架构4. fastText核心思想5. 输出分类的效果6. fastText与Word2Vec的不同7. 代码实现8. 参考文献 1. 什么是fastText 英语单词通常有其内部结构和形成⽅式。例如，我们可以从“dog”“dogs”和“dogcatcher”的字⾯上推测它们的关系。这些词都有同⼀个词根“dog...
-
如何正确地做误差分析，NLP研究人员们需要学习一下
导语：错误分析就像指南针，我们需要它尽可能准确雷锋网(公众号：雷锋网) AI 科技评论按：尝试分析机器学习模型在什么时候、以什么方式、由于什么原因失效，我们把这称为「误差分析（error analysis）」。对科研人员来说，他们需要通过误差分析选择后续的改进方向；模型的实际使用者们也需要根据误差分析来确定模型部署的许多细节。由于误差分析对后续的行动方向有显著的影响，如果误差分析中出现了
-
史上最强通用NLP模型GPT-2：OpenAI刚又发布7.74亿参数版本
OpenAI号称史上最强“通用”NLP模型又有新动作啦！继今年2 月发布了小型1.24亿参数模型GPT-2后，OpenAI宣布发布7.74亿参数GPT-2 模型，15.58亿的完整模型也有望于几个月内发布。今年2月，OpenAI发布了号称史上最强“通用”NLP模型，它基于Transformer，拥有15亿参数，使用含有800万网页内容的数据集训练，只为一个目的：根据当前已有的信息，预测下一个单词是
-
清晰理顺从词袋到Word2Vec的文本表示，内涵维基百科的Word2Vec代码！
目录1.离散表示1.1 One-hot表示1.2 词袋模型1.3 TF-IDF1.4 n-gram模型1.5 离散表示存在的问题2. 分布式表示2.1 共现矩阵3.神经网络表示3.1 NNLM3.2 Word2Vec3.3 sense2vec4.代码实现 在NLP(自然语言处理)领域，文本表示是第一步，也是很重要的一步，通俗来说就是把人类的语言符号转化为机器能够进行计算的数字，因为普通的文本语言机...
-
微软亚洲研究院副院长：语言智能的未来
（一）有了大数据、神经网络、不断完善的网络结构、云计算、落地场景、未来的NLP会发展的越来越好。有几点预测：1、未来的口语机器翻译一定是普及的，出国的语言交流将不是问题；2、聊天系统越来越实用；3、电脑创作诗词，小说，歌曲将会流行起来；4、语音助手，物联网，智能家居，智能硬件等等都会因为自然语言的发展而普及起来；5、与其他AI技术一起再金融、法律、教育、医疗上得到广泛应用。整体上人工智能会提升人的
-
知识图谱——搜索引擎的未来
2012年5月，谷歌知识图谱一出激起千层浪，美国的微软必应，中国的百度、搜狗等搜索引擎公司在短短的一年内纷纷宣布了各自的“知识图谱”产品，如百度“知心“、搜狗“知立方“等。为什么这些搜索引擎巨头纷纷跟进知识图谱，在这上面一掷千金，甚至把它视为搜索引擎的未来呢？这就需要从传统搜索引擎的原理讲起。以百度为例，在过去当我们想知道“泰山”的相关信息的时候，我们会在百度上搜索“泰山”，它会尝试将这个字符串与
-
一文看懂NLP里的分词（中英文区别+3 大难点+3 种典型方法）
分词是 NLP 的基础任务，将句子，段落分解为字词单位，方便后续的处理的分析。本文将介绍分词的原因，中英文分词的3个区别，中文分词的3大难点，分词的3种典型方法。最后将介绍中文分词和英文分词常用的工具。什么是分词？分词是 自然语言理解 – NLP 的重要步骤。分词就是将句子、段落、文章这种长文本，分解为以字词为单位的数据结构，方便后续的处理分析工作。为什么要分词？1.将复杂问题转化为数学问题在 机
