-
编辑 删除
JDK不同操作系统的FileSystem（Windows）上篇
我们知道不同的操作系统有各自的文件系统，这些文件系统又存在很多差异，而Java 因为是跨平台的，所以它必须要统一处理这些不同平台文件系统之间的差异，才能往上提供统一的入口。 JDK 里面抽象出了一个 FileSystem 来表示文件系统，不同的操作系统通过继承该类实现各自的文件…
-
编辑 删除
机器学习之条件随机场（CRF）
CRF即条件随机场（Conditional Random Fields），是在给定一组输入随机变量条件下另外一组输出随机变量的条件概率分布模型，它是一种判别式的概率无向图模型，既然是判别式，那就是对条件概率分布建模。 CRF较多用在自然语言处理和图像处理领域，在NLP中，它是用…
-
编辑 删除
从JDK源码看InputStream
JDK 给我们提供了很多实用的输入流 xxxInputStream，而 InputStream 是所有字节输入流的抽象。包括 ByteArrayInputStream 、FilterInputStream 、BufferedInputStream 、DataInputStrea…
-
编辑 删除
来自麻省理工的信息抽取
MITIE 即 MIT 的 NLP 团队发布的一个信息抽取库和工具。它是一款免费且先进的信息抽取工具，目前包含了命名实体抽取、二元关系检测功能，另外也提供了训练自定义抽取器和关系检测器的工具。 MITIE 是核心代码是使用 C++ 写的，建立在高性能的机器学习库 dlib 上。…
-
编辑 删除
从JDK源码看Writer
Writer 是一个用于写字符流的抽象类，它将一些相通的写相关操作抽象到此类，方便各种写操作类的实现。一般来说子类只需要实现它的 write、flush 、close 等三个方法，但如果有需要还可以重写 Writer 提供的公共方法。 JDK 在 Writer 的基础上实现了很…
-
编辑 删除
如何使用中文维基百科语料
在做自然语言处理时很多时候都会需要中文语料库，高质量的中文语料库较难找，维基百科和百度百科算是比较不错的语料库。其中维基百科会定时将语料库打包发布 https://dumps.wikimedia.org/zhwiki/ ，可以下载最新版本的语料库。而百度百科则需要自己去爬，不过…
-
编辑 删除
从JDK源码看关闭钩子
Java提供了Shutdown Hook机制，它让我们在程序正常退出或者发生异常时能有机会做一些清场工作。使用的方法也很简单，Java.Runtime.addShutdownHook(Thread hook)即可。关闭钩子其实可以看成是一个已经初始化了的但还没启动的线程，当JV…
-
编辑 删除
强化学习
监督学习是利用标记了的样本进行学习，无监督学习则是使用未标记的样本进行学习，这两个是我们最常见的。半监督学习则是样本中只有少量带标记的样本，多数样本都未标记，利用这些样本进行学习。强化学习则是很不同的一种学习方式，它没有规则的训练样本和标签，主要通过奖励和惩罚达到学习的目的。 …
-
编辑 删除
从JDK源码看System.exit
在编写的Java程序中有时会遇到用 System.exit 来关闭JVM，其中调用 exit 方法时会包含一个状态参数n，即System.exit(n)。这其实是一个约定值，如果为0则表示正常关闭，而非0则表示非正常关闭。这里我们从JDK源码看下不同状态都是怎么处理的。 先看S…
-
编辑 删除
深度学习的Attention模型
前面看到谷歌发表的运用在机器翻译上的论文《Attention is all you need》，很是让人惊讶，这是一种全新的模型，与之前的经典的seq2seq模型改动较大，它完全摒弃了RNN或CNN神经网络，大大简化了模型的复杂度，而且效果还相当好。当然Attention模型可…
-
编辑 删除
从JDK源码角度看Float
在看Float前需要先了解IEEE 754标准，该标准定义了浮点数的格式还有一些特殊值，它规定了计算机中二进制与十进制浮点数转换的格式及方法。规定了四种表示浮点数值的方法，单精确度（32位）、双精确度（64位）、延伸单精确度（43位以上）与延伸双精确度（79位以上）。多数编程语…
-
编辑 删除
如何用 TensorFlow 训练聊天机器人（附github）
实际工程中很少有直接用深度学习实现端对端的聊天机器人，但这里我们来看看怎么用深度学习的seq2seq模型来实现一个简易的聊天机器人。这篇文章将尝试使用TensorFlow来训练一个基于seq2seq的聊天机器人，实现根据语料库的训练让机器人回答问题。 关于seq2seq的机制原…
-
编辑 删除
Java安全管理器
总的来说，Java安全应该包括两方面的内容，一是Java平台（即是Java运行环境）的安全性；二是Java语言开发的应用程序的安全性。由于我们不是Java本身语言的制定开发者，所以第一个安全性不需要我们考虑。其中第二个安全性是我们重点考虑的问题。 一般我们可以通过安全管理器机制…
-
编辑 删除
隐马尔可夫模型的Viterbi解码算法
前面在做自然语言处理时涉及到一些词性标注的工作，一般会使用隐马尔科夫模型（HMM）来实现词性标注，而HMM模型的解码实现算法一般就会使用Viterbi算法。 HMM模型有多种应用，这里说的是其中一个常见应用，即根据观察序列找到最可能的隐含状态序列。最朴素的想法就是直接穷举所有可…
-
编辑 删除
从JDK源码角度看Long
Java的Long类主要的作用就是对基本类型long进行封装，提供了一些处理long类型的方法，比如long到String类型的转换方法或String类型到long类型的转换方法，当然也包含与其他类型之间的转换方法。除此之外还有一些位相关的操作。 MIN_VALUE静态变量表示…
-
编辑 删除
TensorFlow实现seq2seq
前言 前面在《深度学习的seq2seq模型》文章中已经介绍了seq2seq结构及其原理，接下去这篇文章将尝试使用TensorFlow来实现一个seq2seq网络结构，该例子能通过训练给定的训练集实现输入某个序列输出某个序列，其中输入序列和输出序列相同，这里选择使用LSTM模型。 …
-
编辑 删除
volatile足以保证数据同步吗
在讨论之前必须先搞清四种存储介质：寄存器、高级缓存、RAM和ROM。 RAM与ROM大家都比较熟悉了，可以看成是我们经常说的内存与硬盘，寄存器属于处理器里面的一部分，而高级缓存cache是CPU设计者为提高性能引入的一个缓存，也可以说是属于处理器的一部分。在利用CPU进行运算时必…
-
编辑 删除
深度学习的seq2seq模型
从rnn结构说起 根据输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。如下图， one to one 结构，仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。 one to many 结构，给一个输入得到一系列输出，…
-
编辑 删除
从ASCII聊起
在互联网的世界，端与端之间传递的报文都是未经过编码的字节流，每8位组成1个字节，计算机以二进制为基础，这是由于使用晶体管的开合状态表示1和0，这样8个电晶体管就可以组成一个字节，这正是应用层使用的最小单位——字节。 在通过Socket进行网络通信的程序中，假如我们在接收到报文时不…
-
编辑 删除
TensorFlow构建循环神经网络
前言 前面在《循环神经网络》文章中已经介绍了深度学习的循环神经网络模型及其原理，接下去这篇文章将尝试使用TensorFlow来实现一个循环神经网络，该例子能通过训练给定的语料生成模型并实现对字符的预测。这里选择使用最原始的循环神经网络RNN模型。 语料库的准备 这里就简单用纪伯伦…
