ITPub博客

关于 “自然语言” 的内容如下：

• Ansj与hanlp分词工具对比

  Ansj与hanlp分词工具对比

  adnb34g 自然语言 868 2019-06-21 13:35

• python使用jieba实现中文文档分词和去停用词

  现在对于中文分词，分词工具有很多种，比如说：jieba分词、thulac、SnowNLP等。在这篇文档中，笔者使用的jieba分词，并且基于python3环境，选择jieba分词的理由是其比较简单易学，容易上手，并且分词效果还很不错

  adnb34g 自然语言 1185 2019-06-19 10:03

• Hanlp配置自定义词典遇到的问题与解决方法

  本文是整理了部分网友在配置hanlp自定义词典时遇到的一小部分问题，同时针对这些问题，也提供另一些解决的方案以及思路。这里分享给大家学习参考。

  adnb34g 自然语言 1310 2019-06-17 09:51

• HanLP分类模块的分词器介绍

  最近发现一个很勤快的大神在分享他的一些实操经验，看了一些他自己关于hanlp方面的文章，写的挺好的！转载过来分享给大家！

  adnb34g 自然语言 1148 2019-06-14 10:13

• elasticsearch教程--中文分词器作用和使用

  概述    本文都是基于elasticsearch安装教程 中的elasticsearch安装目录(/opt/environment/elasticsearch-6.4.0)为范例环境准备·全新最小化安装的centos 7.5·elasticsearch 6.4.0认识中文分词器在博文elasticsearch分词器中提到elasticsearch能够快速的通过搜索词

  adnb34g 自然语言 3631 2019-06-12 09:20

• HanLP-最短路径分词

  今天介绍的内容是最短路径分词。最近换回了thinkpad x1，原因是mac的13.3寸的屏幕看代码实在是不方便，也可能是人老了吧，^_^。等把HanLP词法分析介绍结束后，还是会换回macbook pro的。个人有强迫症，只要看或写Java或C/C++代码或者用开发机的化，还是喜欢在windows下工作。看论文特别是理论的研究还是习惯用mac了。感觉开发还是windows比较顺手，理论研究还是mac比较顺手。

  adnb34g 自然语言 932 2019-06-05 10:42

• 史上最全中文分词工具整理

  史上最全中文分词工具整理

  adnb34g 自然语言 1258 2019-06-03 10:24

• NLP自然语言处理中英文分词工具集锦与基本使用介绍

  NLP自然语言处理中英文分词工具集锦与基本使用介绍

  adnb34g 自然语言 1198 2019-05-31 10:16

• NLP 与 NLU：从语言理解到语言处理

  https://www.leiphone.com/toutiao/Gwuo9CEfH6s3Rrhp.html 本文为 AI 研习社编译的技术博客，原标题 ：NLP vs. NLU: from Understanding a Language to Its Processing作者 | Sciforce翻译 | 萝卜菜在种树     编辑 | 王立鱼原文链接：

  dicksonjyl560101 自然语言 1161 2019-05-31 08:52

• 部分常用分词工具使用整理

  SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。

  adnb34g 自然语言 1297 2019-05-29 09:39

• 奇点已过？聊聊BERT之后的NLP时代

  https://www.toutiao.com/a6695597443196649996/ 2018年是NLP的收获大年，模型预训练技术终于被批量成功应用于多项NLP任务。之前搞NLP的人一直羡慕搞CV的人，在ImageNet上训练好的模型，居然拿到各种任务里用都非常有效。现在情形有点逆转了。搞CV的人开始羡慕搞NLP的人了。CV界用的还是在有监督数据上训练出来的模型，而NLP那帮家伙居然直接搞出

  dicksonjyl560101 自然语言 1741 2019-05-28 09:22

• HanLP-实词分词器详解

  在进行文本分类（非情感分类）时，我们经常只保留实词（名、动、形）等词，为了文本分类的分词方便，HanLP专门提供了实词分词器类NotionalTokenizer，同时在分类数据集加载处理时，默认使用了NotionalTokenizer分词器。 在HanLPJava版代码库中可以查看下边的文件中的函数

  adnb34g 自然语言 1224 2019-05-27 10:11

• Python中下划线的 5 种含义你都知道吗？

  单前导下划线：_var单末尾下划线：var_双前导下划线：__var双前导和末尾下划线：__var__单下划线：_1. 单前导下划线 _var当涉及到变量和方法名称时，单个下划线前缀有一个约定俗成的含义。 它是对程序员的一个提示 - 意味着Python社区一致认为它应该是什么意思，但程序的行为不受影响。下划线前缀的含义是告知其他程序员：以单个下划线开头的变量或方法仅供内部使用。 该约定在PEP 8

  小咖啡111 自然语言 966 2019-05-24 15:17

• 分享三个适合新人上手的Python项目

  今天给大家分享三个极实用的Python爬虫案例。1爬取网站美图爬取图片是最常见的爬虫入门项目，不复杂却能很好地熟悉Python语法、掌握爬虫思路。当然有两个点要注意：一、不要侵犯版权，二、要注意营养。思路流程第一步：获取网址的response，分页内容，解析后提取图集的地址。第二步：获取网址的response，图集分页，解析后提取图片的下载地址。第三步：下载图片（也就是获取二进制内容，然后在本地复

  小咖啡111 自然语言 1008 2019-05-24 14:48

• Eclipse myeclipse下配置HanLP的教程

  文章分享自贾继康的博客，博客使用的hanlp是1.6.8的版本。大家可以去下载最新的1.7版本了，也比较推荐使用最新的这个版本！

  adnb34g 自然语言 1010 2019-05-24 09:39

• HanLP-停用词表的使用示例

  HanLP-停用词表的使用示例

  adnb34g 自然语言 1682 2019-05-22 09:05

• 自然语言处理工具hanlp定制用户词条

  关于hanlp的文章已经分享过很多，似乎好像大部分以理论性的居多。最近有在整理一些hanlp应用项目中的文章，待整理完成后会陆续分享出来。本篇分享的依然是由baiziyu 分享的一篇文章，感兴趣的可以在知乎上关注下他的专栏，写的还是挺好的！

  adnb34g 自然语言 797 2019-05-20 09:10

• 自然语言处理工具HanLP-N最短路径分词

  本篇给大家分享baiziyu 写的HanLP 中的N-最短路径分词。以为下分享的原文，部分地方有稍作修改，内容仅供大家学习交流！

  adnb34g 自然语言 990 2019-05-17 09:27

• ThinkNet：迄今为止最简单的语言建模网络

  https://www.toutiao.com/a6691117235055886861/ 2019-05-15 13:12:12这篇短论文介绍了一种名为ThinkNet的模型。该模型非常简单，可以应用在语言建模任务中，且能在一些任务中达到当前最佳水平。论文地址：https://arxiv.org/abs/1904.11816这篇短论文介绍了一种名为Think Again Network（Thin

  dicksonjyl560101 自然语言 1070 2019-05-16 08:42

• Python数据类型相关知识

  　　Python Number(数字)　　Python Number 数据类型用于存储数值。　　数据类型是不允许改变的,这就意味着如果改变 Number 数据类型的值，将重新分配内存空间。　　以下实例在变量赋值时 Number 对象将被创建：　　var1 = 1var2 = 10　　您也可以使用del语句删除一些 Number 对象引用。　　del语句的语法是：　　del var1[,var2[,

  小咖啡111 自然语言 980 2019-05-15 10:19