ITPub博客

　　文本过滤一般是网络环境下根据一定的标准和要求从动态的文本信息流中选取用户需要的信息或剔除用户不需要信息的方法和过程。　　随着信息社会的不断发展，人们面临的信息日益剧增，如何更准确、有效地找到自己感兴趣的信息，过滤掉与需求无关的“垃圾”信息，成为了一个重要的研究问题，内容过滤技术也就应运而生...

　　自然语言处理(NLP，Natural Language Processing)是一个信息时代最重要的技术之一，简单来讲，就是让计算机能够理解人类语言的一种技术。在其中，分词技术是一种比较基础的模块，分词的意义非常大，在中文中，单字作为最基本的语义单位，虽然也有自己的意义，但表意能力较差，意义较分散，而词的表意能力更强，能更加...

　　在中文自然语言中，词是最小的能够独立活动的有意义的语言成分。但是汉语词语之间没有明显的区分标记，因此在进行中文自然语言处理前，通常是先将汉语文本中的字符串切分成合理的词语序列，再在此基础上进行其它分析处理。将中文字符串切分成合理词语序列的过程就是中文分词，它是中文信息处理的一个基础环节，已经被...