ITPub博客

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方

机器学习中，数据通常被表示为向量形式输入模型进行训练，但对于大量的多维数据直接进行处理和分析会极大消耗系统资源，因此需要通过降维缓解这一问题。降维，就是用一个低维度向量来表示原始高维度向量的特征。常见的方法有：主成分分析PrincipalComponentsAnalysis,PCA线性判别分析Lin

“支持向量机”（SVM）是一种有监督的机器学习算法，可用于分类任务或回归任务。但是，它主要适用于分类问题。在这个算法中，我们将每个数据项绘制为n维空间中的一个点（其中n是你拥有的是特征的数量），每个特征的值是特定坐标的值。然后，我们通过找到很好地区分这两个类的超平面来执行分类的任务。分隔超平面：将数

DecisionTrees(DTs)是一种用来classification和regression的无参监督学习方法。其目的是创建一种模型从数据特征中学习简单的决策规则来预测一个目标变量的值。决策树的优势:便于理解和解释。树的结构可以可视化出来。训练需要的数据少。其他机器学习模型通常需要数据规范化，比

搜罗了好多python方面的书籍，包括数据可视化、数据分析、机器学习、深度学习、自然语言处理、web、爬虫、python基础。认真看下去的寥寥无几；还是有很多书籍是写的很经典的，当然也有很多书虫写的，所谓书虫即是凑书拼书，要么是为了赚取廉价稿费东拼西凑，要么是为了博名，无非名利二字，写过书的人都知道

说实在的，人工智能这个概念有些过于高大上，从大的方面包括深度学习、机器学习、强化学习等等，而深度学习又包括图像识别、语音识别、自然语言处理、预测分析；机器学习则包括监督学习、无监督学习、半监督学习，监督学习又细分为回归、分类、决策树等等。理论上人工智能什么都能做，什么都能迎合的上。关键数据质量管理实

在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(X),要么是条件分布P(Y|X)。朴素贝叶斯方法是基于贝叶斯定理的一组有监督学

再次开启机器学习之路，这次选择鸢尾花案例，这个案例数据挺好玩的，可以验证无监督学习和有监督学习，有监督学习可以采用各种分类算法、决策树算法，无监督学习可以采用各种聚类，并基于目标结果进行验证准确性。当然本文首先是如何获取数据，如何规范化数据，如何对数据进行可视化观测，观测的方法有很多种，有兴趣的可以

聊天机器人主要包括检索式聊天机器人和搭建神经网络机器人。检索式聊天机器人包括：1、检索式问答系统核心技术之倒排索引技术点：关键词抽取，tf-idf，倒排索引，NLP2、检索式问答系统核心技术之rank技术点：ctr预估，learningtorank，排序模型指标评测，逻辑回归，gbdt神经网络机器人

python最大的好处就是有无穷无尽的包资源，如何把这些包资源组合起来发挥其应有的价值也是一个很重要的工作。比如NLP的文本摘要提取就有几个现成的可以实现，如snownlp，goose3，sumy，虽然摘要效果未必理想。后续还会有相关文章对文本摘要进行处理。代码示例importjieba,pkuse

自然语言处理包括中文分词、词性标注、关键词抽取、依存句法分析、文本分类接口情感分析、词义相似度计算、实体标识、文本摘要等等，慢慢来吧，看看一步步能到什么程度。本文实现的是关键词提取。在jiaba中，关键词提取包括了TF-IDF关键词提取、PageRank关键词提取方式，同时还可以自定义语料库、停用词

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程(见百度百科)在英文中单词之间是以空格作为自然分界符的，大多数情况下一个字即一个词；而中文分词则缺乏形式上的分界符，词以双字或多字组合居多。中文分词技术是自然语言处理技术的基础，分词算法主要分为：基于字符串匹配的分词方法、基于理解的分词方法和

关于pyecharts和flask结合的案例不多，查阅了数十篇文章，尝试了若干遍，感觉还是不理想，最大的问题在于对echarts的理解上，对我而言，又需要向上推到ajax，jquery，bootstrap，html，css，javascript等等，有点超出了我的技能范围，所以最大程度的做到能用就够

pyecharts提供了一些多坐标轴，图表组合功能，动画播放功能；在本文中第一段代码是通过geo展现三千多个地级市、县级市的热力图，第二段代码是播放从1950年-2010年各省直辖市自治区GDP的发展情况；第三段代码是以表格方式展现六大行政区的一二三产业数据；第四段代码通过grid来调整标题和图例的

关于Numpy基础操作，有两本书不错，也是非常完整的，其中第一本是《数据分析基础》PPT，第二本书是《Python数据分析基础教程Numpy学习指南》，在数据分析基础ppt中，基本上涵盖了Numpy、Pandas、Matplotlib的一些日常操作，在Numpy学习指南中提供了大量的实战例子，不过关

NumPy：NumericalPython，即数值Python包，是Python进行科学计算的一个基础包，因此要更好理解和掌握Python科学计算包，尤其是pandas，需要先行掌握NumPy库的用法from__future__importdivisionimportnumpyasnpimportm

方案一、最便捷但权限最大为每个数据库添加metadata账号，赋予读取任何表权限createusermetadataidentifiedbypassworddefaulttablespaceUSERASPACEtemporarytablespaceUSERTEMP;Grantconnect,reso

关于Oracle12c连接报错的问题这段时间因为项目原因，接触到了Oracle12C，其实问题很简单，就是pl/sqldeveloper能够访问数据库服务端即可，却碰到了奇奇葩葩的问题，现分享一下。1、在java端报Ora-12505错误，即TNS:listenerdoesnotcurrentlyk

pyqt5是一套Python绑定DigiaQT5应用的框架。Qt库是最强大的GUI库之一。pyqt5的官方网站http://www.riverbankcomputing.co.uk/news。pyqt5做为Python的一个模块，它有620多个类和6000个函数和方法。这是一个跨平台的工具包，它可以

python迭代器是个比较绕的概念，一遍示例一遍领悟，无他⽣成器也是⼀种迭代器，但是你只能对其迭代⼀次。这是因为它们并没有把所有的值存在内存中，⽽是在运⾏时⽣成值。你通过遍历来使⽤它们，要么⽤⼀个“for”循环，要么将它们传递给任意可以进⾏迭代的函数和结构。⼤多数时候⽣成器是以函数来实现的。然⽽，它