-
编辑 删除
信息增益（IG）特征提取实例
最近在做贝叶斯文本多分类，记录一下特征提取的过程：如果你对TF、DF、IDF不懂：Term Frequency：term 在文档d中的出现次数，记做tf。tf越高，意味着term 对于文档d 就越重要。Document Frequency：含有term 的文档的数量，记做df。df越高，意味着term在衡量文档之间相似性方面作用越低，比如“的”的df值肯定非常高，...
-
编辑 删除
Python 手写数字识别-knn算法应用
优点：精度高，对异常值不敏感，无数据输入假定缺点：计算复杂度高，空间复杂度高适用数据范围：数值型和标称型（具有有穷多个不同值,值之间无序） knn算法代码： #-*- coding: utf-8 -*- from numpy import * import operator import time from os import listdi...
-
编辑 删除
KNN算法理解
一、算法概述1、kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。最简单平凡的分类器也许是那种死记硬背式的分类器，记住所有的训练数据，对于新的数据则直接和训练数据匹配，如果存在相同属性的训练数据，则直接用它的分类来作为新数据的分类。这种方式有一个明显的缺点，那就是很可能无法找到...
-
编辑 删除
先验概率和后验概率
先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后...
-
编辑 删除
混淆矩阵
在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵是通过将每个实测像元的位置和分类与分类图像中的相应位置和分类像比较计算的。混淆矩阵的每一列代表了实际测得信息，每一列中的数值等于实际测得像元在分类图象中对应于相应类别的数量；混淆矩阵的每一行代表...
-
编辑 删除
Oryx简介
Oryx 的前身叫 Myrrix，后来被 Cloudera 收购改了这个名字。值得一提的是 Oryx 的维护者就是 Mahout 的主要贡献者——Sean OwenOryx开源项目旨在提供实时的大规模机器学习/预测分析基础框架目前它实现了一列工程应用常用到的机器学习算法：协同过滤，分类/回归以及聚类。Oryx 通过Apache hadoop来实现对大规模的数据流进行...
-
编辑 删除
用Hadoop构建电影推荐系统
1. 推荐系统概述电子商务网站是个性化推荐系统重要地应用的领域之一，亚马逊就是个性化推荐系统的积极应用者和推广者，亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。不光是电商类，推荐系统无处不在。QQ，人人网的好友推荐；新浪微博的你可能感觉兴趣的人；优酷，土豆的电影推荐；豆瓣...
-
编辑 删除
主题模型-LDA浅析
（一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。 举个例子，有两个句子分别如下：&n...
-
编辑 删除
Slope One :简单高效的协同过滤算法
Slope One;和其它类似算法相比, 它的最大优点在于算法很简单, 易于实现, 执行效率高, 同时推荐的准确性相对很高; 基本概念Slope One的基本概念很简单, 例子1, 用户X, Y和A都对Item1打了分. 同时用户X,Y还对Item2打了分, 用户A对Item2可能会打多少分呢?UserRating to Item 1...
-
编辑 删除
Mahout笔记
均差 ： 测试数据减真实数据的和的平均值均方差： 测试数据减真实数据的平方值的和的平均值查准率： 在top结果中相关的结果的比例查全率： 所有的相关结果包含在top结果中的比例布尔型偏好值： 只有用户id和物品id 并没有偏好强度...
