Spark on Microsoft Azure(3)-Using Jupyter notebook to Predict Building Temperature
这是Spark in Azure系列文章。Spark on Microsoft Azure(1)-Create a Spark in HDInsightSpark on Microsoft Azure(2)-Using Jupyter notebook to run a spark SQL query此前的文章介绍了如何在Azure中创建Spark集群,以及如何利用Jupyter在Spark中运行...
Spark on Microsoft Azure(1)-Create a Spark in HDInsight
Spark是一个开源、分布式、基于内存的实时处理平台。与Hadoop相比,由于Spark是基于内存的,减少了磁盘IO,因此具有更好的性能。这篇文章主要讲述Microsoft Azure HDInsight上的Spark平台。1、首先得拥有一个Azure的订阅号。截止到2016年8月,Spark只存在于Azure Global版本中,Azure China并未上线。2、截止到2016年8月,只在Az...
通过谷歌API获得经纬度/地址信息(转)
原标题:如何通过经纬度获取地址信息?地址:http://www.cnblogs.com/liuhaorain/archive/2012/01/31/2334018.html 摘要Google Maps API Web Services,是一个为您的地图应用程序提供地理数据的 Google 服务的 HTTP 接口集合。具体包括:Google Geocoding API、Google Directio...
判断点是否在多边形区域里面
英语原文:https://www.ecse.rpi.edu/~wrf/Research/Short_Notes/pnpoly.html 基本思想是,以该点向任意方向(这里是x轴正向)作射线,若与多边形的交点个数为偶数,则在多边形之外,否则在多边形之内。这是作者给出的源代码:int pnpoly(int nvert, float *vertx, fl...
获得特定城市的边界
网上有通过百度地图API获得特定城市的边界的程序,如:http://www.cnblogs.com/hzb2010/archive/2012/06/10/2544096.html能够批量下载县市级以上的城市边界;http://www.cnblogs.com/i-gps/archive/2012/05/18/2507941.html和http://ww...
Azure PowerShell 创建Redis
Azure Global中,redis的黄建管理可以通过Portal进行,非常方便。但是,目前为止,Azure China的Portal不支持创建管理Redis。一种可选的方案就是使用Powershell进行管理。注意,本人使用的PowerShell版本号为1.0.1。可以通过命令:Get-Module azure获得当前的PowerShell版本。登录Azure账户时,输入下面的代码,...
visual studio 2013 for python
EPDFree免费版无法进行python调试,而平常我也经常用Visual Studio进行开发。因此打算使用Visual Studio来取代EPDFree.安装VS Python工具包。若第一次使用VS进行python开发,需要安装Python工具包。打开VS 2013,file-》new-》project-》Python,若支持Python,则会显示如下图,若不支持,则会显示需要你安装pyth...
《利用Python进行数据分析》读书笔记
安装EPDFree书中前言部分,介绍了本书需要用到的一些库,以及安装一些基本工具。EPDFree的安装中,书中指明,若电脑已经安装了Python,则需要先卸载。然而,本人通过实践,发现即使系统中已经安装了Python,也能够正常安装EPDFree。安装步骤如下:(1)下载软件:https://store.enthought.com/downloads/#default,我的版本为:canopy-1...
奇异值分解及其应用(转)
原作者:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html前言: 上一次写了关于PCA与LDA的文章,PCA的实现一般有两种,一种是用特征值分解去实现的,一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中...
R vs Python(转)
转自:https://www.datacamp.com/community/tutorials/r-or-python-for-data-analysis
一次就好(吉他教学)
吉他谱:
一次就好(简谱)
准备练练口琴/箫
在国外,听网易音乐
X墙就是一道围城,国内的人希望翻出去(浏览谷歌、脸书等),国外的人想翻回来(听国内音乐、看国内视频)。虽然我没有肉身番羽土啬,但是公司默认就是外网,无法听国内的音乐。于是着手弄了一个国内VPN,通过它,能够聆听网易云音乐了。这次国内的虚拟机是Azure上的windowsServer1、按照https://www.librehat.com/three-minutes-to-set-up-shadow...
标注偏置问题(Label Bias Problem)(转)
路径1-1-1-1的概率:0.4*0.45*0.5=0.09路径2-2-2-2的概率:0.018路径1-2-1-2:0.06路径1-1-2-2:0.066由此可得最优路径为1-1-1-1而实际上,在上图中,状态1偏向于转移到状态2,而状态2总倾向于停留在状态2,这就是所谓的标注偏置问题,由于分支数不同,概率的分布不均衡,导致状态的转移存在不公平的情况。PS:标注偏置问题存在于最大熵马尔...
判别式模型和产生式模型(转)
判别式模型( discriminative model )产生式模型( generative model ) 特点寻找不同类别之间的最优分类面,反映的是异类数据之间的差异对后验概率建模,从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度区别 ( 假定输入 x,类别标签 y)估计的是条...
Azure Table深入理解
> 1、同一个Table中的相同Partition Key是否存在同一个文件中? Azure Table为如下所示的三层结构。Stream层是最终数据存放的位置,Partition层对Stream层的数据进行分区(Partition)管理。在Stream层,数据以Extent为单位进行复制。每个Extent由Block组成,单个Extent和Block的大小均有上限。一个Stream为一组指...
ASP.NET 的静态文件路径问题
使用Azure WebRole创建了一个网站,其中引用了另外一个项目,而另外一个项目使用了静态文件。我已经让静态文件copy always。在编译网站的时候,会把此静态文件拷贝到网站的bin目录下。但是在项目读取的时候,却报无法找到此静态文件的错误。一种办法是使用绝对路径来读取静态文件。但是如何获得绝对路径呢?因为发布到Azure上时,我们是不能直接知道文件是发布到了哪里。所幸C#提供了一个方法:...
there is no chapter number to include in the caption or page number 2013
there is no chapter number to include in the caption or page number 2013,按章节标号。参考:https://www.youtube.com/watch?v=4lWcla2KeVI
c#: System.MissingMethodException: Method not found
用C#开发项目,调试运行没有问题,但是发布到Azure中,则产生以下错误:System.AggregateException: One or more errors occurred. \-\-\-> System.MissingMethodException: Method not found: 'System.IO.Stream AzureBaseLib.UBPIBlobClie...
word 2016中修改Caption的默认样式
Word2016中,若以Referrence-》insert caption插入图片等信息,插入的文字可能不是你想要的。解决办法如下:1、同时按键Ctrl + Alt + Shift + S,显示样式面板2、在样式面板中找到Caption,选择Modify3、在Modify Style窗口中调整样式即可。