ITPub博客

首页 > 大数据 > 数据分析 > 在MaxCompute上分析IP来源的方法

在MaxCompute上分析IP来源的方法

数据分析 作者:许此一生 时间:2018-11-16 14:24:07 0 删除 编辑

摘要:            在MaxCompute上分析IP来源和供应商

淘宝IP库

淘宝IP地址库官网地址 ,其查询接口[ 地址字串]]( 地址字串]),如下所示:

image.png | left | 747x108

但是在MaxCompute中禁止使用http请求,那么如何实现在MaxCompute中进行IP的查询?
目前有三种方式:

  1. 用SQL将数据查询到本地,再发起http请求查询。-->效率低下,且淘宝IP库查询频率需小于10qps,否则拒绝请求。

  2. 下载IP地址库到本地,进行查询。-->同样效率低,且不利于数仓等分析使用。

  3. 将IP地址库定期维护上传至MaxCompute,进行连接查询。-->比较高效,但是IP地址库需自己定期维护。

下载IP地址库

① IP地址库下载, 下载需要的格式数据。本文以[基本数据格式]为例。

image.png | left | 747x221

②下载UTF-8数据,打开看看数据格式。

image.png | left | 509x55

前四个数据是IP地址的起始地址与结束地址,前两个是十进制整数形式,后两个是点分形式。这里我们使用整数形式,以便计算IP是否属于这个网段。

上传IP地址库数据

①创建表DDL:

DROP TABLE IF EXISTS ipresource ;CREATE TABLE IF NOT EXISTS ipresource 
(
    start_ip BIGINT
    ,end_ip BIGINT
    ,start_ip_arg string
    ,end_ip_arg string
    ,country STRING
    ,area STRING
    ,city STRING
    ,county STRING
    ,isp STRING)
;

②使用Tunnel上传文件(文件>10MB需要使用 Tunnel upload命令

odps@ workshop_demo>tunnel upload ipdata.txt.utf8 ipresource;

image.png | left | 747x37

可以通过SQL查看到表中共计上传2369306条数据。

③查看ipresource表样本数据。

image.png | left | 747x123

编写UDF函数

通过编写Python UDF将点号分割的IP地址转化为int类型的IP。详细如下:
①添加Python 资源。

image.png | left | 382x364

image.png | left | 397x181

②编写Python资源代码。

from odps.udf import annotate@annotate("string->bigint")class ipint(object):
    def evaluate(self, ip):
        try:            return reduce(lambda x, y: (x << 8) + y, map(int, ip.split('.')))        except:            return 0

点击提交并解锁。

image.png | left | 747x214

③新建自定义函数:

image.png | left | 747x296

提交并解锁:

image.png | left | 747x248

④验证ipint函数是否生效并满足预期值。

image.png | left | 353x190

在SQL中使用

以具体IP地址为例,在正常情况会以具体表的字段来读进来。

image.png | left | 747x150

保证数据准确性可以定期从淘宝IP库获取数据来维护ipresource这个表。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31551794/viewspace-2220351/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-08-24

  • 博文量
    298
  • 访问量
    177027