ITPub博客

首页 > IT职业 > IT生活 > 数据采集的注意事项

数据采集的注意事项

IT生活 作者:田野 时间:2021-09-11 09:53:56 0 删除 编辑

1、线下调研

紧紧围绕研究主题和目的。

题目易读,易理解,一般。

充分考虑被调人的特点。

充分考虑问题排序(循序渐进)

充分考虑统计的便利性。

线上采集

2、代码埋点:控件操作发生时,通过预先编写的编码发送数据。

优点:控制发送数据时间,事件自定义属性详细记录。

缺点:时间、人力成本大,数据传输的时效性。

3、爬虫技术:

在数据解析的时候要注意,解析数据是指提取服务器返回内容里所需要的数据,最原始的办法是使用正则表达式,爬虫工作者要适当的对内容进行提取。

以上就是数据采集的注意事项,本篇分成了线上和线下的两种模式,大家可以根据情况选择对应的方法。使用爬虫技术时可以结合代理ip的辅助,从而获取到更多的数据资源。如果大家想测试使用下,可以尝试品易云http代理ip,免费测试包含各种类ip资源,无限调用IP量!更多常见问题解决:ip

(推荐操作系统:windows7系统、Python 3.9.1、DELL G3电脑。)

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/3522/viewspace-2829710/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-07-09

  • 博文量
    80
  • 访问量
    759