ITPub博客

首页 > 大数据

关于 “大数据” 的内容如下:

  • 知识库 + 专家规则双方案驱动质量规则智能推荐

    Astro数据质量Agent实现从规则生成到任务执行的一站式闭环。针对规则冷启动难、告警噪声大、维护成本高、上线链路长等行业痛点,提供双方案并行机制:知识库方案匹配行业最佳实践,专家规则方案解决冷启动问题,覆盖六大质量维度,支持一键推送至TDS并自动创建质量检查任务,实现端到端质量管理。

    星环科技 数据挖掘 937 2026-06-15 17:41
  • Python + Pytest 接口自动化测试方案

    前言Postman 仅适合单接口调试,面对批量回归、多环境验证和持续集成场景,手工操作效率极低且易出错。本文带你从零搭建一套 Python + Pytest 接口自动化测试框架,覆盖接口封装、数据驱动、报告可视化、CI/CD 集成全流程,可直接用于小型项目,也可平滑扩展至大型分布式系统。技术选型与优势对比我们选择以下技术栈,兼顾易用性、扩展性和生态成熟度:技术工具核心作用选型优势Python 3.

    ob_Alan 数据挖掘 915 2026-06-15 17:29
  • 阿里巴巴1688商品详情API返回值全面解析——商品基本信息

    1688商品详情API的返回值以JSON格式封装,结构清晰、字段丰富。商品基本信息是整个返回值的核心骨架,直接决定了你能否精准获取商品的"身份证"。以下从六大维度逐层拆解。一、返回值顶层结构json{  "request_id": "xxxxxxx",  "code":

    万邦科技Lafite 数据分析 1223 2026-06-15 14:32
  • 京东商品评论接口技术实现:从接口分析到数据挖掘

    一、接口原理与合规要点1. 接口架构原理京东评论接口分为 JOS 商家版、联盟开放版,统一网关路由,采用MD5 签名 + OAuth2.0 双鉴权防篡改。联盟接口面向第三方,用来竞品调研;商家接口仅限自有店铺数据,准入严苛。接口数据默认仅留存近 180 天评论,存在分页上限与 QPS 限流。2. 合规红线(核心)仅使用平台官方开放 API 获取数据,禁止抓包逆向前端匿名接口、代理爬虫批量爬取,规避

    ob_Alan 数据挖掘 1095 2026-06-15 10:38
  • 快消品出海泰国场景化营销方案:数据洞察、本土适配、全链路落地实践

    2026年,泰国快消品市场规模突破8000亿泰铢,年增长率达5.8%,其中中国快消品凭借供应链优势与场景化适配能力,在美妆、食品、日用百货等赛道快速崛起,市场份额持续提升。不同于传统出口模式,泰国快消品市场竞争已进入“场景制胜”的新阶段,消费者更注重产品与日常生活场景的契合度,单纯的性价比优势已难以形成长期竞争力。中国快消品企业要在泰国市场站稳脚跟,需深度挖掘本地消费场景,做好产品适配与场景化营销

    mayatradehub 可视化 1010 2026-06-14 18:58
  • 并发接口调用稳定性优化:特征隔离与流量整形实操

    一、线程特征隔离(解决请求指纹统一问题)import random import time import requests # 浏览器指纹池 USER_AGENTS = [     "Mozilla/5.0 (Windows NT 10.0;&n

    ob_Alan 数据分析 948 2026-06-14 17:19
  • 聊点技术 | 从"统一接入"到"统一调度":重塑可观测平台的数据底座

    作者:博睿数据数智能力中心  差不多先生   5月12日,博睿数据面向全球发布Bonree ONE 4.0,以“AI可观测+智能体工作台+AI智问”三大核心能力,将AI驱动的智能可观测能力推向全新高度,让大模型应用的每一笔调用、每一次决策全程可视、全程可控。本次产品升级并非单点功能迭代,而是对平台数据底层架构的系统性重构:从分散的接入链路收敛为统一调度体系,从多业务割

    博睿数据 可视化 474 2026-06-12 18:00
  • 拍立淘 2026 技术拆解:多模态商品搜索的核心实现

    最近研究了拍立淘 2026 的技术升级,发现这次不是简单的算法迭代,而是把整个商品搜索的底层逻辑给重写了。传统以图搜图走到今天,天花板已经很明显:用户拍一张图,系统返回一堆视觉上最像的,但用户真正要的 "同款最低价"" 风格平替 ""配套配件",纯向量匹配根本给不出来。拍立淘这次的核心转变,是把商品搜索从 "向量近邻检索问题&q

    ob_Alan 数据分析 482 2026-06-12 16:12
  • 淘宝和天猫商品详情 API (V1)

    淘宝和天猫商品详情 API (V1)

    tbapi 数据挖掘 1156 2026-06-12 14:27
  • 天猫商品评论API:多维度评价数据获取指南

    核心结论天猫商品评论不直接对普通开发者开放,但通过淘宝开放平台可以申请接入,获取包含商品质量、服务态度、物流等多维度评分的结构化数据。主要接口为 taobao.item.review(淘宝)和 tmall.item.evaluate.get(天猫)。一、API 能返回哪些多维度数据维度字段示例说明评分维度描述相符、服务态度、物流服务每个维度独立打分(1-5星)评论内容rate_content、ad

    万邦科技Lafite 数据分析 1199 2026-06-12 14:16
  • 京东RESTful商品接口三大异步优化核心

    RESTful接口传统同步模型存在串行阻塞、并发低、数据不一致、大促易雪崩等问题。核心优化分为响应式全链路异步、数据层异步一致性、流量层异步削峰容错三大重点,完全兼容RESTful无状态规范。一、响应式全链路异步优化(解决阻塞、耗时、故障传导)替换Tomcat同步线程,基于Netty+WebFlux实现非阻塞事件驱动,多服务并行聚合、非核心业务异步解耦,提升线程复用率,杜绝服务故障传导from&n

    ob_Alan 数据分析 1125 2026-06-12 11:32
  • 好的 MVP 长什么样?从 Dropbox、Airbnb 到 Product Hunt 的早期案例

    如果你正在做一个 MVP,你大概率会反复问自己几个问题:这个版本够不够?现在能不能发布?它是不是还太粗糙?用户真的能从里面看出价值吗?很多团队都想把产品做大,甚至一开始就想着走向全球市场。于是他们花了大量时间、资金和精力,把一个功能完整、看起来很成熟的产品做出来,却到最后才发现:用户可能根本不需要它。产品规模化从来不是一步到位的事。它需要一次又一次实验。而一个好的开始,通常就是先做出一个 MVP,

    wiwi 数据分析 936 2026-06-11 18:21
  • 基于 HT 实现地铁数字化大屏管控运维平台技术

    一、引言随着城市轨道交通网络持续扩容,地铁车站运维呈现出设备类型繁杂、监测点位分散、客流动态变化快、应急场景多等特征。传统二维监控界面存在数据割裂、空间关联性弱、跨终端交互适配差等问题,已无法满足现代化地铁综合运维需求。本文基于HT for Web(简称 HT) 前端可视化技术栈,结合三维轻量化建模、多源数据对接、视频融合、联动预警等技术,解析西安地铁数字化综合运维大屏管控平台的整体架构、核心技术

    一只物联网鲸鱼 可视化 919 2026-06-11 15:05
  • API数据格式认证方式框架及工具:技术代码与实践指南

    API安全是数据交互的核心保障。本文聚焦API认证的主流框架与工具,通过技术代码示例解析API Key、JWT令牌和HMAC签名三种核心认证方式,助力开发者快速构建安全可靠的API服务一、API Key认证:轻量级身份验证适用于内部系统或低风险场景,通过密钥实现身份确认代码示例(Python请求示例):import requests response = req

    ob_Alan 数据挖掘 849 2026-06-11 13:54
  • 同程旅行数据困境大破解!借 Apache SeaTunnel 打造统一数据通道

    随着生成式 AI 技术的发展,企业对数据基础设施提出了新的要求。除了传统的结构化数据之外,文本、图片、音频等多模态数据正在快速增长。面对更加丰富的数据类型和更加复杂的数据链路,如何构建统一、高效且易于治理的数据通道平台,成为许多企业关注的重要课题。在即将举行的 Apache SeaTunnel Meetup 六月专场活动中,我们邀请到了同程旅行数据开发工程师、Apache SeaTunnel Co

    SeaTunnel 数据挖掘 547 2026-06-10 17:53
  • 87 个 PR 迭代复盘|Apache SeaTunnel 5 月版本重点更新解读

    社区小伙伴们,Apache SeaTunnel 5 月份月报姗姗来迟啦!

    SeaTunnel 数据挖掘 568 2026-06-10 17:36
  • Demo 演示 | 基于 Apache SeaTunnel 实现从 MySQL CDC 到 PostgreSQL 全量数据同步

    本文详细演示了如何通过 Apache SeaTunnel 2.3.9 实现 MySQL  CDC 到 PostgreSQL 的全量数据同步。话不多说,我们开始学习 MySQL 同步到 PostgreSQL 场景:版本要求:MySQL --> MySQL-8.3PostgreSQL --> PostgreSQL-13.2Apache SeaTunnel --> Apac

    SeaTunnel 数据挖掘 602 2026-06-10 17:05
  • 基于 DolphinScheduler 与 SeaTunnel 实现 MySQL 到 Doris 离线定时增量同步

    在企业数据平台建设过程中,数据同步是一项非常常见的需求。随着业务规模不断增长,全量同步带来的数据库压力和资源消耗也会越来越大。因此,在实际生产环境中,增量同步往往是更常见的选择。本次演示将结合 Apache DolphinScheduler 与 Apache SeaTunnel,实现一个典型的离线增量同步场景:通过 DolphinScheduler 获取目标端同步位点,并将该位点作为参数传递给 S

    DolphinScheduler 数据挖掘 557 2026-06-10 16:47
  • Apache DolphinScheduler 3.4.2 发布!新增 Amazon EMR Serverless 插件

    近日,Apache DolphinScheduler 社区正式发布 3.4.2 版本。作为 3.4.x 系列的重要维护版本,3.4.2 延续了社区一贯的高质量迭代节奏。本次发布不仅带来了 Amazon EMR Serverless 任务插件、监控中心增强等用户可直接感知的新能力,同时还围绕补数据场景、任务插件能力、安全治理、权限控制以及底层架构进行了大规模优化和重构。从 Release 周期来看,

    DolphinScheduler 可视化 539 2026-06-10 15:44
  • 深耕稀土智造:现代化冶炼体系如何实现高效生产?

    依托图扑 HT 稀土全流程三维可视化解决方案,稀土冶炼实现从传统工艺黑箱、经验粗放运维,向全流程透明可视、数据驱动智能决策转型,重构全链路管控体系。图扑软件以自主可控引擎技术为核心,深耕工业数字孪生与 Web 可视化领域,赋能稀土新材料、冶金矿产等国家战略资源产业升级,助力流程化工行业构建智能安全管控体系,推动国家关键战略资源及化工产业高质量发展。

    一只物联网鲸鱼 可视化 513 2026-06-10 15:41
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章