ITPub博客

首页 > 大数据

关于 “大数据” 的内容如下:

  • 第 3 篇|调度是如何“跑起来”的?

    但一个始终绕不开的问题是:当时间到了,或者事件发生了,这个 Workflow 到底是如何一步步“跑起来”的?

    DolphinScheduler 数据挖掘 1044 2026-02-10 14:42
  • HDFS 从概念到实战详解:大数据分布式存储核心指南

    HDFS 从概念到实战详解:大数据分布式存储核心指南在大数据时代,海量数据的存储的核心痛点的是“可靠、高效、可扩展”——单机文件系统无法承载 TB/PB 级数据,也难以应对硬件故障、高并发访问等场景。HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)作为 Apache Hadoop 生态的核心存储组件,正是为解决这一痛点而生,它依托廉价商用硬件,

    what丶k Hadoop 1380 2026-02-10 13:44
  • 区块链技术与人工智能技术融合的底层逻辑与产业落地

    区块链与人工智能的融合,早已超越 “信任底座 + 智能引擎” 的表层协同,演变为一场触及技术内核、重构产业逻辑的深度革命。

    news1 可视化 1259 2026-02-10 12:42
  • MapReduce 详解:分布式计算的开山鼻祖与核心实践

    MapReduce 详解:分布式计算的开山鼻祖与核心实践在大数据浪潮席卷全球的今天,当我们面对 PB 级、EB 级的海量数据时,传统单机计算早已力不从心——无论是服务器的算力上限,还是数据存储的容量瓶颈,都让大规模数据处理成为一道难题。而 MapReduce,作为分布式计算领域的“开山鼻祖”,以其“分而治之”的核心思想,为海量数据处理提供了一套高效、可靠、可扩展的解决方案,更是奠定了 Hadoop

    what丶k Hadoop 1365 2026-02-10 09:37
  • 小红书笔记详情数据获取实战:从笔记链接提取 ID 到解析详情

    小红书笔记详情数据获取实战:从笔记链接提取 ID 到解析详情

    tbapi 数据挖掘 1265 2026-02-09 16:21
  • 淘宝店铺所有商品API接口实战指南

    一、核心接口与功能核心接口:taobao.item_search_shop功能:通过店铺唯一标识(seller_id/店铺ID)批量获取店铺内所有上架商品数据,支持分页、排序及字段定制。数据范围:商品ID、标题、价格、销量、库存、主图、类目、SKU详情、运费模板等核心字段。适用场景:电商ERP系统对接、竞品监控、店铺运营看板、商品聚合展示等。二、接入全流程账号与权限准备注册开放平台:访问淘宝开放平

    OneLafite 数据分析 1355 2026-02-09 13:57
  • 关键词搜索京东列表 API 技术对接指南

    关键词搜索京东列表 API 技术对接指南

    tbapi 数据挖掘 1102 2026-02-05 16:28
  • 基于图扑 HT 引擎:数字孪生民航飞联网方案

    图扑基于 HTML5 自主研发 2D、3D 图形渲染引擎,依托 WebGL、Canvas 技术栈打造纯前端可视化插件 HT for Web。该插件支持轻量化三维模型导入加载,可完成界面渲染、组件联动与动态效果呈现,能够搭建标准化、可交互的可视化管控界面,为工业互联网监控运维场景提供一体化前端可视化实现方案。核心技术架构设计引擎底层支撑HT for Web 引擎基于 WebGL 实现高性能 3D 图

    一只物联网鲸鱼 可视化 1159 2026-02-05 14:26
  • 解决了加密货币量化交易策略实施的难题

    在加密货币的量化交易中,波动性极高的市场带来了许多挑战,尤其是在实时数据获取和交易策略的执行效率上。任何一点延迟,都可能导致错失盈利机会,甚至在高频交易的场景中,几毫秒的延迟也可能让你付出惨痛的代价。每个量化交易者都知道,如何在如此动态的市场中,将策略迅速而准确地执行下去,是成功的关键。我将分享一些我们在实际开发过程中遇到的技术难题,并且探讨如何通过技术手段来解决这些问题,特别是在实时数据获取、策

    WS_9 数据分析 1044 2026-02-04 21:15
  • 第 2 篇|Apache DolphinScheduler 的核心抽象模型

    本文为《深入理解 Apache DolphinScheduler:从调度原理到 DataOps 实战》系列专栏第 2 篇,从源码与调度模型视角,解析 DolphinScheduler 的核心抽象设计,重点说明 Workflow、TaskDefinition 与实例对象的职责边界,并结合 DAG 示意图解释调度系统如何基于依赖判断驱动复杂任务编排。

    DolphinScheduler 数据分析 1029 2026-02-04 18:22
  • 为什么海外大厂开始重新评估 Airbyte?

    在数据集成领域,Airbyte 曾凭借开源和丰富的连接器库迅速流行。但在与架构师聊天的过程中我发现,随着企业级使用需求增加,在复杂企业环境中,Airbyte 仍存在一些局限,需要结合更强的底层引擎和本地化运维来弥补。这也导致了许多海外企业开始关注 Airbyte 的替代品,比如 SeaTunnel 和 WhaleStudio,寻找“工业级”的数据集成方案。

    DolphinScheduler 可视化 1105 2026-02-04 18:09
  • 第 1 篇 | 调度系统,不只是一个“定时器”

    很多团队一开始都把调度系统当成“定时跑任务的工具”,直到任务规模上来、依赖变复杂、失败开始难以恢复,才意识到问题的根源并不在脚本本身。

    DolphinScheduler Spark 1199 2026-02-04 18:07
  • 一键获取京东商品评论信息,item_reviewAPI接口指南

    根据京东开放平台官方文档及开发者实践,获取京东商品评论信息需通过 jd.item_review API接口 实现,具体操作指南如下:接口基本信息接口名称:jd.item_review(商品评论列表)、jingdong.comments.list(评论详情)请求方式:HTTP GET/POST(以接口文档为准)核心参数:app_key:开发者应用标识(需在开放平台注册后获取)sk

    OneLafite 数据挖掘 1163 2026-02-03 17:16
  • 神东煤炭 × 图扑 | 国产组态 SCADA HMI 矿山一体化管控平台

    在矿业智能化转型的关键阶段,设备稳定运行、故障快速处置、运维高效协同成为矿山高质量发展的核心诉求。神东煤炭智能技术中心以“界面标准化、响应高效率、成果可复制”为核心目标,应用图扑软件自研 HT for Web 系列产品平台自主完成一体化管控平台升级。此次升级既是神东煤炭运维能力的跨越式提升,更是图扑 HT for Web 平台(简称 HT 平台)综合实力的体现,不仅在可视化大屏与数字孪生领域优势明

    一只物联网鲸鱼 可视化 1281 2026-02-03 13:52
  • 京东商品详情 API(jd.item_get)

    京东商品详情 API(jd.item_get)

    tbapi 数据挖掘 1048 2026-02-02 16:45
  • 1688店铺商品信息一键获取实战指南

    一、官方API接口方案(推荐)核心步骤:注册开发者账号访问1688开放平台,完成企业/个人实名认证,创建应用获取App Key和App Secret。接口调用示例商品搜索:调用alibaba.product.search接口,支持关键词、类目、价格区间筛选,分页参数page_no和page_size可控制数据量。商品详情获取:通过alibaba.product.get接口,传入商品ID获取标题、价

    OneLafite 数据分析 1702 2026-02-02 15:43
  • 提升品牌曝光,GEO抢占AI营销先机

    昆山兵贵神速智能科技有限公司的GEO优化技术帮助企业在生成式AI搜索引擎中精准曝光。通过GEO优化,企业内容不仅在传统搜索引擎中排名提升,还能在豆包、元宝、DeepSeek等AI平台中频繁展示,精准触达潜在客户。利用结构化数据和AI内容优化,GEO优化确保更高曝光率,助力品牌快速增长。立即开启你的GEO优化之旅,提升品牌曝光,抢占市场先机!

  • 昆山兵贵神速智能科技有限公司荣获“华为云杯”2025人工智能OPC应用创新大赛三等奖

    技术赋能产业!昆山兵贵神速智能科技有限公司荣获“华为云杯”2025人工智能OPC应用创新大赛三等奖

  • 实力突围!昆山兵贵神速智能科技有限公司斩获2025年算网杯AIGC开发者大赛“AI黑马奖”

    实力突围!昆山兵贵神速智能科技有限公司斩获2025年算网杯AIGC开发者大赛“AI黑马奖”

  • 最值得推荐的5家跨境营销服务商

    随着跨境电商竞争加剧,企业不再满足于依赖第三方平台获取流量,而是希望通过自建独立站、搭建营销中台来掌握自主流量和数据资产。独立站市场正在迅速增长,预计到2025年中国独立站规模将达5.5万亿元并占跨境电商B2C市场的41%–50%,成为品牌出海的重要阵地。然而,独立站意味着更高的技术和运营门槛,企业在选择服务商时需关注功能覆盖、系统整合度以及AI一体化趋势。

点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章