大数据平台Bug Bash大扫除最佳实践
作者:尹伟背景目前大促备战常见备战工作:专项压测(全链路压测、内部压测)、灾备演练、降级演练、限流、巡检(监控、应用健康度)、混沌演练(红蓝对抗),如下图所示。随着平台业务越来越复杂,红蓝对抗的作用愈来愈明显,下面将详细介绍大数据平台在本次双十一大促备战工作中是如何开展红蓝对抗的。首先我们先了解一下什么是红蓝对抗,它都有哪些好处?一、红蓝对抗介绍红蓝对抗是网络安全领域常见的一种对抗性演练方法
电商API与大数据:解锁购物行为洞察
“电商API与大数据:解锁购物行为洞察”这一标题揭示了电商API技术与大数据在解锁和分析消费者购物行为方面的重要作用。以下是对这一主题的详细探讨:一、电商API技术概述API(应用程序编程接口)作为连接不同系统和数据源的桥梁,在电商领域发挥着至关重要的作用。它允许电商平台从多个来源收集数据,包括社交媒体、搜索引擎、网站访问、销售交易等,为市场趋势分析和消费者行为研究提供了丰富的原材料。通过API接
熠熠生辉|美创联合数字重庆大数据应用发展有限公司项目获数据安全“星熠”案例!
11月28日,由中国信息通信研究院安全所主办,大数据应用与安全创新实验室承办的“数据安全共同体计划成员大会(2024)”在京召开,会上公布2024数据安全“星熠”案例入选名单并颁发证书。数字重庆大数据应用发展有限公司(以下简称“数字重庆公司”)、杭州美创科技股份有限公司(以下简称“美创科技”)联合申报的「数字重庆大数据应用发展有限公司数据安全体系建设项目」获数据安全“星熠”案例荣誉称号。2024年
如何建设开放可控的企业大数据平台?
不久前,袋鼠云成功举办了以 "AI 驱动,数智未来" 为主题的 2024 年秋季发布会。此次发布会聚焦于如何借助 AI 技术实现企业的新一轮飞跃,重塑企业的经营管理模式,加速数智化进程。会上,袋鼠云围绕 **"数智基建 + 数智应用"** 进行了深入的分享,引发了与会者和业界的广泛关注和热烈讨论。为了帮助企业更好的了解该业务,袋鼠云组织了一场由资深产品经理和
产品解读 | TDC 5.0:多集群统一纳管,构建一体化大数据云平台
星环科技数据云平台Transwarp Data Cloud(简称TDC)5.0版本架构屏蔽底层多个TDH集群的差异,采用统一操作模式,新增一个多集群抽象与管理层,能够实现多集群网络互通、跨集群资源调度。
快手大数据分析-NoETL 驱动下的功能实践
快手数据平台部的使命是提升数据决策效率,利用数据促进业绩增长。我们需要通过数据处理、数据挖掘、并借助一些产品工具为业务提供分析、实验和增长方面的解决方案。
大数据从业者必知必会的Hive SQL调优技巧
作者:京东科技 李然辉大数据从业者必知必会的Hive SQL调优技巧摘要:在大数据领域中,Hive SQL被广泛应用于数据仓库的数据查询和分析。然而,由于数据量庞大和复杂的查询需求,Hive SQL查询的性能往往不尽人意。本文针对Hive SQL的性能优化进行深入研究,提出了一系列可行的调优方案,并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技巧,能够显著提升Hive SQL的
产品解读 | 构建数智融合时代下的一站式大数据平台
随着智能化技术的飞速发展,尤其是以生成式AI为代表的技术快速应用,推动了数据与智能的深化融合,给数据基础设施带来了新的变革和挑战。如何简化日益复杂的系统架构,提高数据处理效率,降低开发运维成本,促进数据开放共享和创新应用,成为企业关注的核心问题。
云计算、大数据、人工智能三者有什么联系?
云计算、大数据和人工智能(AI)是现代信息技术领域中相互关联且互为促进的三个重要方面。它们之间的联系可以概括如下:云计算为基础:云计算提供了计算资源和服务的按需分配能力,如服务器、存储、数据库、网络等,这些资源可以通过互联网轻松访问和使用。这种模式降低了企业和个人使用高级计算资源的成本和门槛,使得大规模数据处理成为可能。对于大数据和人工智能来说,云计算提供的强大计算能力和弹性扩展特性尤为重要,因为