-
python抓取大数据无响应解决
当你使用Python进行数据抓取（特别是大数据量的抓取）时，遇到程序无响应或运行缓慢的情况是很常见的。这通常是由于网络延迟、数据量大、处理逻辑复杂、内存不足或CPU负载过高等因素导致的。以下是一些解决这类问题的策略：分批抓取：将大数据集分成多个小块或批次进行抓取。这样可以减少每次请求的数据量，降低内存消耗和响应时间。使用循环或递归函数来逐批处理数据。异步处理：使用异步IO（如asyncio库）来并
-
从困境到突破，EasyMR 集群迁移助力大数据底座信创国产化
在大数据时代，企业对数据的依赖程度越来越高。然而，随着业务的不断发展和技术的快速迭代，大数据平台的集群迁移已成为企业数据中台发展途中无法回避的需求。在大数据平台发展初期，国内数据中台市场主要以国外开源 CDH、商业化 CDP、HDP 为主。然而，由于国际形势的转变，以海外大数据基础平台作为基石构建的数据中台面临着极为严峻的安全挑战。● Cloudera 和 Hortonworks 产品开启付费订阅
-
货拉拉大数据新一代基础架构实践与思考
货拉拉大数据团队在成立三年内解决了诸多业内难题，取得了一些阶段性成果。在本次分享中，作者将深入探讨大数据基础架构如何实现高钱效、高运维效率和高分析效率，其中遇到哪些挑战以及解决思路。
-
【赵渝强老师】基于大数据组件的平台架构
在了解了大数据各个生态圈所包含的组件及其功能特性后，就可以利用这些组件来搭建一个大数据平台从而实现数据的存储和数据的计算。下图展示了大数据平台的整体架构。 视频讲解如下：大数据平台的Lambda架构 大数据平台的Kappa架构  
-
星环科技与宁夏银行“大数据联合实验室”揭牌，持续打造金融科技新范式
5月30-31日，2024向星力·未来数据技术峰会期间，在峰会现场来宾共同见证下，星环科技与宁夏银行“大数据联合实验室”正式揭牌，宁夏银行股份有限公司首席信息官崔彦刚与星环科技副总裁邱磊共同为联合实验室揭牌。星环科技与宁夏银行借助宁夏银行在相关业务上丰厚的专家经验，以及星环科技在大数据、人工智能、知识图谱、大模型等方面的技术优势，成立了西北实体化“大数据联合实验室”，围绕云原生、湖仓一体、人工智能
-
优化数据处理效率，解读 EasyMR 大数据组件升级
EasyMR 作为袋鼠云基于云原生技术和 Hadoop、Hive、Spark、Flink、Hbase、Presto 等开源大数据组件构建的弹性计算引擎。此前，我们已就其展开了多方位、多角度的详尽介绍。而此次，我们成功接入了大数据组件的升级和回滚功能，能够借助 EasyMR 来掌控大数据组件的升级与回滚流程。在本文中，我们就将为大家详细介绍在 EasyMR 中如何接管大数据组件的升级和回滚流程。传统
-
大数据平台架构演变
大数据平台，是企业用户在大数据环境下用于分析与决策的平台。按技术架构划分，主要包含数据收集与存储、数据计算、数据分析与决策三个层级。
-
BI大数据分析：引领企业走向成功的秘诀
BI大数据分析：引领企业走向成功的秘诀 在当今这个数据驱动的时代，企业面临着前所未有的挑战与机遇。如何在激烈的市场竞争中脱颖而出，实现可持续发展？答案就是——BI大数据分析。今天，我们就来探讨一下BI大数据分析如何成为企业走向成功的秘诀。 一、BI大数据分析的价值 BI大数据分析是一种将大量数据转化为有价值信息的技术。它可以帮助企业更好地了解市场、客户和竞争对手，从而
-
揭秘商业智慧的秘密武器：BI大数据分析
揭秘商业智慧的秘密武器：BI大数据分析 在信息化社会的浪潮中，数据已经成为企业最宝贵的资产之一。如何从海量的数据中提炼出有价值的信息，指导企业决策，成为每个管理者都必须面对的问题。此时，BI大数据分析应运而生，成为了商业智慧的秘密武器。 一、BI大数据分析是什么？ BI（Business Intelligence），即商业智能，是一种运用数据仓库、在线分析和数据挖掘技
-
大数据交互查询的“统一入口”——多源数据查询平台建设实践
openLooKeng组件已经覆盖了光大银行内部所有主流数据源。后续，平台将持续提升自主可控能力，推进现有openLooKeng组件与新技术组件的融合(例如Hudi，支持实时数据湖场景数据探查)。
