ITPub博客

随着大数据时代的到来，数据的价值日益凸显，而如何从海量数据中提取有价值的信息成为了一个挑战。AI大模型的出现，为大数据领域带来了新的机遇和变革。

转载 danny_2018 1625 2024-10-09 17:46:30

摘要Summary近年来，随着利率市场化进程加快，互联网金融发展迅速，传统银行受到新兴互联网金融的冲击衍生出了全新的产品、服务与业态。同时，大数据技术越发成熟，具备更高的性价比、更强的计算存储能力和更易扩展的数据处理能力，能够充分发挥全量数据的价值，是各银行适应互联网金融及大数据时代的必备基础平台。在海南自由贸易港加快建设的背景下，海南某银行通过构建标准一体化的数据平台以加快数字转型，推动金融产品

原创 GBASE南大通用 797 2024-09-27 17:00:32

本文根据2024云栖大会开源大数据专场实录整理而成，开源大数据全面升级：Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展。

原创 阿里云大数据AI技术 1682 2024-09-27 14:27:02

当我们打开购物软件或社交软件，首页总会推送一些我们近期搜索过的物品、相关话题，这时候大家头脑里都会冒出一个词“大数据”，那究竟什么是大数据？对于大数据很多权威机构给出了自己的定义，比如Gartner对大数据的解释是：大数据是指高容量、高速度或高多样性的信息资产，它们需要借助成本效益高、创新的信息处理方式，以获取更深入的洞察、决策支持并实现流程自动化。 从这个定义中我们也可以看出，大数据的

原创 jishu2024 1159 2024-09-25 16:01:31

大数据从业者必知必会的Hive SQL调优技巧摘要：在大数据领域中，Hive SQL被广泛应用于数据仓库的数据查询和分析。然而，由于数据量庞大和复杂的查询需求，Hive SQL查询的性能往往不尽人意。本文针对Hive SQL的性能优化进行深入研究，提出了一系列可行的调优方案，并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技巧，能够显著提升Hive SQL的执行效率和响应速度。关

原创 京东技术 710 2024-09-24 13:53:59

处理大数据时，内存管理至关重要。以下是一些高效的技巧：1. 优化数据类型确保使用合适的数据类型可以显著减少内存使用：    使用 category 类型处理重复字符串。    使用 int32 或 float32 替代默认的 int64 和 float64（如果数据范围允许）。pythondf['column_name']

原创 mingtian66 646 2024-09-22 23:12:30

1. 使用布尔索引假设你有一个数据框 df，你想过滤出某列（如'column_name'）值大于某个阈值的行：pythonimport pandas as pd# 示例数据框data = {    'column_name': [1, 2, 3, 4, 5],    'other_column&#3

原创 mingtian66 722 2024-09-22 23:11:40

近日，思迈特软件与出版发行及电商书城领域的领军企业——浙江出版传媒股份有限公司，正式启动大数据分析管理平台建设项目。浙版传媒相关领导出席本次会议，思迈特软件副总经理李鑫、解决方案部总监利骏锋携项目团队主要成员共同出席。作为出版行业的领军企业，浙版传媒在出版发行和电商书城领域一直处于国内前列。浙版传媒是浙江出版联合集团的控股子公司，业务覆盖图书、电子音像制品和期刊的出版与发行，同时也在数字出版、数字

原创 思迈特Smartbi 462 2024-09-22 11:42:20

湖仓一体数据架构为AIGC提供了一个高效、灵活且安全的数据管理和处理平台，特别是在多模态数据推理和微调的应用场景中，其优势尤为明显。通过这一架构，企业能够更好地利用大数据和AI技术，推动业务创新和智能决策。

转载 danny_2018 1775 2024-09-18 16:46:01

近年来，新质生产力、数据要素及数据资产入表等新兴概念犹如一股强劲的浪潮，持续冲击并革新着企业数字化转型的观念视野，昭示着一个以数据为核心驱动力的新时代正稳步启幕。面对这些引领经济转型的新兴概念，为了更好地服务于客户并提供切实可行的实践指导，自3月20日起，袋鼠云将推出全新《袋鼠云大数据实操指南》系列直播。该系列兼顾理论讲解与实战演练，内容覆盖从数据采集、开发治理、资产梳理、服务应用到深度分析与洞察

原创 数栈DTinsight 694 2024-09-11 11:27:38