畅捷通基于 Flink 的实时数仓落地实践
早期的数据架构分了层,有自己的业务数据库做的业务数据存储,同时也会有一个比较简单的一个数据仓库。数据的产品线比较多,所以是按照自己的实际业务诉求,选择了比较适合自己的存储技术。
公司新来一个架构师, 将消费金融系统重构了
对于老系统的重构,新系统上线过度期也至关重要,因为采用了新的表结构进行重新设计,涉及到数据的同步,我们采用单向数据同步,逐渐弃用老系统数据,如果灰度期间需要回滚,首先对数据进行回滚,优先保证线上服务稳定。
数据传输技术发展及相关组件梳理
数据传输就是按照一定的规程,通过一条或者多条数据链路,将数据从数据源传输到数据终端,它的主要作用就是实现点与点之间的信息传输与交换。
数据集成的重要性及相关工具对比
在当今的商业环境中,企业常常面临着数据分散、系统孤立的难题。传统的数据集成方式,就像一张复杂的蜘蛛网,难以理顺,令人头痛不已。
金融行业大模型的应用场景与算力优化策略
AI技术在金融公司的各类交易、业务处理、客户服务等众多场景中将得到更加广泛深入的应用,比如量化交易、极速交易、精准推荐、人脸识别、视频质检、智能客服等等。
制度创新激活数据要素价值
各地数据要素市场建设统筹规划思路不断清晰,数据基础制度逐步完善,数据要素开发利用示范带动作用进一步增强,“东数西算”完整产业架构初步搭建。
数据工程师如何应对巨量的取数需求?
如果报表不是做成多维的方式,只是按不同需求做不同维度和指标的报表,那么因为维度与指标的组合是无穷无尽的,所以报表也是无穷无尽的,很难一直满足千变万化的运营需求。
加码AI新时代,谷歌云增加了数据库的图处理以及SQL语句支持能力
谷歌云近日发布最新动态,对其分布式数据库产品Google Cloud Spanner增加图处理能力,谷歌称之为“Spanner Graph”。同期更新的产品还有Bigtable,谷歌为Bigtable添加了SQL语句支持。
数据中台:业务模型 VS 算法模型,到底该怎么用?
提到数据,就必须提到各种模型。小伙伴们经常有疑惑:从4P、SWOT、RFM到线性回归、决策数、Kmean聚类,都有人管它们叫模型,那这些模型到底有啥区别?今天一文讲清,大家看完再也不迷路哦。
是技术大神,还是基础架构部的祸害?
在上云之后,不仅要修改工具和流程,也要修改组织架构,以提高组织效率。很自然的,也会对从业者提出新的技能要求。
SLSA框架中秘密检测和编辑的重要性
SLSA 框架为保障软件供应链提供了稳健的方法,这是我们都应该努力追求的。不论你处于采用的哪个阶段,重要的是要记住,像任何新方法解决安全问题一样,我们需要关注新的攻击面和攻击者利用我们工作的方式。
如何高效整合分散数据,构建统一的实时数据平台?
AI 赛道火热,大家通过新技术为企业赋能,提高竞争力。实现以上任务都离不开企业核心数据资产,而这些数据资产目前都存在于二三十年前设计的多个单体式架构系统之内,导致获取数据困难,这对新业务创新、洞察带来非常大的挑战。
国产中间件技术在信创项目中的应用与实践
东方通多年来深耕信创中间件产品,并从生态适应性、应用开发部署阶段和应用性能优化阶段以及应用上线后运维阶段,全方位助力国家重点行业信创应用。
金融行业私有云平台发展趋势和方向解读
虽然说云平台本质上跟行业也没有强耦合关系,但都可以基于云原生PaaS来构建自己的业务应用运行支撑环境,构建一套自服务敏捷基础设施,敏捷响应企业业务变革和创新需求。
基于AI大模型的数据治理
随着大数据技术的不断发展,数据规模呈爆炸式增长,数据来源也日趋多样化。如何有效地管理和利用这些数据,成为了企业和社会关注的焦点。本文将探讨在大模型下如何进行数据治理。
大数据平台架构演变
大数据平台,是企业用户在大数据环境下用于分析与决策的平台。按技术架构划分,主要包含数据收集与存储、数据计算、数据分析与决策三个层级。
云原生架构与CICD/DevOps实践
云原生应有的大的关注点有四个:微服务、容器、CI/CD以及DevOps,本文详细介绍一些使用 CI/CD 促进微服务开发的实践。
软件架构常见风格与应用场景
在软件开发中,架构在塑造软件系统的结构和行为方面起着至关重要的作用。它提供了系统设计的蓝图,详细说明了组件如何相互交互以提供特定的功能。
大数据交互查询的“统一入口”——多源数据查询平台建设实践
openLooKeng组件已经覆盖了光大银行内部所有主流数据源。后续,平台将持续提升自主可控能力,推进现有openLooKeng组件与新技术组件的融合(例如Hudi,支持实时数据湖场景数据探查)。
被问懵了,加密后的数据如何进行模糊查询?
我们到这里对加密数据的检索方案全部介绍完了,我们首先提到的是网上搜索随处可见的沙雕做法,在这里也讲了不推荐使用这些沙雕做法,尽量使用常规做法,如果公司有专业算法方向人才的话不妨可以考虑基于算法层面的超神做法。