大量文件名记录的树形结构存储
十多年来,NAS中已经存在的目录和文件达到10亿之多,在设计和开发备份系统的过程中碰到了很多挑战,本文将分享大量文件名记录的树形结构存储实践。一、引言既然是定期备份,肯定会有1次以上的备份。对于一个特
宜信SDL实践:产品经理如何驱动产品安全建设
一、序言本文从产品经理的角度出发,对产品经理的安全职责、产品驱动安全的内涵、工作内容、工作方法、所需安全资源、以及产品经理的安全工作量进行了分析。希望所有产品经理在没有心理负担的情况下,有目标、有方法、有资源推进产品安全建设。二、背景安全是软件产品天然属性的一部分,“无安全不金融”,对于金融软件产品
自制小工具大大加速MySQL SQL语句优化(附源码)
优化SQL,是DBA常见的工作之一。如何高效、快速地优化一条语句,是每个DBA经常要面对的一个问题。本文带领大家自主编写一款小工具,加速MySQL SQL语句优化。
自制小工具大大加速MySQL SQL语句优化(附源码)
引言优化SQL,是DBA常见的工作之一。如何高效、快速地优化一条语句,是每个DBA经常要面对的一个问题。在日常的优化工作中,我发现有很多操作是在优化过程中必不可少的步骤。然而这些步骤重复性的执行,又会
如何设计实时数据平台(技术篇)
敏捷之歌我抽数故我存在|DBus人人玩转流处理|Wormhole就当吾是数据库|Moonbox颜值最后十公里|Davinci导读:实时数据平台(RTDP,Real-timeDataPlatform)是
如何设计实时数据平台(技术篇)
本文从技术角度入手,介绍RTDP的技术选型和相关组件,探讨适用不同应用场景的相关模式。
如何设计实时数据平台(设计篇)
导读:本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论,即“实时数据平台”。在上篇设计篇中,我们首先从两个维度介绍实时数据平台:从现代数仓架构角度看待实时数据平台,从典型数据处理角度看待
以企业级实时数据平台为例,了解何为敏捷大数据
敏捷大数据,即在敏捷理念原则指导下,构建出一系列通用平台工具,和一整套大数据应用全生命周期方法学,以支撑更轻量、更灵活、更低门槛的大数据实践。本文从理论层面整体解释我们所理解的“敏捷大数据”。一、敏捷
如何设计实时数据平台(设计篇)
本文我们探讨了实时数据平台RTDP的相关概念背景和架构设计方案。
以企业级实时数据平台为例,了解何为敏捷大数据
本文给出了“敏捷大数据”的定义,以及敏捷大数据理念,并且简要描述了基于这套理念之上如何构建平台栈和如何实践方法学。
详解Linux三剑客之awk
第一篇awk简介与表达式实例一种名字怪异的语言模式扫描和处理,处理数据和生成报告。awk不仅仅是linux系统中的一个命令,而且是一种编程语言;它可以用来处理数据和生成报告(excel);处理的数据可
Linux三剑客之awk详解
「Linux三剑客之awk」介绍awk表达式、结构模块与变量、数组与语法等。
宜信开源|微服务任务调度平台SIA-TASK入手实践
引言最近宜信开源微服务任务调度平台SIA-TASK,SIA-TASK属于分布式的任务调度平台,使用起来简单方便,非常容易入手,部署搭建好SIA-TASK任务调度平台之后,编写TASK后配置JOB进行调
宜信开源|分布式任务调度平台SIA-TASK的架构设计与运行流程
一、分布式任务调度的背景无论是互联网应用或者企业级应用,都充斥着大量的批处理任务。我们常常需要一些任务调度系统来帮助解决问题。随着微服务化架构的逐步演进,单体架构逐渐演变为分布式、微服务架构。在此背景
宜信开源|微服务任务调度平台(SIA-TASK)
背景无论是互联网应用或者企业级应用,都充斥着大量的批处理任务。常常需要一些任务调度系统帮助开发者解决问题。随着微服务化架构的逐步演进,单体架构逐渐演变为分布式、微服务架构。在此的背景下,很多原先的任务
宜信开源|微服务任务调度平台SIA-TASK入手实践
部署搭建好SIA-TASK任务调度平台之后,编写TASK后配置JOB进行调度,进而实现整个调度流程。本文新建JOB示例,介绍JOB怎样关联配置两个级联TASK,以及如何通过SIA-TASK实现任务调度,最终实现对两个TASK执行器的调用。
宜人贷PaaS数据服务平台Genie:技术架构及功能
上篇:架构及组件一、数据平台的发展1.1背景介绍随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,业内涌现出了诸多解决方案。但大部分方案都遵循
宜人贷PaaS数据服务平台Genie:技术架构及功能
随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,宜人贷自研了PaaS数据服务平台Genie,本文将重点介绍其技术架构及功能模块。
Redis专题(2):Redis数据结构底层探秘
前言上篇文章Redis专题(一).初识Redis及Redis基本知识总结介绍了redis的基本概念、优缺点以及它的内存淘汰机制,相信大家对redis有了初步的认识。互联网的很多应用场景都有着Redis
5分钟了解lucene全文索引
一、Lucene介绍及应用ApacheLucene是当下最为流行的开源全文检索工具包,基于JAVA语言编写。目前基于此工具包开源的搜索引擎,成熟且广为人知的有Solr和Elasticsearch。2010年后Lucene和Solr两个项目由同一个Apache软件基金会的开发团队制作,所以通常我们看到