面对复杂微服务系统观测时,如何化繁为简?
一起来看看全局拓扑图如何帮助用户面对复杂的微服务系统观测时化繁为简~
「Spark从精通到重新入门(二)」Spark中不可不知的动态资源分配
资源是影响 Spark 应用执行效率的一个重要因素。Spark 应用中真正执行 task 的组件是 Executor,可以通过spark.executor.instances 指定 Spark 应用的 Executor 的数量。在运行过程中,无论 Executor上是否有 task 在执行,都会被一直占有直到此 Spark 应用结束。
跨越可观测性鸿沟|高手们都在用的“火焰图”是什么
关键字解析:火焰图(Flame Graph)由性能优化大师 Brendan Gregg 发明,和所有其他的 profiling 方法不同的是,火焰图以一个全局的视野来看待时间分布,列出所有可能导致性能瓶颈的调用栈。通过火焰图,可以非常方便的看到性能资源都消耗在了哪里,从而能够直观的看到程序的性能瓶颈,以进行程序的优化。 为了使服务链路追踪可视化更高效,Erda 在微服务治理平台新版本中也
大规模 K8s 集群管理经验分享 · 上篇
11 月 23 日,Erda 与 OSCHINA 社区联手发起了【高手问答第 271 期 -- 聊聊大规模 K8s 集群管理】,目前问答活动已持续一周,由 Erda SRE 团队负责人骆冰利为大家解答,以下是本次活动的部分问题整理合集,其他问题也将于近期整理后发布,敬请期待!
「Spark从精通到重新入门(一)」Spark 中不可不知的动态优化
Apache Spark 自 2010 年面世,到现在已经发展为大数据批计算的首选引擎。而在 2020 年 6 月份发布的Spark 3.0 版本也是 Spark 有史以来最大的 Release,其中将近一半的 issue 都属于 SparkSQL。这也迎合我们现在的主要场景(90% 是 SQL),同时也是优化痛点和主要功能点。我们 Erda 的 FDP 平台(Fast Data Platform)也从 Spark 2.4 升级到 Spark 3.0 并做了一系列的相关优化,本文将主要结合 Spark 3.0 版本进行探讨研究。
热爱代码且发量惊人,一名反“内卷”研发工程师的日常
一切皆因为热爱 ❤️
Erda 系列 Meetup「成都站」携手SOFAStack 和你聊聊云原生基础设施建设那点事儿
技术控快上车啦,秋天的第一场活动,一起来收获技术干货吧!
用户体验再升级!Erda 1.2 版本正式发布
近期,Erda 1.2 版本正式发布,新版本主要以改善提升用户体验为主,优化内容共计 50 多项,欢迎广大开发者使用体验 !同时,也非常感谢为新版本做出贡献的社区小伙伴,未来我们将会继续广泛关注、采纳社区的建议,推动 Erda 项目进一步发展,期待听到大家更多的反馈!
云原生时代的 APM
APM 的全称是 Application Performance Management(应用性能管理),早在 90 年代中期就有厂商提出性能管理的概念,到现在 APM 领域已经发展了近 25 年。
面向多场景而设计的 Erda Pipeline
Erda Pipeline 是端点自研、用 Go 编写的一款企业级流水线服务。截至目前,已经为众多行业头部客户提供交付和稳定的服务。
为构建大型复杂系统而生的微服务框架 Erda Infra
Erda Infra 微服务框架是从 Erda 项目演进而来,并且完全开源。Erda 基于 Erda Infra 框架完成了大型复杂项目的构建。本文将全面、深入地剖析 Erda Infra 框架的架构设计以及如何使用。
一文搞懂指标采集利器 Telegraf
为了让大家更好的了解 MSP 中 APM 系统的设计实现,我们决定编写一个《详聊微服务观测》系列文章,深入 APM 系统的产品、架构设计和基础技术。本文为该系列文章的第三篇,将主要对 Telegraf 数据处理链路的实现原理以及插件实现方式进行介绍。
论 Erda 的安全之道
软件研发是一个复杂的工程,不仅需要进行软件的设计、开发、测试、运维,还涉及到大量的人力、物力管理。今天讨论的主角 - “安全”,在软件研发中是一个极易被忽视的主题,但相比代码 Bug 而言,安全问题一旦出现,破坏力更大甚至是致命的。
Erda 1.1 版本发布|3 大亮点特性最新解读
本次 Erda 1.1 版本的发布,主要增强了平台 SaaS 化能力,解决社区用户使用 Erda 过程中反馈的问题。主要表现在以下三个方面: 支持项目级应用 项目协同事项变更消息订阅 支持导入用户已有 K8s 集群
基于 Golang 构建高可扩展的云原生 PaaS(附 PPT 下载)
端点的核心业务是给企业提供从采购、交易、履约、仓储到零售全链路的数字化转型解决方案。围绕这个目的,我们建立了一整套面向云原生的企业数字化软件产品。
聊一聊在阿里做了 8 年研发后,我对打造大型工程研发团队的再思考
任何大型工程项目的研发都会涉及到两个非常共通的难题: 第一个是稳定性问题,越大的项目越难做稳定,“魔鬼在细节里”; 第二个是工程研发效率。
围观|解读新一代企业数字化架构的“三驾马车”
数字化转型在各行各业已经被推崇为重要战略方向,从企业到政府组织,都在密切关注并积极探索数字化建设。但是数字化转型的目标到底是什么,如何能够成功地实现转型,都需要一个深度的思考和整体的规划。今天本篇文章将从基础架构维度来介绍数字化转型的必要条件。
如何使用 Kind 快速创建 K8s 集群?
Kind (Kubernets in Docker),是一个可以快速在本地部署一套 K8s 的工具,非常适合本地部署调试或者想要体验最新版本 K8s 的场景。
浅谈:前端路由原理解析及实践
大家好,这里是 Erda 技术团队。作为 Erda 项目的前端,Erda-UI 项目从最初开发到现在开源,业务复杂度在不断递增,项目的代码文件已经近 2000,项目内部的路由配置已经超过 500 个。本文会先简单介绍一下前端路由原理,以及 React-Router 的基础使用,接着会主要分享 Erda-UI 项目在路由上实践的一些拓展功能。
超好玩:使用 Erda 构建部署应用是什么体验?
相信有很多和我一样的开发人员,在完成应用新功能后,不希望将很多注意力放在运维相关的任务上(如应用的打包,构建,部署等)。我希望平台能够屏蔽底下基础设施的复杂逻辑,让我像写代码一样“声明”应用的运行过程和结果,能够方便快速地构建部署我的应用,使我无需关心运维方面的任务。Erda DOP 便是以应用为中心,企业一站式的 DevOps 平台,下面让我们写一个 go web 应用,看它是如何帮助我们快速进行构建部署的。