Java和Docker限制的那些事儿
Java和Docker不是天然的朋友。 Docker可以设置内存和CPU限制,而Java不能自动检测到。使用Java的Xmx标识(繁琐/重复)或新的实验性JVM标识,我们可以解决这个问题。
Ceph存储后端ObjectStore架构和技术演进
Ceph是分布式和强一致性的软件定义存储产品,随着越来越多的企业和组织不断加入,Ceph存储系统稳定性、可靠性和易管理性得到了很大的提升,在版本演进和迭代中,Ceph存储的企业特性也得到了完善。如CephFS、iSCSI协议、InfiniBand网络等特性,但今天笔者将带领大家深入分析下Ceph最新后端存储BlueStore的架构和ObjectStore历史技术演进,因为存储后端的架构在一定程度上决定Ceph存储系统的性能。
Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析,下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析,如对之前的静态内存管理感兴趣,请参阅网上其他文章。
对象代理数据库:大数据时代下的应需之作
本文根据彭智勇老师于第九届中国数据库技术大会(DTCC 2018)的现场演讲《支持海量复杂数据管理的对象代理数据库系统TOTEM》内容整理而成。
HDFS 块和 Input Splits 的区别与联系
相信大家都知道,HDFS 将文件按照一定大小的块进行切割,(我们可以通过 dfs.blocksize 参数来设置 HDFS 块的大小,在 Hadoop 2.x 上,默认的块大小为 128MB。)也就是说,如果一个文件大小大于 128MB,那么这个文件会被切割成很多块,这些块分别存储在不同的机器上。
使用Recast.AI创建具有人工智能的聊天机器人
很多SAP顾问朋友们对于人工智能/机器学习这个话题非常感兴趣,也在不断思考如何将这种新技术和SAP传统产品相结合。Jerry之前的微信公众号文章C4C和微信集成系列教程曾经介绍了Partner如何利用SAP Cloud for Customer内置的社交媒体集成框架,做一些简单的开发将微信集成到C4C中去。该系列教程里其中一篇文章,介绍了如何将图灵机器人集成到某个微信公众号的消息服务器上去,让该微信公众号可以“智能地”同其关注粉丝聊天。
如何成为一位「不那么差」的程序员
已经记不清有多少读者问过: 博主,你是怎么学习的?像我这样的情况有啥好的建议嘛? 也不知道啥时候我居然成人生导师了。当然我不排斥这些问题,和大家交流都是学习的过程。 因此也许诺会准备一篇关于学习方面的文章;所以本文其实准备了很久,篇幅较长,大家耐心看完希望能有收获。
Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析,下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析。
针对静默数据错误,如何采用DIX和DIF保证数据一致性?
静默数据破坏问题是一直存在存储系统中最难解决的数据一致性问题之一,无论是传统多控、分布式存储,还是公有云存储。对存储系统设计和开发人员来讲,数据一致性问题解决能否解决决定着存储系统是否可以商用。到这个问题一直没有成为讨论的技术焦点,直到最近腾讯云事件持续热化以后,“数据一致性”问题成成为焦点出现在大众视野。
redis系列:主从复制
这篇文章主要讲述Redis的主从复制功能。会依次从环境搭建、功能测试和原理分析几个方面进行介绍。
使用Docker客户端管理容器:这些命令必须知道
有时候,容器管理对于不熟悉这种技术的IT人员来说可能有点“可怕”。笔者希望通过这篇文章向大家解释我们能够如何管理和执行一些涉及容器管理的任务,使这个主题更清晰。
分布式存储 Ceph 中 PG 各种状态详解
这次主要来分享Ceph中的PG各种状态详解,PG是最复杂和难于理解的概念之一。
干货分享:浅谈内存泄露
这个话题已经是老生常谈了,之所以又被我拎出来,是因为博主隔壁的一个童鞋最近写了一篇叫做《ThreadLocal内存泄露》的文章,我就不上链接了,因为写的实在是。。(省略一万字) 重点是写完后,还被我问懵了。出于人道主义关怀,博主很不要脸的再写一篇。
掌握这五类数据科学项目,找到一份好工作
也许你一直在MOOC平台上学习数据科学,也熟读了一大堆教科书,但要获得数据科学相关的职位,你还需要向雇主展示自己的技能水平。最好的方式是作品集,你可以借此向雇主表明你所一直学习的技能能够用于工作中,为公司创造价值。
Kubernetes集群中基于 CRD 实现分批发布
分批发布是一种通用的发布方式,但是在Kubernetes集群中,要实现分批发布,需要控制各种状态,维护service流量,以及各种label配置,十分麻烦。阿里云容器服务提供一种基于 CRD 的分批发布方式,大大方便发布流程。
对传统应用进行容器化改造
本文接下来简要介绍什么是容器化,要在 Docker 容器中运行传统应用的缘由,容器化的过程,其间可能遇到的问题,在用容器部署之后的其他步骤等。这将明显减轻部署工作的压力,并让应用朝着零停机部署和横向缩放的方向前进。
在 Windows 上可以用 Docker 吗?
Docker,或者准确一点说,容器技术,在近几年里几乎成为了应用分发和集群部署的默认技术了。Docker 生态的成熟还有赖于其周边工具和实践模式的兴起。比如,曾经雨后春笋般出现的编排技术,以及基于容器技术的 DevOps 实践大规模地开展。
分离式or超融合,分布式存储建设时的两种部署模式
数据中心内部系统的核心要求是“稳定可靠”,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。
特斯拉自研AI芯片,要和英伟达说再见?
据外媒报道,埃隆·马斯克(Elon Musk)在最近的一次财报会议上透露,该公司已经“秘密”研发用于自动驾驶的定制AI芯片至少两年,而且该芯片已开始生产——当前,特斯拉仍然依赖于英伟达的硬件。
5招搞定Kubernetes监控
如果你位于DevOps前线,Kubernetes正在迅速成为你的生产云环境的重要组成部分。由于容器编排对于部署、伸缩和管理容器化应用程序至关重要,监控Kubernetes需要成为监控策略的重要组成部分。