大数据在医疗领域的应用
大数据顾名思义就是拥有海量的数据,并且因为既有大量性、多样性、 快速性、价值和真实这五大特性被应用在各个领域。本文讲了大数据在医疗领域的技术层面、业务层面的应用。
大数据平台的两种建设路径对比
一个完善的大数据平台要如何构建?我们立刻会想到各种组件Hive、Spark、Flink……大数据平台涉及的组件众多,上下游关系复杂,需要支持的业务可以说是多种多样,如果团队强大,有实力、有时间,选择自己构建一定不会错!
Kafka给大数据运维留下了多少坑?
滴滴大数据 DKafka 集群,基于社区 2.12-0.10.2.0 版本。在运维过程中,遇到了不少痛点,如磁盘 IO 不均、存储容量不均、CPU 利用率不均等负载不均问题,尤其是在高峰期出现瓶颈或故障发生后,想要快速扩容止损成为了一个棘手的问题。
金融行业大数据容器化混部难点分析
关于大数据平台物理部署和容器化部署,在系统运行稳定性方面,很多人自然会理解物理部署系统稳定性肯定会好于容器化部署,其实只要容器化大数据作业管理组件设计好HA机制,在稳定性层面和传统部署并没有什么区别。只有容器化提供同样的稳定性,业务才愿意迁移作业到容器化集群里。
B站内核隔离技术的应用与实践之大数据混部篇
随着B站大数据业务的高速发展,各类业务资源需求也随之快速增长。与此同时,大数据集群有效的资源利用率低于预期,究其原因主要有以下两点,
大数据与人工智能初了解
人工智能的核心是机器学习,其他人工智能技术基本上都在它的基础上发展和进化。简单来说,机器学习就是计算机模仿人类的学习过程和学习行为,从以往的数据或经验中获取新的知识或技能,优化自身性能,并对未来进行预测。
B站内核隔离技术的应用与实践之大数据混部篇
随着B站大数据业务的高速发展,各类业务资源需求也随之快速增长。与此同时,大数据集群有效的资源利用率低于预期,究其原因主要有以下两点,业务出于性能、稳定性考量会向平台申请过量的系统资源,导致平台不会调度更多任务上来运行。对于高低优任务资源隔离能力不足导致有竞争时,高优任务受影响甚至被误杀。
微信云原生大数据平台构建及落地实践
微信大数据平台架构的演进,从早期的自研资源调度平台到基于Kubernetes的云原生大数据平台。探讨了大数据上云基础建设,包括计算框架接入Kubernetes的不同方案、统一接入策略、Pod设计、大数据配套能力、运行日志持久化、外部访问、计算组件云环境适配等。
大数据平台与云原生技术的发展与演进
需求催生技术革新,在海量数据需求的推动下,数据平台架构持续演进,经过数十年的发展,历经了数据库、数据仓库、数据湖、湖仓一体等概念。
如何做一个好的大数据平台架构
可扩展性意味着为满足日益增长的用户服务需求,同时不用对底层架构或者代码,可以通过现有机器添加内存或者磁盘资源来实现(垂直扩展),或者可以通过在集群中添加机器实现(水平扩展)。