个推技术分享:性能提升60%↑ 成本降低50%↓ Spark性能调优看这篇就够了!
对企业来讲,效率和成本始终是其进行海量数据处理和计算时所必须关注的问题。如何充分发挥Spark的优势,在进行大数据作业时真正实现降本增效呢?个推将多年积累的Spark性能调优妙招进行了总结,与大家分享。
百亿级日志流分析实践 | 剖析个推后效分析功能实现原理
个推消息推送SDK于今年初重磅上线了后效分析功能,旨在为开发者和运营人员科学调整推送策略提供有效支撑。本文就开发和迭代过程中沉淀的经验与大家做分享。
2021WAIC 个推CTO叶新江:万亿级图下的数据智能
个推万亿级图下的数据智能实践:大数据抗疫
个推0代码数据可视化实操:基于Tableau的中国奥运数据探索
个推对中国代表团从1984年重返奥运会以来的近十届夏季奥运会“掘金史”进行了回顾。基于开源和公开数据,个推使用数据可视化分析工具Tableau对中国奥运相关数据进行了可视化探索。以下是进行数据探索的过程和结果。
个推2022届校园招聘全面启动!数据、算法、研发,热门技术岗位等你来!
每日互动(个推)2022届校招全面启动! 数据类、研发类、算法类...... 众多热门技术岗位,就等你来!
除了ACM、CCPC......2021Datathon数智马拉松大赛也来了!带着数十万奖金!
2021 Datathon数智马拉松大赛,邀你参赛!
【深度干货】异构数据的SQL一站式解决方案
在近期的GDG开发者大会广州站上,个推高级技术总监董霖以“异构数据的SQL一站式解决方案”为主题,深入分享了个推在SQL领域多年的实战经验。本文将从三方面阐述统一SQL:一、为什么要统一SQL二、如何统一SQL三、个推统一SQL实践(以下根据演讲内容整理)01为什么要统一SQL数据作业是多兵种合作的战场公司内部围绕数据开展的工作,需要数据分析师、数据研发工程师、运维工程师、甚至产品运营人员共同完成
个推百亿级消息推送的优先级解决方案
作者|个推资深研发专家 微风引言马上就是春节了,面对井喷的推送需求、百亿级推送下发压力,服务了数十万App的个推,是如何持续优化技术方案,保障高优先级消息实时下发的?本文将从业务场景、方案设计思路、方案阐述等方面讲述个推百亿级消息推送的优先级解决方案。业务场景在日常消息推送过程中,个推往往需要应对来自以下四方面的挑战。• 高并发:单台服务器在每日高峰时段需要响应百万级并发量请求• 低延迟:需毫秒级
抢先看!安卓11新特性和适配攻略
引言近期,Google 发布了 Android 11的平台稳定版本。Android 11 将在确保用户隐私安全的前提下,更好地让用户畅享最新科技。下图是 Android 11 发布整体流程的时间线:个推深耕开发者领域,一直紧跟行业发展趋势,对Android 11的有关更新展开了深入研究。本文将从分区存储、应用包可见性、权限变化和新功能四个方面来谈谈 Android 11 新特性,以帮助开发者更快速
ElasticSearch大集群管理维护的难题与个推GProxy解决方案
前言用户搜索组件和日志管理平台是个推推送服务的重要组成部分。ElasticSearch(简称ES)作为一个开源的分布式搜索引擎,能较好地满足上述要求。个推在ES的使用上经过了多年迭代,积累了丰富的经验,特别是在数据量不断增大时,如何管理集群、维护集群稳定、优化集群性能,我们进行了许多实践。本文将从三部分讲述个推ElasticSearch架构的演变过程:大集群的挑战、GProxy如何支持多集群以及当
后浪:移动互联网时代的数据中心设计
前言随着移动互联网的蓬勃发展,今天的数据中心和10年前的数据中心大为不同,无论从IDC的机器规模,还是流量模型都发生了很大变化。《前浪:传统数据中心的网络模型》已经为大家介绍了数据中心网络建设的基本要求、传统web时代的网络架构;本文将从以下几方面对移动互联网时代的数据中心进行介绍。01 移动互联网时代的数据中心网络设计的目标是什么?02移动互联网时代数据中心的架构是怎样的?03Clos
前浪:传统数据中心的网络模型
个推运维平台高级网络工程师 山川随着互联网公司规模的扩大,企业对成本控制和数据安全的需求越来越高,大部分公司往往会自建机房,而非租用云服务器。个推在互联网数据中心(Internet Data Center,简称IDC)网络规划和运营方面也经历了几次的迭代和变迁,同时,我们也对数据中心网络发展的历程进行了总结。我们将围绕IDC网络运营规划的基本要求、传统PC时代的网络架构、移动互联网和大数据时代的I
深入浅出讲解微服务架构的选择与实践
微服务架构凭借其高便捷性、可拓展性等优势受到了广泛关注,然而很多团队在如何选择微服务架构上经常会遇到困惑。在近日举办的个推TechDay系列线上技术沙龙上,个推高级平台架构师悟空、高级基础架构研发工程师阿飞以“微服务架构实践”为主题,深入浅出地讲解了微服务架构的特性、选择以及实践等要点,分享了自己在深耕微服务领域多年的实战经验。以下是微服务专场的精华内容摘录(文章结尾附视频链接&讲师分享P
个推在 Kubernetes 的效率提升举措揭秘及最佳实践解析
近日,2020个推Techday系列线上技术沙龙首场直播圆满落幕。会上,个推研发总监之诺、个推资深运维专家壮壮以“k8s研发效率提升与实践解析”为主题,与线上观众一同探索了Kubernetes(又称K8s)领域的前沿技术及实践方法。以下是Kubernetes专场精华内容分享(文章结尾附视频链接&直播PPT下载)如何提升Kubernetes研发效率本文将从三方面阐述如何提升Kubernete
只要掌握4个关键点,技术岗的面试成功率就能提高80%
我是别人眼中的面霸,自找工作开始,我参加过的面试,全都拿到了offer。工作第三年,我便走上了管理岗位,负责管理数十人的核心技术团队,也逐渐开始面试别人。疫情下,不少人说找工作难,其实并没有那么难。只要搞懂面试的本质,交谈中给到面试官真正想要的东西,你就能战无不胜!具体怎么做才能提高面试表现水平呢?如果你在面试中屡屡踩坑,或者即将开始面试,却心里没谱,那么请认真阅读这篇文章。学会文中教你的几点,你
带宽不够用,靠这个方法我让数据压缩率达到了80%以上
引言如何在有限的资源下解决性能瓶颈问题是运维永恒的痛点。这期文章,Mr.Tech 邀请了在性能优化方面有着丰富经验的个推高级运维工程师白子画,为大家分享宽带优化之Flume Avro在个推的实践。在异地日志数据互传的场景下,我们从传输数据着手,借助Avro的特性使数据压缩率达80%以上,解决了个推在实际生产过程中遇到的带宽不够用的问题。本文我们将向大家介绍Flume Avro在数据传输过程中所承担
一文带你读懂serverless的优势、劣势及适用业务场景
峰少 个推数据研发主管前言传说中,数据王国的旁边有一个服务王国。这个国家每过几年就要进行一场“信息革命”,为的就是保障本国业务快速发展,从而实现每个APP产品“日活一个亿”的小目标。今年服务王国的国民围绕Serverless的服务演进这一主题展开了激烈讨论。个推Mr. Tech 出席了本次战略圆桌讨论会。下面Mr.Tech 将为大家还原一下三位大佬的讨论内容。圆桌会议会议纪要至此,本次
100行代码实现疫情地图可视化,原理是什么?
前言2020年,大家都在密切关注着疫情的进展。不少人每天醒来打开手机的第一件事,便是查看各地的疫情图。你所看到的可能是这样的:又或者是这样的:疫情进展牵动着我们的心。作为一名开发者,我们闭门在为抗击疫情做贡献的同时,也可以继续深耕自己的技术。此文章旨在向大家介绍疫情地图可视化的原理,帮助大家深入理解echart。核心思路疫情图的核心在于疫情数据整理以及疫情数据可视化。疫情数据整理本文疫情数据是由网
打造百亿量级、亿级日活SDK的十大关键要点
一个好的SDK应该具备易用性、稳定性、轻量、灵活的特点,而个推作为国内第三方推送市场的早期进入者,一直致力于为开发者提供高效稳定的推送SDK。经过十年的深耕与创新,个推夯实了行业地位。截止2019年6月,个推SDK累计安装量超440亿,日活独立设备数达4.3 亿,并成功服务了人民日报、新华社、微博、马蜂窝、酷我音乐等一系列明星APP。辉煌数据的背后是强大的技术支撑。这期文章,我们特地采访了个推An
以图书识别模型为例,新手如何从01到1 完成tensorflow模型训练
项目体验地址:http://at.iunitv.cn/效果预览:花絮:读书节马上就要到了,相信很多小伙伴嘴上说着学不动了,其实身体还是很诚实的。毕竟读书还是有很多好处的:比如让你的脑门散发智慧的光芒,再或者让你有理由说因为读书太忙了所以没有女朋友等等。所以在这个特殊的日子里,你这一年的图书我们承包了。不为别的,只为帮助在座的各位在2020年能够遇见更好的自己!今天的主题仅仅是送图书,我们也想要借助