serverless到底是个什么鬼
本文来自滴滴内部人士观点分享,不代表本机构观点。欢迎大家点评交流!本篇由来如果你是一个程序员,你可能在最近这两年或多或少的听到过一堆莫名其妙的名词,例如CaaS、BaaS、FaaS等类似的以aaS结尾的as-a-service名词,同时也可能听到ServiceMesh、Serverless等名词,对于从事相关工作的同学可能知道每个名词都代表什么,但我相信肯定还是会有部分人听到之后是黑人问号脸,我们
AI教程|用滴滴云Notebook笔记本服务实现Yolo3口罩检测
在本教程中,您将学习如何使用经典的one-stage目标检测网络Yolo v3来实现口罩检测,关于Yolo v3的资料可以阅读paper。 本教程所有工程文件可在滴滴云S3存储服务下载。滴滴云Notebook笔记本服务集成了CUDA、CuDNN、Python、TensorFlow、Pytorch、MxNet、Keras等深度学习框架,无需用户自己安装。一、购买Notebook服务注册滴滴云并实名认
BlueStore源码分析之事物状态机
前言BlueStore可以理解为一个支持ACID的本地日志型文件系统。所有的读写都是以Transaction进行,又因为支持覆盖写,所以写流程设计的相对复杂一些,涉及到一系列的状态转换。我们着重分析一下状态机、延迟指标以及如何保证IO的顺序性和并发性。目录状态机延迟分析IO保序线程队列IO状态最后YY状态机queue_transactionsqueue_transactions是ObjectSto
分布式存储Ceph之PG状态详解
1. PG介绍这次主要来分享Ceph中的PG各种状态详解,PG是最复杂和难于理解的概念之一,PG的复杂如下:在架构层次上,PG位于RADOS层的中间。a. 往上负责接收和处理来自客户端的请求。b. 往下负责将这些数据请求翻译为能够被本地对象存储所能理解的事务。是组成存储池的基本单位,存储池中的很多特性,都是直接依托于PG实现的。面向容灾域的备份策略使得一般而言的PG需要执行跨节点的分布式写,因此数
深入理解 ceph mgr
背景监控是管理的第一步,所以 ceph-mgr 目前的主要功能是把集群的一些指标暴露给外界使用。监控是什么东西呢?举个例子,例如用户访问网站 5xx 了,那么监控就是这么一个系统:采集网站 5xx 的个数,存起来,然后在 5xx 多的时候通过报警短信报给开发,然后为开发解决该问题提供其他信息(例如日志,指标图表)。所以监控系统是一个数据系统,包含采集,存储,分析(包含报警),可视化,这几个部分。
在 go 语言中利用反射精简代码
反射是 Go 语言中非常重要的一个知识点。反射是设计优雅程序的法宝,orm json 序列化,参数校验都离不开它,我们今天以一个业务开发中的实例,来简单讲解下反射在日常开发中的用处。本文使用的 case 皆为项目开发中的实例,为了脱敏简化了代码相信大家在使用 go 编写业务代码的时候都会写过这样的代码,这类代码的本质是,将一个集合中的数据按照名称绑定到结构体的对应属性上去,集合的类型不限于 map
滴滴出行大咖开课:程序员通识课4连播!
滴滴云邀请了四位滴滴出行大咖和大家分享关于技术专利、Nginx架构、技术影响力、PB级数据检索平台的知识~请大家参加
程序员的职业素养(一)
一、专业与素养1. 专业人士的核心能力成为专业人士的核心包括:解决问题的方式(怎样分析问题、找哪些资料、怎样设计方案、方案利弊分析等等),步骤(怎样执行方案、怎样控制风险、怎样快速解决故障等等)以及反思(出现问题,如何避免同样错误再次发生)2. 职业素养那么,什么又是职业素养呢?不是天赋,也不是技艺高深,而是持续积淀的结晶。一方面它体现了能力和素质;另一方面,强调持续的积累和养成。拥有良好的职业素
敲黑板:滴滴云线上技术沙龙课堂笔记来咯|附PPT资料
一,秦晓辉《DEV和SRE的换位思考》3月26日,滴滴云✖️混沌说为大家请来了秦晓辉老师(滴滴高级专家工程师),和大家在线上见面,共同探讨《DVC和SRE的换位思考》。嘉宾主要从两个方面为大家分享自己的见解:从运维视角来看何为好的软件架构、从研发视角来看何为好的运维平台。从运维视角来看何为好的软件架构——一句话就是不需要运维操心的,或者至少是少操心的。好的软件架构具备以下特点:易于部署:特点就是更
云安全解决方案|让企业用上安全的云
一,背景介绍企事业在IT上云建设过程中,往往只关注架构、功能、性能等指标,对安全方面的意识相对薄弱,导致业务系统或应用上线后存在多处漏洞,很容易被黑客攻击利用,而企业往往被攻击造成损失后才开始进行补救措施。本案例为企业在云上IT建设之初即从安全的方方面面加以保障,确保云上架构在业务环境上线时,处于安全、稳定的阶段。云安全引起的安全事件和风险相对传统应用要高出非常多,其原因是用户及信息资源的高度集中
DeepFaceLab上云之滴滴云使用全攻略!
以下内容为转载,转载出处请注意文末。几天前写了一遍关于云服务器文章,简单的说了下目前国内有些云GPU,大概做了一个价格比较,不少人想要尝试下,但是不知道如何操作。今天就来说说具体操作云平台要怎么开通?如何安装DeepFaceLab的使用环境?如何远程连接服务器? 这些我都会一个一个说清楚。我们先拿最便宜的滴滴云(就是那个打车的滴滴)练手,下一篇会是阿里云。1.购买云服务器滴滴云优惠购买地址:htt
解决方案丨数据治理实战:滴滴数据资产管理产品解决方案
过去两年“数字化转型”、“数据中台”概念大热,各企业纷纷把数据体系建设提升到战略高度。但数据部门对内支撑的时候,往往会又会被各部门挑战质疑。老板:“这些数据到底能产生多大的价值?”IT采购部门:“为什么买了这些多服务器,数据要存这么长时间?”业务使用方:“今天要出个报表,能不能尽快把数据给准备好?” 站在不同立场看待数据资产管理有不同视角:企业管理者:数据资产盘点困难,数据
使用 React Testing Library 和 Jest 完成单元测试
引言在2020的今天,构建一个 web 应用对于我们来说,并非什么难事。因为有很多足够多优秀的的前端框架(比如 React,Vue 和 Angular);以及一些易用且强大的UI库(比如 Ant Design)为我们保驾护航,极大地缩短了应用构建的周期。但是,互联网时代也急剧地改变了许多软件设计,开发和发布的方式。开发者面临的问题是,需求越来越多,应用越来越
etcd-raft-存储分析
etcd raft介绍etcd raft是目前使用最广泛的raft库,如果想深入了解raft请直接阅读论文 “In Search of an Understandable Consensus Algorithm”(https://raft.github.io/raft.pdf), etcd raft在etcd, Kubernetes, Docker Swarm, Cloud Foundry Die
接入层Nginx架构及模块介绍分享
课程目标:1)帮助大家对Nginx有一定的认识2)熟悉Nginx有哪些应用场景3)熟悉Nginx特点和架构模型以及相关流程4)熟悉Nginx定制化开发的几种模块分类 课程大纲: Nginx简介及特点Nginx应用场景Nginx框架模型介绍Nginx内部流程介绍Nginx自定义模块开发介绍Nginx核心时间点模块介绍Nginx分流模块介绍Nginx动态upstream模块介绍Nginx quer
CPU飙升?教你1分钟抓取占用系统资源的进程
CPU和内存资源动不动就飙升?导致部署在上面的网站访问特别慢,通过监控只能看到资源的使用率,并不能监控到哪些进程在占用cpu和内存资源。通过统计访问量和分析日志发现并不足以导致资源飙升?我们的运维小哥哥整理了一个shell脚本用来收集哪些进程在作怪1、话不多直接放出脚本内容,由于磁盘IO也有可能导致网站访问慢和导致资源瓶颈,所以一并抓取出#!/bin/bash #获取占用IO的进程信息 fun
dubbo的SPI应用与原理
dubboSPI(Service Provider Interface)本质是将接口实现类的全限定名配置在文件中,并由服务加载器读取配置文件,加载实现类。这样可以在运行时,动态为接口替换实现类。在Java中SPI是被用来设计给服务提供商做插件使用的。基于策略模式 来实现动态加载的机制 。我们在程序只定义一个接口,具体的实现交个不同的服务提供者;在程序启动的时候,读取配置文件,由配置确定要调用哪一个
分布式图片系统
概述随着公司的快速发展,公司对外服务的系统在展现形式方面出现了多样化,目前包括Web端和手机端,不同的展现形式由于设备的多样性和设备对网络的依赖程度的不同,在对图片的尺寸或质量上都有不同的要求。原本为了满足不同设备的要求,在图片存储上会存储各种所需尺寸的图片,浪费了大量的磁盘空间,同时也浪费了高性能的硬件机器利用率。同时公司对外的业务系统在数量和每个业务系统支撑的用户群方面也在快速的增长,势必会在
滴滴免费开放口罩佩戴识别技术,用AI抗“疫”
为进一步助力疫情防控,滴滴出行自今日起免费对外开放其口罩佩戴识别技术。企业和个人开发者均可通过滴滴云提供的API服务直接部署使用,实时检测人群口罩佩戴情况,切实做好防疫监督,有序安全生产。这是滴滴继免费向国内科研机构、医疗及救助平台等开放用于抗击疫情相关工作的GPU云计算资源和技术支持后,助力抗“疫”的又一举措。滴滴口罩佩戴识别技术,包括人脸检测和人脸戴口罩属性识别,是由滴滴AI团队基于DFS人脸
【DB究谈】浅谈对数据库隔离级别的理解
浅谈对数据库隔离级别的理解当人们提及数据库管理系统(DBMS),必会提及事务、ACID特性以及事务隔离级别。事务本身是为了保证系统的运行状态最终将处于一致性(满足一组约束条件)的状态而出现的概念,其中的ACID特性中的I(Isolation)要保证在并发操作情况下数据库最终可以处于”一致”的状态。但是自问一下便会产生诸多疑点: 到底什么是事务隔离级别?为什么要有事务隔离级别?作为理论基础