ITPub博客

首页 > 数据库 > SQL on Hadoop

关于 “SQL on Hadoop” 的内容如下:

  • 每秒超过 7 亿个事件:我们如何理解海量数据

    Constantin Pan 和 Jim Hawkridge Cloudflare 的网络为客户提供了大量服务。我们以事件日志和聚合分析的形式收集相关数据并将其交付给客户。截至 2024 年 12 月,我们的数据管道每秒摄取高达 7.06 亿个由 Cloudflare 服务生成的事件,这代表自我们 2018 年数据管道博客文章以来增长了 100 倍。 在峰值时,我们每秒传输 107 GiB 的压缩数据,要么直接推送给客户,要么进行额外的排队和批处理。 所有这些数据流为 Logs、Analytics 和计费等产品提供支持,也为其他产品提供支持,例如训练用于机器人检测的机器学习模型。本博客文章重点介绍我们用于高效且准确地处理为 Analytics 产品摄取的大量数据的技术。

    ITPUB社群 SQL on Hadoop 2 1970-01-01 08:33
  • EBS 的真实故障率 — PlanetScale

    Nick Van Wiggeren [ @ NickVanWig ] | 2025年3月18日 PlanetScale 已在全球范围内部署了数百万个 Amazon Elastic Block Store (EBS) 卷。我们每天创建和销毁数万个卷,为客户搭建数据库、进行备份以及端到端测试我们的系统。通过这些经验,我们对 EBS 的故障率和故障机制有着独特的视角,并花费了大量时间研究如何缓解这些问题。 在复杂系统中,故障并非二元结果。云原生系统的构建不存在单点故障路径,但部分故障仍可能导致性能下降、面向用户的可用性丧失以及未定义行为。通常,堆栈中某一环节的轻微故障会在其他环节表现为完全故障。 例如,如果多节点分布式缓存系统中的某个实例耗尽了网络资源,下游应用程序会将错误情况解释为缓存未命中,以避免请求失败。

    ITPUB社群 SQL on Hadoop 12 1970-01-01 08:33
  • pgFormatter v5.9 已发布

    关于 治理 政策 功能矩阵 捐赠 历史 赞助商 贡献 财务 服务器 最新新闻 即将举行的活动 过往活动 新闻 许可证 坦桑尼亚达累斯萨拉姆 - 2025年12月21日 pgFormatter,即使并不完美,也是专为 PostgreSQL(开源关系型数据库) 打造的最先进的 SQL 和 PlPgsql 代码格式化与美化工具。它提供 CLI 或 CGI 程序形式。 此版本增加了多项格式化改进,并修复了自上次发布以来用户报告的若干问题。 主要改进: 修复 JOIN 格式化中的若干问题。 修复 RAISE EXCEPTION ... USING 后的缩进。 修复带变量赋值的 CASE 语句中的错误格式化。 添加 CI 操作以在提交推送时测试 pgFormatter 修复美元引号符号作为字符串分隔符时紧贴单词的情况。

    ITPUB社群 SQL on Hadoop 4 1970-01-01 08:33
  • 在FreeBSD上使用Sanoid实现ZFS自动快照 | FreeBSD基金会

    多年来,OpenZFS 在 FreeBSD 上一直是一等公民。从安装程序开始,用户就可以安装完整的 root-on-ZFS 系统。FreeBSD 会为基础操作系统创建必要的数据集,包括 /usr、/var 和 /home 的数据集。 如果灾难降临导致文件丢失,ZFS 可以通过回滚到之前的快照来恢复数据——前提是该数据集存在快照。缺失的功能是定期自动创建快照并轮换它们。轮换意味着根据用户定义的策略删除较旧的快照。这避免了数据集随时间推移被数百万个快照填满。虽然 OpenZFS 提供了创建和删除快照的所有基本命令,但用户需要自行管理快照计划。这意味着每个数据集应该多久创建一次快照,以及删除它们的规则是什么。 多年来,程序员们创建了提供这种自动快照功能的独立解决方案。

    ITPUB社群 SQL on Hadoop 6 1970-01-01 08:33
  • FreeBSD 上实现更好 Wi-Fi 之路 | FreeBSD 基金会

    FreeBSD 在可靠性和坚如磐石的稳定性方面的声誉是当之无愧的。但在 Wi-Fi 方面,它的历程则更为坎坷。多年来,用户一直在与缓慢的速度和过时的默认设置作斗争。 这一直是一个长期存在的痛点。好消息是?情况已不再如此。 截至 2025 年,FreeBSD 的 Wi-Fi 支持正在经历多年来最重大的改革之一。开发者正在积极致力于实现从 Linux 轻松移植现代驱动程序,包括 iwlwifi 驱动。这项工作将极大改善对近期 Intel 无线芯片组的支持——这是迈向更广泛笔记本电脑兼容性的重要一步。 与此同时,核心 net80211 无线协议栈正在更新,以支持 WPA3 等更新协议以及即将到来的 802.11 标准。这些变化正在使 FreeBSD 无线网络的基础设施现代化。

    ITPUB社群 SQL on Hadoop 2 1970-01-01 08:33
  • 在PlanetScale上通过工作流引入分片 — PlanetScale

    博客 | 产品 | Vitess Ben Dicken [ @ BenjDicken ] | 2024年11月7日 我们刚刚发布了新的工作流功能,它为您提供了一系列预定义的步骤配方,用于在数据库上执行操作。我们的第一个工作流使您能够通过将表移动到分片键空间来水平扩展数据库,所有这些都可以在 PlanetScale 仪表板内完成。 如果您熟悉 Vitess,这个第一个工作流类似于 MoveTables,这是 Vitess 中管理数据分布的关键组件。我们很高兴现在能在 PlanetScale 中直接提供此功能。 工作流功能在所有 PlanetScale 计划中均可使用。 在 PlanetScale,我们的目标是成为运行关系型数据库最可靠和可扩展的平台。

    ITPUB社群 SQL on Hadoop 8 1970-01-01 08:33
  • 使用 Markdoc 个性化你的入门引导 — PlanetScale

    Ayrton | 2023年10月6日 我们最近为 PlanetScale 发布了一个全新且改进的入门引导流程。我们新入门引导的目标是帮助开发者快速连接并查询他们的 PlanetScale 数据库。 连接方式因应用程序使用的语言和框架而异。每个框架都有细微的差异,因此对我们来说,无论你的应用程序使用什么语言/框架,都能为你提供一条单一路径来完成连接,这一点非常重要。 构建这个入门引导的关键是 Markdoc。本文将更详细地介绍我们如何使用 Markdoc 构建产品入门引导。 Markdoc 由 Stripe 创建,是一种基于 Markdown 的语法,用于创建自定义文档站点。 我们在 PlanetScale 能够如此快速交付的原因之一,是我们优先使用易于上手的工具,让公司中的任何人都能做出贡献。

    ITPUB社群 SQL on Hadoop 7 1970-01-01 08:33
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章