vivo 万台规模 YARN 集群升级实践
本文主要介绍了vivo大数据架构的演进历程中YARN服务的升级事项,从整体方案出发剖析每个环节遇到的问题难点并逐一分析讲解,对于研究调度器性能和从事大数据运维工作的同学具有较大的参考借鉴价值。
CDGA|企业数据治理:部门间数据部分共享、部分保留的分寸感
在数字化浪潮的席卷下,数据已然成为企业核心的战略资产。企业数据治理的关键命题之一,便是如何在部门间的数据共享与保留之间找到精准的平衡点,是选择全透明的共享模式,还是采用部分共享、部分保留的策略,直接关乎企业数据价值的释放与数据安全的守护。
LLaMA 是模型llama.cpp 是底层推理引擎Ollama三者的关系
LLaMA 是模型本身,llama.cpp 是底层推理引擎,Ollama 是基于 llama.cpp 的一站式管理工具。 三者是“模型 - 引擎 - 工具”的层级关系
Hadoop 实战详解:从环境搭建到企业级案例落地
Hadoop 实战详解:从环境搭建到企业级案例落地在大数据爆发的时代,PB 级数据的存储与计算成为企业数字化转型的核心需求,而 Hadoop 作为 Apache 开源的分布式大数据框架,凭借高可用性、可扩展性、高容错性和低成本的优势,成为处理海量数据的行业标准。不同于纯理论讲解,本文聚焦Hadoop 实战核心,从环境搭建、核心组件实操、综合案例落地到常见问题排查,全程干货无冗余,助力开发者快速上手
HDFS 从概念到实战详解:大数据分布式存储核心指南
HDFS 从概念到实战详解:大数据分布式存储核心指南在大数据时代,海量数据的存储的核心痛点的是“可靠、高效、可扩展”——单机文件系统无法承载 TB/PB 级数据,也难以应对硬件故障、高并发访问等场景。HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)作为 Apache Hadoop 生态的核心存储组件,正是为解决这一痛点而生,它依托廉价商用硬件,
MapReduce 详解:分布式计算的开山鼻祖与核心实践
MapReduce 详解:分布式计算的开山鼻祖与核心实践在大数据浪潮席卷全球的今天,当我们面对 PB 级、EB 级的海量数据时,传统单机计算早已力不从心——无论是服务器的算力上限,还是数据存储的容量瓶颈,都让大规模数据处理成为一道难题。而 MapReduce,作为分布式计算领域的“开山鼻祖”,以其“分而治之”的核心思想,为海量数据处理提供了一套高效、可靠、可扩展的解决方案,更是奠定了 Hadoop
这样的设计使得系统既灵活又高效,能够处理复杂的AI代理任务
** * An operator that executes the actions defined in the agent. Upon receiving data from the * upstream, it first wraps the data into an {@link InputEvent}. It then invokes the corresponding *
我们可以使用 Fan-Out/Fan-In 模式来实现这个目的
var workflow = new WorkflowBuilder(startExecutor) .AddFanOutEdge(startExecutor, [amazonExecutor, ebayExecutor, shopeeExecutor])  
可变资源:资源的状态(值)可以被修改(如int计数器、HashMap的元素)
经典的i++ 操作。它在底层分为“读取-修改-写入”三个步骤。如果两个线程同时读取 i=1,各自加1后写回,结果是2而不是3。直接原因:三大特性被破坏Java内存模型(JMM)定义的多线程并发三大核心特性,任何一个被破坏都会引发线程安全问题:原子性:一个操作(如count++)包含“读 - 改 - 写”三步,非原子操作会被多线程交错执行;可见性:线程修改共享变量后,不会立即同步到主内存,其他线程读
使用 using 语句确保文件流正确关闭
CudaEngine 是推理的核心对象,包含优化后的模型计算图。// 获取张量信息int numTensors = engine.getNbIOTensors();string inputName = engine.getIOTensorName(0); // 输入张量名称string outputName = engine.getIOTensorName(1); &nb
window.Title = e.NewValue?.ToString(); // 更新主窗口标题
using System; using System.Windows; namespace Test { /// <summary> /// MainWindow.xaml 的交互逻辑 /// </summary> public partial cl
我们的核心工作是写 Prompt(提示词)
from langchain.agents import create_agentfrom langchain_openai import ChatOpenAIfrom langchain.tools import tool # 加载 .env 文件中的 SILICONFLOW_API_KEYload_dotenv() # 1. 定义工具:必须要写清晰的 Docstring(函
emoteExecutionEnvironment 是 Flink Agents 对原生 Flink
* Connects the given KeyedStream to the Flink Agents agent. * * <p>This method accepts a keyed DataStream and applies the specified agent plan to it.
Hadoop没那么玄!大数据界的“高效流水线”,悄悄承包你的日常
一提到Hadoop,不少人立马脑补“满屏代码、机房服务器阵列”的画面,觉得这是程序员的专属黑话,跟普通人没啥关系。但你不知道的是,你刷到的精准推荐、外卖小哥的高效配送、甚至手机里的天气预警,背后都有Hadoop在默默打工。今天就用唠嗑的画风把它说透:Hadoop本质就是大数据界的“高效搬运分拣流水线”,专门处理海量数据,看完这篇,你也能轻松get它的核心逻辑。一、先搞懂:Hadoop到底是啥?大数
Hadoop不神秘!大数据时代的“超级流水线”,藏着你不知道的生活密码
一提到Hadoop,不少人立马皱起眉头——“听着就像程序员的专属黑话”“大数据相关的,肯定特别难”。仿佛这玩意儿是躲在服务器机房里的“技术怪兽”,和我们普通人半点关系没有。但事实恰恰相反,你每天刷到的精准推荐、外卖小哥的高效配送、甚至手机里的天气预警,背后都可能有Hadoop在默默“打工”。今天就用唠嗑的画风,把Hadoop扒明白:它不是什么高深莫测的黑科技,本质上就是一条处理海量数据的“超级流水
一个法务总监的AI审核转型记:从天天加班看合同到AI帮我看合同_
2025年4月的一个晚上,北京国贸某写字楼里,李总监还在加班。她面前摊着三份合同:一份采购合同,一份销售合同,还有一份合作协议。每份都30多页,密密麻麻的法律条款。手机响了,是女儿打来的:"妈妈,你什么时候回家?我作业写完了。""快了快了,还有一点。"李总监说。其实她知道,这点"一点"至少要2小时。李总监是某制造企业的法务总监,公司500
Hadoop:大数据时代的基石与实战解析
在信息爆炸的数字时代,我们每天都在产生海量数据。从社交媒体的每一条动态,到电商平台的每一次交易,从物联网设备的实时监测,到企业运营的业务记录,这些数据量已经远远超出了传统数据处理技术的能力范围。正是在这样的背景下,Hadoop应运而生,成为了大数据时代的核心技术框架。Hadoop的核心架构解析Hadoop的核心设计理念是"分而治之"。它主要由三个部分组成:HDFS(分布式文件系
Oracle OGG日常运维命令都在这里了。
Oracle OGG日常运维命令都在这里了。
Django+Celery 进阶:动态定时任务的添加、修改与智能调度实战
一、Celery定时任务
HDFS目录配额(quota)不足导致写文件失败
本文分享自天翼云开发者社区《HDFS目录配额(quota)不足导致写文件失败》,作者:5****m问题背景与现象给某目录设置quota后,往目录中写文件失败,出现如下问题“The DiskSpace quota of /tmp/tquota2 is exceeded”。[omm@189-39-150-115 client]$ hdfs dfs&nb