穿上App外衣,保持Web灵魂——PWA温故
PWA,穿上App的外衣,保持Web的灵魂。一种先进的理念并不能直接演变成竞争优势......
浅析数据工程
在这个大模型的时代, 企业的数据工程中要融入面向大模型的数据架构,在数据产生时完成自行标注,同时辅之以数据服务商提供的数据,将大模型作为默认选项形成自己的领域模型......
隐私保护之隐私信息检索
用户的隐私保护涉及多个方面,用户行为的隐私保护更是一个难点。隐私信息检索会成为一个主流的方向么?......
隐私计算之TEE的双操作系统支撑
如果通过TrustZone 技术来实现TEE以支持隐私计算,那么,双操作系统可能是一个潜在的解决方案,同样地要处理诸如中断和调度等问题,或许,可以看作是分布式操作系统的一个特例......
老码农的管理拙见
每个人都可能会晋升到更高的级别或职位,但不同的角色有着各自的问题空间和技能树,本文是对如何成为一个管理者的妄谈,来自于真实的经历和教训......
操作系统的可扩展访问控制
通过了解访问控制可扩展性和框架设计,进而观察了几个产品在部署安全策略中的实践,包括 FreeBSD、Junos 和 MacOS及iOS。?虽然访问控制的可扩展性是这些项目的关键所在,但它们对框架本身也带来了相当大的改变......
全栈必备:系统架构设计的10个思维实验
软件系统的架构设计经验很难获得。即便工作多年,能够完成系统架构设计的机会也很有限。如何提高自己的系统架构设计能力呢?......
论文学习笔记:增强学习应用于OS调度
CPU调度程序是影响系统性能的重要因素。该论文提出了STUN,这是一种使用强化学习优化Linux内核调度程序参数的优化框架。使用STUN可以在不需要人为干预的情况下增强各种调度环境.....
LLM的工程实践思考
LLM 在改善各种应用的能力方面具有巨大的潜力,但也提出了独特的挑战。面向数据管理、模型训练和调整、部署、解释、测试、安全、CI/CD、监控和日志记录以及治理和合规等关键领域,我们需要确保 LLM 在生产环境中的可靠性、安全性和性能...
神经网络中的损失函数
损失函数提供了神经网络表现如何的度量,并被用作训练期间优化的目标。损失函数越小,一般就代表模型的鲁棒性越好,正是损失函数指导了模型的学习.....
操作系统性能提升之内核锁优化
内核锁的同步原语对一些应用程序的性能和可伸缩性有巨大的影响,然而,控制内核同步原语对于应用程序开发人员来说是无法实现的。如果使用上下文并发控制,它允许用户空间应用程序微调内核并发原语......
关于操作系统调度器的三篇论文
这三篇论文,探讨了在操作系统调度器中如何引入现代化的方法。第一篇论文专注于构建尽可能快速的调度器,第二篇旨在简化实现并与现有应用程序和操作系统兼容的新策略。第三篇论文则探讨不同类型应用程序的最佳调度策略。最终,这三篇论文...
解读大模型的微调
在快速发展的人工智能领域中,有效地利用大型语言模型(LLM)变得越来越重要。然而,有许多不同的方式可以使用大型语言模型,这可能会让我们感到困惑。实际上,可以使用预训练的大型语言模型进行新任务的上下文学习并进行微调......
《神奇的连接组》读后
历史与未来相望,先天与后天相遇,连接组学是一门关于脑科学的前沿学科。对于连接组学这样的神经科学, 我们恐怕连仰望的资格都没有,但是, 人工智能智能的真正突破或许会依赖于脑科学的真正突破 ... ...
浅析多模态机器学习
多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能。多模态机器学习中的核心问题包括表示、翻译、对齐、融合和协同学习......
系统学习大模型的20篇论文
“脚踏实地,仰望星空”, 知其然还要知其所以然。大模型的研究日新月异,这里重点关注大语言模型的设计、约束和演变,这里推荐了20篇论文。我们可以跟随上述论文中的参考文献进行更深入的学习......
深度学习架构的对比分析
尝试对比分析了深度学习架构中的Transformer、CNN、RNN/GRU/LSTM,理解到Transformer可以学习更长的依赖关系,但需要更高的数据需求和计算能力,能够适用于多模态任务,每个模型结构都有一种内在的归纳偏差.....
解读ChatGPT中的RLHF
RLHF的主要任务是生成奖励模型,通过人类偏好为输入文本分配标量奖励,并使用增强学习对大型语言模型进行微调。同时,RLHF可能会产生偏差,需要使用相应的缓解策略。通过强化学习和监督式学习中微调的对比,可以了解到二者结合使用的可能性...
解读Toolformer
微软的TaskMatrix.AI是Toolformer 和 chatGPT 的结合,将基础模型与数百万个 API 连接起来以完成任务。那么,什么是 Toolformer 呢?......
解读TaskMatrix.AI
TaskMatrix.AI或将成为一个平台,允许人类利用大模型和 API 执行大量多样化的任务。它能处理每一个普通的任务 ,让我们更有生产力和创造力...... 或许,“AI的数量每18个月翻一番”会成为一个新的定律。