“烧钱”的大模型:初探成本拆解与推理优化方法
编者按:大模型的成本问题一直以来是大家重点关注的问题,本文重点讨论了训练大型语言模型(LLMs)需要的成本,并简要介绍什么是LLM以及一些用于优化大模型推理表现的技术。虽然很难准确预测LLMs未来会怎么发展,但可以肯定,如果成本问题得到解决,LLM会成为我们生活中不可或缺的一部分!以下是译文,Enjoy!作者 | Dmytro Nikolaiev (Dimid)编译 | 岳扬在
大模型的三大灵魂:Finetune, Prompt Engineering, Reward
编者按:基于基础通用模型构建领域或企业特有模型是目前趋势。本文简明介绍了最大化挖掘语言模型潜力的三大灵魂——Finetune, Prompt Engineering和RLHF——的基本概念,并指出了大模型微调面临的工具层面的挑战。 以下是译文,Enjoy!
科学的演变:从笛卡尔到生成式人工智能
本文主要介绍了科学的演变历史,从笛卡尔到生成式人工智能。文章探讨了数学在验证科学原理中的作用,并介绍了新机器学习工具如何验证新的科学。 文中提到,将生成式人工智能与Excel或iPhone进行比较是低估了这一新技术的潜在影响。生成型人工智能的效果很可能相当于电学(electricity)或香农的信息论(Shannon’s Information Theory)。 Generative AI will be a Superpower!
AI大模型已经出现不可预测的能力
日前,非盈利组织生命未来研究所发布了一封《暂停大型人工智能研究》的公开信,马斯克等千名科技人士进行了签名。虽然部分签署人的真实性存疑,但是大型语言模型(LLMs)的“涌现”能力确实可能会导致突然产生偏见、歧视和其他不可预测的风险。 本文讨论了大型语言模型(LLMs)的“涌现”能力,并讨论LLMs的风险及减小风险的方法。想要更好地利用LLMs的“涌现”能力并尽可能的减小风险,就需要我们更深入的理解LLMs的工作原理!
详解AI开发中的数据预处理(清洗)
编者按:在现实生活中,大多数数据都需要进行清洗和预处理,以便在使用数据时达到较佳效果。机器学习流程只能处理数字,因此需要找到一种方法将非数字特征转化为数字表示。本文还介绍了三种缺失值类型:完全缺失、随机缺失和非随机缺失,并教授如何使用Python来检测和处理缺失值。通过阅读本文,我相信你将了解什么是数据清洗,还能掌握数据清洗的步骤以及如何进行实操。以下是译文,Enjoy!作者 |&nbs
大语言模型(LLMs)和新兴机器学习技术栈
编者按:过去,NLP开发人员依赖于文本分类、命名实体识别和命名实体消歧等技术栈来优化NLP任务。然而,随着大语言模型(LLM)的快速发展,新的技术栈开始出现,以支持和加速这些大型语言模型的实现和应用。 让我们一起跟随Langchain的开发者,共同探讨LLM及NLP技术栈正在发生的变化,以及这一系列变化对开发者的意义。 以下是译文,Enjoy!
LLaMA快速上手指南
近期,Meta发布了人工智能大语言模型LLaMA,包含70亿、130亿、330亿和650亿这4种参数规模的模型。其中,最小的LLaMA 7B也经过了超1万亿个tokens的训练。 本文我们将以7B模型为例,分享LLaMA的使用方法及其效果。
一万年太久,只争朝夕 | Foundation model的进展仍不够快
编者按:如今根基模型(Foundation Models)的应用和相关创新正在快速涌现,但仍有很大的提升空间,目前还无法充分发挥根基模型的潜能、将其高效快速地应用于企业级AI应用中。 根基模型的加速应用和落地,带动了基础设施和工具领域的创新。本期IDP Inspiration,我们为大家带来的是创投机构Madrona对于根基模型的发展研判,和大家一同从投资人的视角探寻根基模型发展带来的AI Infra新机遇。 以下是译文,Enjoy!
人人看得懂的ChatGPT技术原理解析
编者按:自ChatGPT面世以来,我们在热切挖掘其丰富应用的同时,也在孜孜探求其背后的工作原理。 今天我们为大家带来的文章,深入浅出地阐释了ChatGPT背后的技术原理,没有NLP或算法经验的小伙伴,也可以轻松理解ChatGPT是如何工作的。 以下是译文,Enjoy!
Prompt Learning: ChatGPT也在用的NLP新范式
自GPT-3以来,大语言模型进入了新的训练范式,即“预训练模型+Promp learning”。在这一新的范式下,大语言模型呈现出惊人的zero-shot和few-shot能力,使用较少的训练数据来适应新的任务形式。最近火爆出圈的ChatGPT是利用这一方式。 简单理解Prompt learning,其核心就是以特定的模板,将下游任务的数据转成自然语言形式,充分挖掘预训练模型本身的能力,以适应不同的下游任务。
AIGC神器CLIP:技术详解及应用示例
编者按:上一期,我们介绍了Diffusion模型的发展历程、核心原理及其对AIGC发展的推动作用。本期,我们将共同走进另一项AI重要突破——CLIP,著名的DALLE和Stable Diffusion均采用了CLIP哦。 Nikos Kafritsas的这篇文章,为我们详细介绍了CLIP是如何工作的,同时提供一些编码示例。
走进AI图像生成核心技术 - Diffusion
编者按:2022年,Diffusion model成为图像生成领域的重要发现,推动了AI绘画应用的爆发式发展。Diffusion模型相较于其他的图像生成模型,在所需数据更少的背景下,图像生成效果有明显提升。本期IDP Inspiration,我们将和大家一起走进Diffusion的发展史。以下是译文,Enjoy!作者 | Kyle Wiggers编译 | 岳扬随着技术
10个优秀的AI艺术生成器
我们经常听到有人说,人工智能将会接管所有人类的活动,包括艺术、电影和其他创意产业中的活动。但事实并非如此。人工智能只是一种辅助工具,艺术家可以用它来探索新的创意领域.这些具有创造性的AI工具可以被任何人用来创造艺术品,这些艺术品通常也能被铸造为NFT。让我们来看一看下面这10个不错的AI艺术作品生成器吧
常用AI/机器学习模型可解释技术与工具
随着AI模型日益复杂,模型可解释的重要性和挑战日益凸显。通过模型可解释,可以指导特征工程的优化、检测偏差、增强模型使用者对模型的可信度。Anaconda资深数据科学家Sophia Yang总结了8种模型可解释常用技术和工具,对其主要特征进行了概述。
联通DataOps和MLOps:将机器学习推理作为新的数据源
数据是AI开发生产的重要元素,在数据驱动的AI时代,割裂的DataOps和MLOps是否依然能满足企业数据挖掘和AI应用的需求?带着这个疑问,IDP和大家一起跟随资深AI从业者Debmalya Biswas的实践分享,一探“如何将DataOps嵌入到MLOps中”。
在大语言模型时代,AI Chatbots下一步将走向何方?
大语言模型(LLMs)的最新研究进展1可能将驱动下一代Chatbots的发展。然而,正如Meta的BlenderBot 3公开演示出现的状况所示,让AI Chatbots功能足够强大,又避免出现有危害的回应,这不是一个简单的任务。虽然我们相信LLMs在不久的将来会被用于许多商业场景,但是由LLMs驱动的Chatbots可能不会成为其中的一种应用。
AIGC 时代到来?聊聊其中最出圈的语言模型 GPT-3
近期,随着AI绘画,AI生成视频的走红,AIGC(AI-Generated Content 人工智能生成内容)再度站在了聚光灯下,成为行业热门话题。AIGC的发展离不开大模型底层技术的支撑,而其中最为出圈的,当属“万能语言模型”GTP-3。 本文中,我们将和大家一同走进GPT-3的发展史,了解GPT-3产生巨大飞跃的原因,探索GPT-3的商业化价值。
对于火热的MLOps的一些冷静观察
作为AI工程化的重要内容,MLOps已走入AI新兴技术的舞台中央,国内外头部科技企业和创业型企业已纷纷推出MLOps平台或工具。 火热的MLOps市场,在备受追捧的同时,是否也需要一些冷静的声音和观察呢?