ITPub博客

要让o1拥有意识，就需要它具有高效压缩数据，就像人类脑袋里的“面部编码器”。还得学会自我建模，认识到“我”的存在，并具备元学习能力，能够从经验中快速调整策略。 而真正的意识还需要体验感，通过整合不同感知数据，让 AI 可以更好地理解环境

如今，随着生成式AI的兴起，我们再次站在了一个新的十字路口。Meta的LLama3模型，通过同时采用RoCEv2和IB网络技术，以期拓展自己网络通信领域技术。在国内，例如华为和阿里也在不断探索Ethernet的潜力，以期在未来的网络世

下面我们首先先来思考两个问题？ 为什么深度学习任务提升GPU利用率和性能是比较复杂的过程？ 当我们拿到待分析的深度学习任务如何开始分析？直接nsight Profiler吗？

NVIDIA NVSwitch技术引领高性能计算领域，为人工智能和机器学习带来前所未有的高效能协作。

当前AI大模型还处于发展的初期，巨量上升的空间使得资本可以无限制的投入，然而这种无限制的投入会持续多久呢？ 在整一条产业上，目前只有卖芯片的英伟达赚到了钱，其他公司都是在赚取对未来期望的钱。 所以说，终端产品成为市场竞争的关键。最后，芯片或

在ComputeX结束后，Nvidia成功加入了三万亿市值的俱乐部，超过了苹果，成为全球市值第二的公司。

探秘英伟达 GPU 间的通信秘诀，领略 NVLink 和 NVSwitch 技术如何助力人工智能深度学习模型的训练效率。

矩阵在进行 GEMM 计算之前会被分块，这些分块后的矩阵存储在全局内存（Global Memory）中。接下来，在计算开始前，程序会将需要参与计算的矩阵分块加载到共享内存（Shared Memory）中。然后，当实际执行矩阵乘法运算时，线程

OpenAI新一代旗舰GPT-4o颠覆传统，实现实时多模态智能推理，引领人工智能免费时代。

Tensor Core的演进主要带来了三大关键提升。首先，是内存能力的提升，有效地打破了所谓的“内存墙”。 其次，Tensor Core在SM内部支持了更多样化的数据格式。 最后，随着硬件架构的升级，对应的软件编程模式也发生了相应的调整。

ChatGPT，尽管它被迫运行整个庞大的网络来预测每一个新词，这需要巨大的计算工作量，但对于用户当前的问题来说，只有网络中非常特定的部分会被激活，以帮助预测新词。例如，大型模型中80%的输入只激活少于3%的神经元。

从ChatGPT引爆那一刻起，AI行业的竞争从来不仅是技术的竞争，也是一场资源的竞争。

今天我们再次尝试聊一下Transformer，探索和描述下其本质特性，纯属胡闹，如有偏差请亲喷。

在解决人工智能对齐（alignment）的技术挑战时，一个核心问题是确保人工智能系统的行为与人类价值和期望保持

端侧 AI 其实一直非常重要优化方向，因为这块产品的落地依然存在着一些问题，不论是前一段的Groq芯片还是现在的Octopus模型，都想在未来的端侧AI进行占位。

总的来说，与集群级别的H100 相比，NVIDIA 将训练性能提高 4 倍，将推理性能提高 30 倍，同时能源效率提高 25 倍。而模型的演进确实一直在进行中，从transformer的变种，到论证attention还是FFN重要，到线性

在实际应用中，我们可能会观察到nvidia-smi工具报告的GPU利用率为100%，即使只有一个SM在活动。这种现象可能会引起一些混淆，因为它似乎与我们的直觉不符。实际上，nvidia-smi报告的“GPU-Util”指标是基于整个GPU的

当谈及数据的重要性时，大家可能首先想到的是数据科学领域中广为流传的名言：“Garbage in, Garbage out”。一个好的数据集应该既包含目标任务的训练数据，还应该包含可迁移能力的相关训练数据。

在Nvidia的通用GPU架构中，存在三种主要的核心类型：CUDA Core、Tensor Core以及RT Core。其中，Tensor Core扮演着极其关键的角色。 Tensor Core 是针对深度学习和 AI 工作负载而设计的专用