ITPub博客

首页 > 人工智能 > 自然语言

关于 “自然语言” 的内容如下:

  • 深入学习自然语言:NLP、NLG不可分开战斗!

    有人说来自语言的数据是“非结构化数据”,事实证明这是一个错误的说法。如果没有特定的语言结构,人们可能无法用语音或者书面语言进行正确交流。语法是语言的结构,它有助于定义语言的含义。大家学习任何一门语言,都要学习该门语言的语法结构。要想推动计算机的快速发展,就要摆脱传统处理计算机的思维,推陈出新,理解自然语言的结构。

    刘美利 自然语言 1430 2018-08-10 17:57
  • 人工智能的下一个重大挑战:理解语言的细微差别

    语言是人类特有的技能,是人类智慧的体现。在人工智能时代,自然语言处理(NLP)技术为机器赋予了这样的语言功能,让机器有了自然语言识别能力,为用户体验开辟了新路径。

    刘美利 自然语言 1424 2018-07-30 17:29
  • 使用python进行Oracle数据库性能趋势分析

    总结 通过Oracle性能趋势分析工具的应用可以进行细粒度的数据库性能管理,及时发现潜在的信息系统性能衰减隐患,通过持续性、常态化的信息系统性能优化,优化信息系统提升,提升用户体验。

    sb5533 自然语言 17 2018-06-14 11:13
  • Jerry眼中的SAP客户数据模型

    由于Jerry水平和精力所限,本文不会详细阐述这些产品里的客户模型设计细节,而是介绍了一种方法,如果您对这些模型设计感兴趣,可以按照该方法自行深入研究。除SAP S/4HANA On Cloud之外,其他七款产品在SAP成都研究院均存在对应的开发团队。如果您对这些产品有进一步的问题需要咨询,欢迎留言。可以按照客户的类...

    i042416 自然语言 69 2018-04-28 18:52
  • 自己写的杀mysql线程的脚本

    执行结果:点击(此处)折叠或打开[root@MySQL02 ~]# python kill_sql.py ############## 摘要 ###############用户ygjt_new在线的总线程数是3, 其中select:2 update:1 delete:0 insert:0 alter:0...

    czxin788 自然语言 738 2018-04-27 11:08
  • 使用FBTriton实现表批量嵌入的现代化

    本文探讨了用于 Table Batched Embedding (TBE) 前向和后向传播的 FBTriton 内核设计。这些核心算子负责在推荐系统中跨数千个分片 GPU(图形处理器) 处理嵌入查找。我们的 Triton 实现在这些工作负载上成功超越了传统的 CUDA(NVIDIA 并行计算平台和编程模型) 内核。在此,我们阐述架构设计、详述实测性能提升,并重点介绍未来的优化机会。 TBE(Table-Batched Embedding)内核在一次 GPU 操作中高效地对多张表执行嵌入查找和池化。TBE 在单次 GPU 启动中为多张表结合了嵌入查找和池化,减少了启动开销并提高了内存效率。

    ITPUB社群 自然语言 2 1970-01-01 08:33
  • 扩散模型中置信度的局限

    作者:Russ Webb、Amitis Shidani、Alice Bizeul、Dan Busbridge 离散扩散(包括重掩码和均匀状态采样器)通过每步写入多个 token 位置来生成序列,每个位置的值从逐位置分布中采样,而写入哪些位置也由这些相同的分布决定。对于普遍关注的领域(像素、音素或词),token 之间存在固有的依赖关系。我们证明,一步操作只有在它所写入的位置在已固定 token 的条件下条件独立时,才与训练分布匹配;任何逐位置分布的乘积都无法匹配一个存在依赖的组;并且逐位置分布无法决定一个组是否存在依赖:两个联合分布可以具有相同的逐位置边缘分布,但在哪些值组合会出现上有所不同。

    ITPUB社群 自然语言 1 1970-01-01 08:33
  • 使用 Meta 的 Muse Spark Open 在 NVIDIA GB300 NVL72 上扩展智能体编码工作流 | NVIDIA 技术博客

    Meta 发布 Muse Spark Open,这是一个针对编码优化的 816B 混合专家(MoE)模型,拥有 42B 激活参数和 1M token 上下文窗口。该模型在 NVIDIA GB300 NVL72 Blackwell Ultra 上专门针对智能体编码工作流进行训练,具备更高的首次尝试准确率、可靠的工具调用能力以及对跨仓库代码库的深度理解。1M token 上下文窗口可容纳整个项目,包括复杂依赖、遗留代码和数千个文件,无需将任务拆分成片段。 作为推理模型,Muse Spark Open 在图像和文档理解之外增加了音频和视频感知能力,能够原生且可靠地处理其所见、所闻和所读的内容。

    ITPUB社群 自然语言 1 1970-01-01 08:33
  • 带堆视图的保险库:AgentCore Harness 与身份之间令人不安的空间

    Unit 42 研究人员发现了一个问题:在 Amazon Web Services (AWS) AgentCore Harness 中使用默认配置,可能允许攻击者通过提示注入操纵智能体的行为,从而窃取由 AgentCore Identity 管理的明文凭据。 为得出这一结论,我们检查了该 harness 众多集成中的两个: AWS AgentCore Identity,平台推荐的用于管理智能体身份和存储凭据的方式(即身份保管库) 下游 Model Context Protocol (MCP) 服务器,harness 使用来自该身份保管库的凭据对其进行身份验证 AWS AgentCore Identity 提供静态加密、传输中加密、密钥管理服务 (KMS) 密钥以及身份和访问管理 (IAM) 门控访问。

    ITPUB社群 自然语言 4 1970-01-01 08:33
  • 数据职业并非千篇一律!在数据领域找到理想职位的建议 - KDnuggets

    博客 热门文章 关于 主题 AI 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps NLP 编程 Python SQL 数据集 活动 资源 速查表 推荐 技术简报 广告 数据专业人士,蓬勃发展不仅仅是为了赚大钱!它关乎成就感和影响力。在本文中,我将帮助你根据自己独特的技能组合、性格和目标,发现最适合你的数据职位。 作者:Lillian Pierson, P.E.,世界级数据领导者和企业家的导师,Data-Mania 首席执行官 自从 2012 年《哈佛商业评论》将数据科学家评为“21 世纪最性感的职业”以来,似乎每个人和他们的妈妈都争先恐后地培养自己的数据科学技能。 这并非没有道理!对数据科学家的需求只增不减,而且薪资远超美国全国平均水平。

    ITPUB社群 自然语言 1 1970-01-01 08:33
  • GRPO如何通过可验证奖励训练小型语言模型

    使用 Unsloth 进行本地推理实验背后的机制,以及为什么奖励函数与模型同样重要。 语言模型可以写出“让我再检查一下”,但仍然算错乘法。它甚至可以写出“等等,让我重新考虑”,然后得出另一个错误答案。这两句话都不是思考的证据。如果目标是解决问题,只有最后的数字才算数。 DeepSeek 的 R1-Zero 让没有初步监督微调阶段的强化学习受到了相当多的关注。其研究人员报告了一些行为,例如重新审视某种方法,以及在困难问题上花费更多 token。相比之下,DeepSeek-R1 使用了更广泛的训练流程,包括冷启动数据,因此我们不应将这两个训练过程视为可以互换。

    ITPUB社群 自然语言 2 1970-01-01 08:33
  • Orca Security 使用 Amazon Bedrock 进行自然语言安全查询 | Amazon Web Services

    安全分析师需要快速获取有关其云基础设施的答案,而无需深入了解特定领域的查询语言。Orca Security 的工具覆盖了 900 多个云模型(Sonar 跟踪的资源类型,例如 Amazon Elastic Compute Cloud(Amazon EC2)实例或 Amazon Simple Storage Service(Amazon S3)存储桶)。查询这些数据需要精确的模型名称、嵌套关系导航,以及从 18 个运算符(用于筛选结果的比较函数,如 equals 或 contains)中进行选择。 为解决这一问题,Orca Security 与 AWS 合作构建了 Discovery AI,这是一个基于 Amazon Bedrock 的自然语言查询智能体。

    ITPUB社群 自然语言 0 1970-01-01 08:33
  • 让零售更智能:使用Arduino® VENTUNO™ Q开发板构建情境感知体验 | Arduino Blog

    博客首页 > 认识 Nuvi:从 Q 到可爱的 AI 桌面伴侣 你拿着两件夹克和一条裤子走进试衣间。你喜欢每一件单品,但不确定它们搭配在一起是否合适——以及哪件夹克更好。通常,你会拍张照片发给朋友,或者走出去询问店员。但想象一下,如果你只需看着镜子,点击“扫描你的造型”就可以了。 几秒钟后,镜子识别出你穿的是什么,辨认出颜色,并建议你如何完善这套穿搭。也许是一件衬衫或一件配饰——店内就有售——能将整体造型串联起来。 这就是运行在 VENTUNO Q 上的 Smart Mirror 示例背后的体验。它起初是一个个性化风格顾问,但也指向了一种新型零售体验:物理空间能够理解顾客正在做什么,并实时提供相关指导。

    ITPUB社群 自然语言 4 1970-01-01 08:33
  • 告别“拍脑袋”配GPU:一份面向推理负载与TCO的实用配置指南

    将 GPU 配置视为一个动态的、数据驱动的持续优化过程,而非一次性的静态决策,才是控制 AI 推理成本、实现长期 TCO 最优化的根本之道。对于正在规划 AI 基础设施的团队而言,不妨从梳理自身用例和量化上述关键输入开始,这远比争论“该买 H100 还是 A100”更有价值。

    lumin1020 自然语言 76 1970-01-01 08:33
  • 在用户之前打破你自己的RAG管道

    一个小型对抗性测试集,能捕捉到你的评估集永远无法发现的检索失败 检索增强生成(RAG(检索增强生成))使用从一组文档中检索到的信息来回答问题。该文档集合称为语料库。典型的评估会将一个写得好的问题发送到一个整洁的语料库,并检查检索器是否返回正确的段落。 生产环境的文档集合很少保持整洁。 策略变更后,旧页面仍然可被搜索到。用户输入“warehuse”而不是“warehouse”。光学字符识别(OCR),即从扫描件中提取文本的软件,可能会将“SSO”读作“SS0”。表格也可能在页面边界处被分割,从而将数字与其标签分开。 每个问题都可能将检索器引向错误的段落。语言模型随后接收到不正确或不完整的上下文,因此即使是写得好的答案也可能是错误的。 在本文中,我们将看到一个小型检索器和故障注入,即故意添加问题以测试系统如何响应。

    ITPUB社群 自然语言 3 1970-01-01 08:33
  • GPT 风格语言模型中的因果注意力

    因果注意力(Causal attention)是一种自注意力机制,其规则是阻止来自后续 token 位置的信息。在位置 t 处,模型可以关注到包括 t 在内的位置。然后,生成的表示被用于预测位置 t+1 处的 token。 举一个小例子,考虑 token 序列“the cat sat”。当模型计算“cat”的表示时,它可以使用“the”和“cat”。它不能使用“sat”,因为“sat”在此时是下一个 token 的预测目标。 这种限制使得 GPT 风格的模型能够在完整序列上训练,而不会看到自身预测任务的答案。整个训练序列都存在于内存中,这使得并行处理多个位置成为可能。注意力掩码仍然限制了每个位置可以读取的内容。 如果没有掩码,“cat”的表示可能会包含来自“sat”的信息,然后用这些信息来预测“sat”。

    ITPUB社群 自然语言 4 1970-01-01 08:33
  • GraphRAG:6种高级架构模式的实践者指南 | Towards Data Science

    超越基础图检索:六种面向生产的架构,用于结合语义搜索、知识图谱和LLM推理。 检索增强生成(RAG(检索增强生成))是各组织中应用最广泛的LLM用例。通过在查询时对文档进行向量化并检索语义相似的片段,RAG可以缓解幻觉、为回答提供依据,并绕过模型预训练带来的静态知识截止限制。然而,在现实场景中,标准的基于向量的RAG在复杂查询上会遇到限制,例如那些需要全局上下文、多跳推理、跨文档数值聚合等的查询。 标准RAG非常擅长回答明确的、局部化的查询。但如果我们问:“供应商B延迟发货零件A会如何影响产品C的最终装配?”,它会基于语义重叠检索出彼此不连贯的片段,却完全遗漏了连接这些实体的明确、确定性的关系。

    ITPUB社群 自然语言 12 1970-01-01 08:33
  • 使用键值缓存复用提示前缀以优化SLM

    博客热门文章关于 主题 AI 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps NLP 编程 Python SQL 数据集 活动 资源 速查表 推荐 技术简报 广告 在我们关于SLM优化技术的短系列文章的第二篇中,我们重点关注使用键值缓存复用提示前缀。 在上一篇文章中,我们讨论了为小型语言模型(SLM)窄域自动化优化约束输出空间。我们当时提到,这是SLM优化策略短系列文章的第一篇。现在我们来到了第二篇。这次我们将重点关注使用键值缓存复用提示前缀。让我们不再浪费时间寒暄,直接进入正题。

    ITPUB社群 自然语言 5 1970-01-01 08:33
  • Inkling:一个全新的开放权重975B MoE,带来一些惊喜

    2026年7月16日,作者 Sebastian Raschka Thinking Machines Lab 发布了 Inkling,这是一个拥有 9750 亿参数的开源权重混合专家(MoE)模型。每个 token 激活 410 亿参数,并支持高达 1,048,576 个 token 的上下文窗口。 这些数字使 Inkling 与 Kimi K2.5 和 GLM-5.2 处于大致相同的规模级别。然而,该架构有几个我较少见到的细节,包括每个解码器块内部的短卷积,以及用可学习的相对位置偏置替代 RoPE。 Inkling 有 66 个解码器层,隐藏维度为 6,144。前两层使用稠密前馈块。其余层包含 256 个路由专家和 2 个共享专家。每个 token 选择 6 个路由专家,且两个共享专家始终处于激活状态。

    ITPUB社群 自然语言 5 1970-01-01 08:33
  • 模型可解释性之谜 - KDnuggets

    博客热门文章关于 主题 AI 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps NLP 编程 Python SQL 数据集 活动 资源 速查表 推荐 技术简报 广告 深度网络被广泛视为黑箱。但它们真的在任何意义上都无法解释,而逻辑回归却可以吗? 更新:此后我在《模型可解释性的迷思》(The Mythos of Model Interpretability)中完善了这些想法,这是一篇在2016年ICML机器学习人类可解释性研讨会上展示的学术论文。 关于机器学习模型的可解释性,有一种流行的说法:像逻辑回归这样的简单统计模型产生可解释的模型。另一方面,神经网络则是黑箱。这种说法暗示我们可以输入数据,观察输出结果,但缺乏对中间过程进行推理的能力。

    ITPUB社群 自然语言 7 1970-01-01 08:33
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章