【Rust日报】llm_client - 在本地使用大型语言模型
Ygen - 使用内存安全的API构建快速和简洁的编译器
Ygen是一个工具包,旨在使用内存安全的API构建快速和简洁的编译器。它的主要目标是简单性,API类似于LLVM,大量使用trait来重载函数。该项目目前处于早期开发阶段,可能存在bug和错误编译。仅建议用于玩具编译器。
该介绍提供了一个简单的示例,展示了如何使用Ygen构建一个加法函数。代码生成了一个将两个整数相加的IR函数,并将其打印出来。还提到可以将IR编译为汇编代码。
最后,该仓库由Cr0a3拥有,使用Apache 2.0许可证。目前Ygen支持x64架构的完整IR,但尚不支持完整的ISA。
https://github.com/Cr0a3/ygen
llm_client - 在本地使用大型语言模型
llm_client用于在本地使用大型语言模型(LLM)。它支持CPU、CUDA和MacOS,并提供了对常见模型的预设配置。主要特点包括:
自动构建并支持CPU、CUDA和MacOS。 提供预设模型和量化选择。 支持级联提示工作流,用于对因果推理(CoT)和自然语言处理任务。 广泛的配置选项,如采样器参数、重试逻辑、提示缓存、logit偏差和语法。 支持OpenAI、Anthropic、Perplexity和任何兼容OpenAI的API。 提供从概率LLM输出中获取确定性信号的接口。 实现了专门的工作流来约束和控制生成输出,以获得可重复的结果。 提供了一些示例,如基本完成、返回原语、推理和决策。 包含对Nvidia GPU功耗的限制。 使用了llama.cpp进行LLM推理,并支持mistral.rs。
https://github.com/shelbyJenkins/llm_client
grip-grab - 一个更轻量级的ripgrep替代品
grip-grab工具是一个更轻量级的ripgrep替代品,用于日常搜索用例。文档介绍了安装方法、基准测试结果、用法和示例等内容。
主要内容包括:
安装说明,使用cargo install grip-grab进行安装。
基准测试结果,在小到中等规模的代码库上,gg通常比ripgrep更快。但在大型代码库和多CPU机器上,ripgrep可能更快。
用法说明,gg命令的选项和参数的使用方式。
示例,展示了gg的一些基本用法,如搜索模式、JSON输出、只显示文件名等。
说明gg工具主要基于ripgrep的几个crate,旨在提供一个轻量级的搜索工具,可便于集成到其他程序中。
总的来说,这是一个提供文本搜索功能的命令行工具,相比ripgrep更加轻量,在特定场景下性能更优,可作为日常使用的替代品。
https://github.com/alexpasmantier/grip-grab
--
From 日报小组 Mike
社区学习交流平台订阅：
Rustcc论坛: 支持rss 微信公众号：Rust语言中文社区
原文作者：Rust语言中文社区；如有侵权，请联系管理员删除。
