AgentENV（简称 AENV）是 Kimi K3 模型背后用于大规模运行 Agent 执行环境的分布式平台，由 kvcacheai 团队开源。它的核心职责是：在大规模集群上同时调度成千上万个轻量级隔离沙盒（基于 Firecracker microVM），按需加载 OCI 镜像，让每个 Agent 任务在独立、可快启、可快停的环境中运行。 类比来说：如果 …
仓库攻略
12 篇 · 12 个项目 · LLM 基础设施 · jay · Agent 智能体
Ollama 是最流行的本地大模型推理运行时，让你在本地机器上运行开源 LLM（Llama 系列、Qwen、DeepSeek、GLM、Gemma 等数百个模型），无需云服务、无需 API Key、一条命令启动服务。2026年7月 v0.32.0 起，Ollama CLI 本身升级为交互式 Agent，支持 Chat、Code 和 Work 委托任务——CLI…
Kimi K3 是 Moonshot AI（MiniMax）推出的开源权重多模态 Agent 大模型，总参数量 2.8T（激活 104B），是全球首个开放的 3T 级开源模型。K3 基于两项自研架构：Kimi Delta Attention（KDA） 和 Attention Residuals（AttnRes），采用 MoE（MixtureofExperts…
DataJuicer（简称 DJ）是一个为 foundation model 时代打造的数据操作系统，专注于将混乱的原始数据转化为 AI 可用的精炼数据。它把数据处理看成是可组合的基础设施，提供模块化的构建块来完成清洗、合成和分析，覆盖 AI 全生命周期的数据处理需求。 用大白话说：它是一个超大型数据处理工具箱，内置 200+ 算子（Operator），可以…
HappyLLM 是 Datawhale 团队推出的系统性大模型学习教程，定位介于"科普"和"科研"之间，目标是授之以鱼，更授之以渔。它从 NLP 基本研究方法讲起，沿着 LLM 的思路和原理逐层深入，最终带领读者用 PyTorch 从零实现一个 LLaMA2 模型，并完成预训练、有监督微调（SFT）和 LoRA/QLoRA 高效微调的全流程。 与其姐妹项目…
LMCache 是一个KV Cache 管理中间件层，专为 LLM 推理场景设计。它的核心思路是把 GPU VRAM 中转瞬即逝的 KV Cache 变成可持久化、可复用、可监控的 AI 原生存储，从而显著降低 TTFT（Time To First Token，首 token 延迟），提升多轮对话和 Agentic Workload 的吞吐量。 典型工作场景…
Onyx 是 LLM 的应用层——一个功能丰富的开源 AI 平台，支持自托管。它让团队通过 RAG（检索增强生成）、深度研究、自定义 Agent、代码执行、Web 搜索、MCP 等高级能力，把 LLM 接入真实工作流。 核心定位：企业级 AI 平台（类 ChatGPT + RAG + Deep Research + Agents），可一键部署，适合需要数据隐…
Outlines（GitHub: dottxtai/outlines，PyPI 包名 outlines）是一个 Python 库，专门解决 LLM 输出结构化数据的问题。由 .txt 团队开发和维护，被 NVIDIA、Cohere、HuggingFace、vLLM 等知名机构信任使用。 核心价值主张：在生成阶段就保证输出格式正确，而不是生成后再用正则、JSO…
LLaMA Factory（LlamaFactory）是一个统一的大模型微调平台，能对超过 100 种预训练 LLM 和 VLM（视觉语言模型）进行高效微调，且无需编写代码。项目发表面向 ACL 2024论文，并被广泛用于学术和工业场景。 其核心定位是：让微调大模型变得像"运行一个命令"一样简单。 从零预训练大模型成本极高，普通开发者无法承受。而直接使用通用…
f/prompts.chat 原名 Awesome ChatGPT Prompts，是 GitHub 上最早（2022 年 12 月）也是规模最大的开源提示词（Prompt）集合库。官方自称「世界最大的开源提示词库」，已获 143k+ GitHub Stars，曾被 GitHub 官方精选（Staff Pick），被哈佛、哥伦比亚等高校引用，学术引用超 40…
ds4（DwarfStar）是意大利程序员 Salvatore Sanfilippo（网名 antirez，Redis 作者）用纯 C 语言手写的本地推理引擎，专门针对 DeepSeek V4 Flash 和 V4 PRO 两个权重模型优化。与一般 GGUF 通用加载器不同，它是专为这两款模型定制的闭着眼睛优化路径——不是万金油，而是专精选手。 项目有三大目…
Open WebUI 是一个可扩展、功能丰富、用户友好的自托管 AI 交互界面。它的核心目标是让你完全离线运行自己的 AI 界面，同时支持连接任意 OpenAI API 兼容的模型（包括本地 Ollama、私有化部署的 vLLM、LM Studio 等）。 用一张图来理解它的位置： 用户浏览器 ←→ Open WebUI ←→ Ollama / OpenAI…