Krasis 是一个混合 LLM 推理运行时，专注于在消费级显存受限的 NVIDIA GPU 上高效运行数百亿参数级别的 MoE（Mixture of Experts）大模型。它的核心设计目标是：让一张或两张普通游戏显卡（如 RTX 5090 32 GB、RTX PRO 6000 96 GB）就能跑得动原本需要 H100/A100 才能加载的千亿参数模型。 …
仓库攻略
16 篇 · 16 个项目 · LLM 基础设施 · jay · RAG 检索增强
StarlightSearch/EmbedAnything 是一个用 Rust 构建的高性能、多模态 embedding 管道。它支持从文本、图片、音频、PDF、网站等多种来源生成向量嵌入，并与 Milvus、Weaviate、Elastic、SingleStore 等主流向量数据库无缝对接，核心卖点是零 PyTorch 依赖、低内存占用、流式索引，已在 E…
mlabonne/llmcourse 是由法国机器学习工程师 Maxime Labonne 维护的一套免费、开源的大语言模型（LLM）学习路径仓库，GitHub Stars 超过 81,000（2026年8月）。它不是传统意义上的"课程"，而是一份精心编排的知识图谱——包含路线图（roadmap）、Colab Notebook 实践代码、配套博客文章，覆盖从…
Ollama 是最流行的本地大模型推理运行时，让你在本地机器上运行开源 LLM（Llama 系列、Qwen、DeepSeek、GLM、Gemma 等数百个模型），无需云服务、无需 API Key、一条命令启动服务。2026年7月 v0.32.0 起，Ollama CLI 本身升级为交互式 Agent，支持 Chat、Code 和 Work 委托任务——CLI…
Kimi K3 是 Moonshot AI（MiniMax）推出的开源权重多模态 Agent 大模型，总参数量 2.8T（激活 104B），是全球首个开放的 3T 级开源模型。K3 基于两项自研架构：Kimi Delta Attention（KDA） 和 Attention Residuals（AttnRes），采用 MoE（MixtureofExperts…
cubestudio 是腾讯音乐（TME）开源的一站式云原生机器学习/深度学习/大模型 AI 平台，覆盖从数据标注、模型训练、任务编排、分布式推理到模型市场的 MLOps 全流程。 它是腾讯音乐内部多年沉淀的生产级平台首次对外开源，目标是为中大型团队提供一个开箱即用、功能全面的企业级 AI 基础设施，同时特别注重对国产硬件（昇腾 NPU）和国产软件生态的支持…
DataJuicer（简称 DJ）是一个为 foundation model 时代打造的数据操作系统，专注于将混乱的原始数据转化为 AI 可用的精炼数据。它把数据处理看成是可组合的基础设施，提供模块化的构建块来完成清洗、合成和分析，覆盖 AI 全生命周期的数据处理需求。 用大白话说：它是一个超大型数据处理工具箱，内置 200+ 算子（Operator），可以…
HappyLLM 是 Datawhale 团队推出的系统性大模型学习教程，定位介于"科普"和"科研"之间，目标是授之以鱼，更授之以渔。它从 NLP 基本研究方法讲起，沿着 LLM 的思路和原理逐层深入，最终带领读者用 PyTorch 从零实现一个 LLaMA2 模型，并完成预训练、有监督微调（SFT）和 LoRA/QLoRA 高效微调的全流程。 与其姐妹项目…
LMCache 是一个KV Cache 管理中间件层，专为 LLM 推理场景设计。它的核心思路是把 GPU VRAM 中转瞬即逝的 KV Cache 变成可持久化、可复用、可监控的 AI 原生存储，从而显著降低 TTFT（Time To First Token，首 token 延迟），提升多轮对话和 Agentic Workload 的吞吐量。 典型工作场景…
Onyx 是 LLM 的应用层——一个功能丰富的开源 AI 平台，支持自托管。它让团队通过 RAG（检索增强生成）、深度研究、自定义 Agent、代码执行、Web 搜索、MCP 等高级能力，把 LLM 接入真实工作流。 核心定位：企业级 AI 平台（类 ChatGPT + RAG + Deep Research + Agents），可一键部署，适合需要数据隐…
Mooncake 是月之暗面（Moonshot AI）为旗下 Kimi 大模型服务开发的生产级 LLM Serving 平台，核心创新是 KVCache 中心化的 PrefillDecode 分离架构（PD 分离），将 LLM 推理的预填充（Prefill）和解码（Decode）阶段拆分到不同集群，并通过利用 GPU 集群中闲置的 CPU DRAM 和 SS…
DeepSpeed 是微软开源的深度学习优化库，专为大规模分布式训练和推理而设计。它让训练千亿、万亿参数模型不再是巨头的专利，普通研究团队也能在有限硬件上跑起来。 DeepSpeed 的核心创新是 ZeRO（Zero Redundancy Optimizer） 系列技术，通过分片优化器状态、梯度、参数，大幅降低单 GPU 显存占用。此外还支持 3D 并行（数…
Outlines（GitHub: dottxtai/outlines，PyPI 包名 outlines）是一个 Python 库，专门解决 LLM 输出结构化数据的问题。由 .txt 团队开发和维护，被 NVIDIA、Cohere、HuggingFace、vLLM 等知名机构信任使用。 核心价值主张：在生成阶段就保证输出格式正确，而不是生成后再用正则、JSO…
Repomix 是一款将整个代码仓库打包为单个 AI 友好文件的工具（MIT 协议，TypeScript），Stars 26956，周增+140。它解决的核心问题是：当你需要把一个完整项目喂给 LLM（如 Claude、ChatGPT、DeepSeek）时，如何高效、结构化地传递所有代码，同时控制 token 用量、规避敏感信息泄露。 输出格式支持 XML（…
Open WebUI 是一个可扩展、功能丰富、用户友好的自托管 AI 交互界面。它的核心目标是让你完全离线运行自己的 AI 界面，同时支持连接任意 OpenAI API 兼容的模型（包括本地 Ollama、私有化部署的 vLLM、LM Studio 等）。 用一张图来理解它的位置： 用户浏览器 ←→ Open WebUI ←→ Ollama / OpenAI…
freellmapiresources 是一个持续更新的免费 LLM API 资源清单，收录了提供免费额度或试用积分的 LLM API 服务商，帮助开发者在不花一分钱的情况下接入大语言模型能力。 仓库本质上是一份结构化的资源目录，按免费程度分为两大类： 真正免费（无需付费即可使用） 有试用积分（注册送额度，用完需充值） 维护者通过脚本自动拉取各平台的模型列表…