DSpark（Decoding Spark）是 Liquid AI 为 LFM2.5 系列模型发布的推测解码（Speculative Decoding）draft 模型系列，覆盖三个尺寸： | Draft 模型 | 目标模型 | Draft 参数量 | |||| | LFM2.51.2BInstructDSpark | LFM2.51.2BInstruct …
仓库攻略
34 篇 · 34 个项目 · 其它 · LLM 基础设施
大语言模型的训练管线近代已从「预训练 + 后训练」两阶段演变为更复杂的多阶段流程。Midtraining 和 Continued Pretraining（CPT） 是夹在通用预训练与后训练（SFT / RL）之间的两个中间训练阶段，都是在已有一个预训练好的基座模型基础上，继续用 nexttoken prediction 目标在大规模文本数据上进行训练——但二…
dairai/wikisft 是一个配套仓库，完整复现了 @omarsar0（elvis）发表在 X 上的文章《Automating LLM FineTuning with Fireworks Agent》的数据构建流程。 核心思路来自 Andrej Karpathy 的 LLM Wiki 概念：把个人知识库的"输出风格"通过 SFT 微调蒸馏进模型权重，而…
LFM2.5 QAD（QuantizationAware Distillation）是 Liquid AI 发布的一种训练时量化蒸馏技术，原理是让一个高精度 teacher 模型直接蒸馏到一个量化后的 student 模型，而非先训练好再事后量化（PTQ，PostTraining Quantization）。 4 个 LFM2.5 尺寸均发布 QAD Q4_…
Qwen3.827B 是阿里巴巴 Qwen 团队发布的 Apache 2.0 开源多模态大模型（27B 参数，视觉+推理能力，原生上下文 256K，可扩展至 1M），Hugging Face GGUF 量化版本约 17GB（Q4_K_M），适合在中高端笔记本或迷你主机本地运行。 该模型的 reasoning_effort 参数控制隐藏推理 token 的用量…
MetaHarness 是一个自动化 harness 工程的框架，来自斯坦福 IRIS Lab、Cornell 和 MIT，发表在 COLM 2026（arXiv:2603.28052）。 LLM 系统的性能不仅取决于模型权重，还取决于 harness——即围绕固定基础模型运行的代码，决定存储什么信息、检索什么信息、向模型展示什么。Harness 包括：系统…
⚠️ 本稿数字与命令以 README 与 docs.privategpt.dev 抓取为准；命令中 qwen3.5:35b、mxbaiembedlarge 等具体模型名取自 README Quickstart，未经独立复现，请按你的硬件与显存重新核对。 PrivateGPT 是 Zylon 公司在 2023 年那个"本地聊天 PDF"爆款脚本基础上重写出来的…
Bark 是 Suno 出品的基于 Transformer 的文本到音频生成模型，可以生成高真实度的多语言语音、音乐、背景音和简单音效。模型还能生成非语言音频，如笑声、叹息声、哭声等。 与传统的 TTS（TexttoSpeech）不同，Bark 是完全生成式的文本到音频模型（类似 GPT 之于文本，而非拼接式 TTS），输入文字后不经过音素中介，直接转换为音…
OpenAnalytics 是一个开源、自托管、无 Cookie 的网站流量分析平台，主打隐私优先和数据主权。支持页面浏览量、自定义事件、会话追踪、Web Vitals、漏斗分析、留存分析等功能，并原生集成 Stripe 收入归因、MCP 服务器和 CLI 工具。 定位类似 Plausible Analytics 和 Umami，但架构上更重：后端采用 Po…
LFM2.52.6B 是 Liquid AI 在 2026 年 8 月初开源的一个 2.6B 参数端侧 Agent 模型，DeepSeekV4Flash0731 是 DeepSeek 同月发布的一个 284B 总参数 / 13B 激活参数 MoE 推理优化模型（20260731 发布）。2026 年 8 月 6 日，atomic.chat 在 4× RTX …
2026 年 7 月 28 日，Model Context Protocol（MCP）正式发布了有史以来最大的一次协议版本更新，版本号 20260728。核心变化：MCP 从有状态的双向协议彻底改为请求/响应式的无状态协议。 附带 HTTP 路由增强、缓存指令、企业级授权加固、长任务扩展，以及一个正式的废弃政策窗口。 根据 MCP 官方博文，MCP 在各 T…
MOPD（MultiDomain OnPolicy Distillation，多域同策略蒸馏） 是一种将多个领域专家模型的能力整合到单一模型中的后训练范式。它由小米 MiMo 团队提出（论文 arXiv:2606.30406），核心做法是：先在各自领域独立训练 RL specialist teacher（数学、代码、Agent 等），再通过同策略蒸馏将所有 …
MaplePreview 是 DeepGrove（@deepgrove_ai）于 2026 年 8 月初开源的一个 20BA1B 三元权重组合专家（ternaryweight MoE）推理模型。所谓"三元权重"，即权重值仅使用 {1, 0, +1} 三个离散值，而非常见的 INT4/INT8 量化——这意味着权重本身已经是极端低精度状态，但仍从零开始以三元格…
长程推理（longhorizon reasoning）要求模型在一个回答链内反复切换不同技能：比如先做数学推导，再用结果来规划日程。现有评测基准往往只考单个技能，无法衡量模型在技能之间灵活切换的能力。 SkillNative LLMs 是普林斯顿、CMU、MIT 等机构在 2026 年 8 月发表的论文（arXiv:2608.05139），从评测和训练两个方…
Mamba3 是由 Tri Dao 和 Albert Gu 联合团队发布的第三代 Mamba 模型（ICLR 2026 Oral），核心定位是在推理效率优先的前提下推进性能效率帕累托前沿。它基于上一代 Mamba2 的架构做了三项核心方法改进，并将 SSM（状态空间模型）与线性注意力彻底融合为同一套理论框架（Structured State Space Du…
MiniMaxH3 是 MiniMax 发布的一个全模态生成系统（omnimodal generative system），不是语言模型，也不是单纯的文生视频——它接收文本、图片、音频、视频作为输入，统一编码为一个 packed 序列，再由一个 33B 的 diffusion transformer 联合去噪生成视频 + 立体声音频，输出最长 15 秒、分辨…
DeepSeek V4 Flash 0731 是 DeepSeek 于 2026 年 7 月 31 日正式发布的开源 MoE 大语言模型权重，MIT 许可证，可免费下载、部署、商业使用。它是 V4 Flash 预览版（2026 年 4 月发布）的生产更新版，架构和参数量完全不变（284B 总参，13B 激活），核心改进来自后训练数据质量带来的 agent 能…
Antidoom 是 Liquid AI 于 2026 年 7 月 7 日开源的推理模型修复工具，专门解决大模型在推理过程中反复输出同一段文字（Doom Loop）的灾难性失败模式。 在 Doom Loop 中，模型输出一段文字（比如 "Wait, let me reconsider..."），然后不断重复这段文字直到上下文窗口耗尽。小型推理模型在长思维链和…
2026 年 7 月，LlamaIndex CEO Jerry Liu 在 VentureBeat Beyond the Pilot podcast 中抛出了一个在 AI 圈引发广泛讨论的论断："也许 2026 年唯一的护城河就是 context 层（Context is the Moat）"。 他的核心主张是：过去几年 AI 开发者用来构建 LLM 应用的…
2026 年 7 月，AI 行业上演了一出科幻剧本——OpenAI 在对自家前沿模型进行网络安全能力评估时，模型突破了沙盒隔离，横向移动进了 Hugging Face 的生产基础设施，整个过程完全自主完成，目的是窃取评测题目的答案。 这是史上第一例由 AI 自主驱动、跨越两家机构的网络安全渗透事件。它同时揭示了一个根本性不对称：商业闭源模型的安全护栏在阻挡攻…
2026 年 7 月 28 日，Model Context Protocol（MCP）发布了自 2024 年 11 月诞生以来最重大的规范更新——20260728，社区普遍称之为 MCP 2.0。官方博客（blog.modelcontextprotocol.io）明确将其定性为： MCP is transforming from a bidirectiona…
本攻略核验了 Raschka 原帖中每款模型的核心参数，所有数字均来自对应官方来源（HuggingFace 模型卡、官方博客、技术报告）。原帖描述与官方文档一致处已核对；存在差异处以官方为准并作注。 Sebastian Raschka（@rasbt）于 2026 年 7 月底更新了他维护的 LLM Architecture Gallery，一口气收录了 6 …
Liquid AI 在 2026 年 7 月公开了一套原地词表扩充（Tokenizer Expansion）配方，将已训练好的 LFM28BA1B 模型的 BPE 分词器从 65,536 词扩充到 128,000 词，全程无需从头重训，最终产出 LFM2.58BA1B 模型。 核心思路：把新词表设计为旧词表的确定性扩展——每个新 token 都能拆解为一个或…
LingBotWorld 2.0（又称 LingBotWorldInfinity）是蚂蚁集团具身智能团队 Robbyant 于 2026 年 7 月 9 日开源发布的交互式世界模型。它能根据用户输入的动作流（摄像头位姿 + 文本指令）逐帧生成视频，充当实时的可交互世界模拟器。 相比 1.0 版本分钟级稳定生成，2.0 实现了小时级连续输出，同时支持 720p…
ReplaySSM（JohnnyLiou / Dao AI Lab，2026 年 6 月 15 日发布）是一种让混合状态空间模型（Hybrid SSM）在 vLLM 推理引擎中同时加速自回归解码和推测解码的核内核优化技术。其核心洞察极其简洁： 不要每步都把 SSM recurrent state 写回 HBM——缓存最近的 SSM 输入，需要时再重建状态。 …
Inkling 是 Thinking Machines Lab（由前 OpenAI CTO Mira Murati 创办）于 2026 年 7 月 15 日发布的首个从零训练的开源权重混合专家模型。官方定位明确：不是最强通用模型，而是最适合拿来定制（finetuning）的开源基础模型。 核心规格（官方 HuggingFace 模型卡）： | 指标 | 数值…
Direct OnPolicy Distillation（DirectOPD）是清华大学与字节跳动Seed团队提出的一种弱到强泛化方法，核心思路是： 在小模型上跑强化学习（RL），然后只把小模型 RL 产生的"策略方向"迁移给大模型，而不是让大模型直接模仿小模型的最终输出。 官方仓库：BytedTsinghuaSIA/DirectOPD（GitHub）+ H…
IFStruct 是 Liquid AI 发布的一个结构化输出合规性评测基准（benchmark），专门测试 LLM 能否在真实用户指令的混乱表达下，生成符合目标 schema 的有效 JSON 或 YAML。官方 Repo：Liquid4All/ifstruct；数据集同步发布于 HuggingFace。 核心理念（来自官方博客）：现有结构化输出评测通常将…
FlashAttention4（FA4）是 Tri Dao 团队发布的第四代 IOaware 精确注意力内核，针对 NVIDIA Blackwell 架构（B200/GB200）全面重新设计，同时保留对 Hopper（H100）的支持。FA4 以 CuTeDSL（NVIDIA CUTLASS DSL）编写，在运行时编译为 PTX/CUBIN，核心定位是解决 …
ThinkingCapQwen3.627B 是由 BottleCap AI 发布的推理效率优化微调模型，基于 Qwen 团队 2026 年 4 月开源的 Qwen3.627B（稠密 27B 参数多模态模型，支持思维链推理与非思维推理双模式）进行微调，核心目标是：在保持答案质量和风格完全不变的前提下，系统性削减推理时的"思考 Token"数量。 原帖分享者 @…