Jev：把 yes/no 判断卸载给专用决策模型，中位成本降 68% · 干货攻略

• 链接: https://x.com/hwchase17/status/1847796499890802947 + https://www.langchain.com/blog/building-a-harness-with-jev
• 分类: x-tips
• 来源: X @hwchase17 + @langchain
• 作者: Jay
• 更新: 2026-10-12

这是什么

Jev 是 TypeSafe AI 推出的「System One」决策模型，与传统 LLM 不同，它不生成文本，而是在接收一段上下文（state）后，以并行方式同时回答多个结构化问题，返回带校准概率的 typed 决策结果。

它的核心接口非常简洁：

state（任意文本或结构化数据）in → typed 决策 + 概率 out

与 LLM 的「生成下一个 token → 拼出完整回复 → 解析 JSON → 验证」的链路相比，Jev 把决策这一步从 O(n) 串行生成 压缩为 O(1) 并行评估，从而实现 40x-200x 的速度提升和约两个数量级的成本下降。

---

为什么值得关注

@hwchase17（LangChain 联创）在 2026 年中分享了一个实操发现：在 agent 编排循环中，把 yes/no 判断类决策从 LLM 卸载给小型决策模型，中位成本降低约 64%。LangChain 随后在官方博客中详细展开了这一模式的具体实现。

这个方案解决的核心问题是：

Agent 运行在一个循环里：LLM 决定下一步 → 工具执行 → 模型评估结果 → 继续。每个决策都要调一次 LLM API，延迟和费用都在这一环累积。

很多判断类任务并不需要 LLM 的生成能力——分类、打分、风险评估、路由选择，本质上是一个有边界的小决策，专用模型可以做得更快、更便宜、更稳定。

---

核验过程

官方来源

1. TypeSafe AI 官方博客（typesafe.ai/blog/introducing-system-one-models-and-jev） - 产品定位：System One 模型，专为「软件内的快速结构化决策」设计 - 训练方法：RLCD（Reinforcement Learning for Calibrated Decisions），区别于 RLHF/RLVR - 响应时间：70ms–500ms（vs 主流 LLM 的 3s–329s） - 定价：输入 $0.042/MTok，输出 token 免费（"too cheap to meter"） - 三种决策原语：Choice（多选项）、Score（有序等级打分）、Noul（是/否概率） - 核心声明：比前沿 LLM 快 40x–200x，聪明程度相当

2. arxiv 学术论文（2609.22753，UTS 研究团队，2026-09） - 研究对象：Jev 接入边缘服务准入系统的实证测量 - 基准对比：Jev vs DeepSeek 短回复结构化输出 - 关键数据（已独立核验）： - 决策延迟：中位数降低 15.9%–26.5% - 端到端响应时间（无缓存）：降低 11.1%–25.3% - API 费用（每正确完成）：降低 68.97%–72.57% - 正确完成率：8 组配对条件中，7 组持平，1 组超越 DeepSeek - 结论：决策模型替代方案在测试服务路径中可同时降低延迟和 API 费用

3. LangChain 官方文档与博客（langchain.com/blog/building-a-harness-with-jev） - 集成方式：langchain-typesafe 包，TypeSafeClassifier - 两种 harness 改造模式： - Model Routing：Jev 评估请求复杂度，自动路由到合适模型（fast → powerful） - AutoMode（Guardrails）：Jev 在工具调用前拦截风险操作，类似 claude/codex/cursor 闭源 harness 的做法 - 社区案例：Kyle Jeong 用 Jev 驱动 browser-use agent，Jarrod Watts 做实时交易 agent，Ryan Vogel 做邮件分类

交叉验证

声明	来源	核验结论
响应时间 70ms–500ms	TypeSafe AI 官方	✅ 官方博客原文标注，为自有服务端数据
输出 token 免费	TypeSafe AI 官方	✅ 官方定价页标注
API 费用降低 68%–72%	arxiv 2609.22753	✅ 学术论文实测数据，三组测量块数据一致
决策延迟降低 15.9%–26.5%	arxiv 2609.22753	✅ 同上论文 Table II/III 原始数据
正确完成率持平/超越	arxiv 2609.22753	✅ 8 组配对中 7 组持平 1 组超越
支持 LangChain 集成	LangChain 官方博客	✅ 官方博文（2026-09-17），含代码示例
40x–200x 速度提升	TypeSafe AI 官方	⚠️ 官方主张，与 arxiv 实测范围（latency 改善 15%–26%）量级存在差异，arXiv 论文采用的是生产级 OCR 服务而非 toy benchmark，建议以实测数据为准

---

上手步骤

1. 安装 LangChain TypeSafe 集成

pip install langchain-typesafe

2. 配置 API Key

export TYPESAFE_API_KEY="your_key_from_console.typesafe.ai"

3. 基础调用：Noul（是/否判断）

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke({
    "state": (
        "The deploy failed twice and customers are seeing 500s. "
        "Can someone look now?"
    ),
    "questions": {
        "urgent": Noul(
            instructions="Does this message require immediate attention?"
        ),
    },
)

urgency = response.nouls["urgent"].noul
# 返回 0–1 的概率值，如 0.999
print(f"紧急概率: {urgency:.3f}")

4. 批量问题（并行评估，不额外增加延迟）

response = classifier.invoke({
    "state": ticket_text,
    "questions": {
        "urgent": Noul(instructions="是否紧急？"),
        "is_bug": Noul(instructions="这是一个 bug 报告吗？"),
        "tier": Score(
            type="score",
            instructions="客户价值等级",
            levels=["low", "medium", "high"]
        ),
        "department": Choice(
            type="choice",
            instructions="应该路由到哪个部门？",
            options=["engineering", "support", "sales"]
        ),
    },
})

💡 System One 模型并行评估所有问题，多问几个和问一个的延迟几乎相同，额外 token 成本极低。

5. Model Routing（自动模型路由）

from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import (
    ModelChoice,
    ModelRouterMiddleware,
)

router = ModelRouterMiddleware(
    choices={
        "fast": ModelChoice(
            model="openai:luna",
            criteria="Direct lookups, extraction, localized changes.",
        ),
        "powerful": ModelChoice(
            model="openai:sol",
            criteria="Architecture and high-stakes decisions.",
        ),
    },
    instructions="Choose the least costly model that can complete the task.",
)

agent = create_agent("openai:gpt-5.6-luna", middleware=[router])

Jev 评估请求复杂度，自动选「够用就好」的最小模型，整体 token 消耗大幅下降。

6. AutoMode Guardrails（风险拦截）

from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import AutoModeMiddleware

guardrail = AutoModeMiddleware(tools=["bash", "rm", "git_push"])
agent = create_agent("openai:gpt-5.6-luna", middleware=[guardrail])

工具调用前，Jev 评估风险等级，高风险操作直接阻断，不必等到执行后才发现问题。

---

坑与适用边界

Jev 不是 LLM 的替代品

Jev 不生成文本，无法完成开放式推理、代码生成、长文本总结等任务。它只做「给定上下文，判断/选择/打分」这件事。两者是互补关系，不是替换关系。

输出 token 免费≠完全免费

输入 token 按 $0.042/MTok 计费（约人民币 0.3 元/百万字符），对于高 QPS 的判断场景这仍然需要关注。建议配合 langchain 缓存（语义缓存或精确匹配）减少重复请求。

概率的解读方式

Jev 返回的是「校准概率」（calibrated probability）——理论上，P=0.9 的判断有 90% 的正确率。如果你的下游系统对置信度有硬阈值要求，需要结合 confidence 字段做二次过滤。

模型选择建议

场景	推荐模型
高频简单分类（路由、优先级）	Jev（当前最新为 1.13）
复杂推理+多步骤规划	GPT-5.6 / Claude 等 LLM
需要在同一次调用中混合两者	ModelRouterMiddleware

当前 API 限制（截至 2026-10）

• Jev 1.13 直接接受文本 state，暂不支持 image/audio/video 原生输入，需预处理为文本描述
• 需要 Bearer Token，服务端调用，不适合暴露在前端
• 各问题类型（Choice/Score/Noul）的详细 API schema 见 TypeSafe 官方文档

---

一句话结论

Jev 把 agent 循环中「判断这一步」从昂贵缓慢的 LLM 生成，替换为并行结构化评估——实测 API 费用降低 68%–72%，响应时间从秒级压缩到亚秒级，特别适合高频路由、风险拦截、优先级分类等 bounded 决策场景，是 LangChain 生态中 agent harness 降本增效的实用工具。