MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes

• 类型：arxiv
• 标识：2609.10016
• 链接：https://arxiv.org/abs/2609.10016
• 主分类：evaluation
• 形态：benchmark
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：This work introduces MetroLLM-Bench, a 955-case benchmark for testing language models as the policy layer of a transit kiosk, and evaluates twenty-six models from six vendors, of which twenty-three are ranked.
• OpenAlex ID：W7212112248
• OpenAlex DOI：10.48550/arxiv.2609.10016
• DOI：10.48550/arxiv.2609.10016
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2609.10016
• OpenAlex更新：2026-09-12
• 待LLM分类：否
• 标题中文：MetroLLM-Bench：将语言模型作为交通售票机运行时进行评估
• TLDR中文：引入 MetroLLM-Bench，一个包含 955 个用例的基准，用于测试语言模型作为交通信息亭策略层的能力，并评估了来自六个厂商的 26 个模型，其中 23 个被排名。
• 来源文件：
• /inbox/tom/_candidates/2026-09-11-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]