syv-ai/qwen38-27b-rtx3090

• 类型：github
• 标识：syv-ai/qwen38-27b-rtx3090
• 链接：https://github.com/syv-ai/qwen38-27b-rtx3090
• 主题：llm-infra, evaluation
• 主分类：llm-infra
• 形态：benchmark
• 分类：trending
• Stars：345
• 周增：+0
• 语言：Python
• 许可：Apache-2.0
• 最近提交：2026-08-21
• 简介：Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks
• 上次采集：2026-08-22
• 首次采集：2026-08-22
• 待LLM分类：否
• 成熟度：research
• 简介中文：Qwen3.8-27B 在单卡 RTX 3090 上使用 vLLM 部署：64 并发下约 1,000 tok/s（int8 张量核心 GEMM、fp16 DeltaNet 状态），默认采样下单用户约 114 tok/s/贪心约 124 tok/s（MTP 草稿、自输出草稿词表、校准 int4 lm_head、split-KV 校验注意力），150k–262k 上下文；附带补丁、重新量化脚本与基准测试
• 来源文件：
• [GitHub Search]