仓库/Skill 库

Qwen3.8-27B 在单卡 RTX 3090 上使用 vLLM 部署：64 并发下约 1,000 tok/s（int8 张量核心 GEMM、fp16 DeltaNet 状态），默认采样下单用户约 114 tok/s/贪心约 124 tok/s（MTP 草稿、自输出草稿词表、校准 int4 lm_head、split-KV 校验注意力），150k–262k 上下文；附带补丁、重新量化脚本与基准测试Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

提供 DeepSeek 与 Qwen 服务，运行按需模型库，并在 2 块 NVIDIA DGX Spark 上使用 Unsloth QLoRA 微调。TP=2 的 vLLM 通道汇聚于单一 OpenAI 兼容端点，供 OpenCode、Cursor 与 Hermes 使用。诚实的基准，已提交的工件。Serve DeepSeek and Qwen, run an on-demand model library, and fine-tune with Unsloth QLoRA on 2x NVIDIA DGX Spark. TP=2 vLLM lanes behind one OpenAI-compatible endpoint for OpenCode, Cursor, and Hermes. Honest benchmarks, committed artifacts.