Pogud/MegaQwen

  • 类型:github
  • 标识:Pogud/MegaQwen
  • 链接:https://github.com/Pogud/MegaQwen
  • 主题:rag, llm-infra
  • 主分类:llm-infra
  • 形态:app
  • 分类:ai
  • Stars:0
  • 周增:+0
  • 语言:Cuda
  • 最近提交:2026-08-11
  • 简介:🚀 Achieve faster Qwen3-0.6B inference with the MegaQwen CUDA megakernel, delivering 531 tok/s decode on RTX 3090—3.9x faster than HuggingFace.
  • 上次采集:2026-08-11
  • 首次采集:2026-08-11
  • 待LLM分类:否
  • 成熟度:experimental
  • 简介中文:通过 MegaQwen CUDA megakernel 加速 Qwen3-0.6B 推理,在 RTX 3090 上达到 531 tok/s decode,较 HuggingFace 提升 3.9×
  • 来源文件
  • [GitHub Search]