amitshekhariitbhu/llm-inference-engineering

  • 类型:github
  • 标识:amitshekhariitbhu/llm-inference-engineering
  • 链接:https://github.com/amitshekhariitbhu/llm-inference-engineering
  • 主题:llm-infra
  • 主分类:llm-infra
  • 形态:app
  • 分类:ai
  • Stars:238
  • 周增:+0
  • 语言:Markdown
  • 许可:Apache-2.0
  • 最近提交:2026-09-03
  • 简介:Learn LLM Inference Engineering step by step - from KV cache, PagedAttention, and continuous batching to vLLM, SGLang, and GPUs.
  • 上次采集:2026-09-03
  • 首次采集:2026-09-03
  • 待LLM分类:否
  • 成熟度:experimental
  • 简介中文:逐步学习 LLM 推理工程——从 KV cache、PagedAttention 和连续批处理,到 vLLM、SGLang 和 GPU。
  • 来源文件
  • [GitHub Search]