Tiiny-AI/PowerInfer

  • 类型：github
  • 标识：Tiiny-AI/PowerInfer
  • 链接：https://github.com/Tiiny-AI/PowerInfer
  • 主题：llm-infra, engineering
  • 主分类：llm-infra
  • 形态：model
  • 分类：ai
  • Stars：9704
  • 周增：+21
  • 语言：C++
  • 许可：MIT
  • 最近提交：2026-05-11
  • 简介：High-speed Large Language Model Serving for Local Deployment
  • 上次采集：2026-08-08
  • 简介中文：面向本地部署的高速 LLM 服务
  • 待LLM分类：否
  • 成熟度：production
  • 首次采集：2026-06-30
  • 来源文件：
  • [GitHub Search]