intentee/paddler

  • 类型:github
  • 标识:intentee/paddler
  • 链接:https://github.com/intentee/paddler
  • 主题:llm-infra, engineering
  • 主分类:multimodal
  • 形态:model
  • 分类:ai
  • Stars:1651
  • 周增:+7
  • 语言:Rust
  • 许可:Apache-2.0
  • 最近提交:2026-07-19
  • 简介:Open-source LLM/VLM load balancer and serving platform for self-hosting LLMs (and VLMs) at scale 🏓🦙 Alternative to projects like llm-d, Docker Model Runner, etc but with less moving parts and simple deployments built around ggml ecosystem. Runs on CPU and GPU.
  • 上次采集:2026-08-11
  • 简介中文:开源 LLM/VLM 负载均衡器与服务平台,用于规模化自托管 LLM(和 VLM)🏓🦙 作为 llm-d、Docker Model Runner 等项目的替代方案,组件更少、部署更简单,基于 ggml 生态构建。支持 CPU 和 GPU。
  • 待LLM分类:否
  • 成熟度:research
  • 首次采集:2026-06-30
  • 来源文件
  • [GitHub Search]