waybarrios/vllm-mlx

  • 类型:github
  • 标识:waybarrios/vllm-mlx
  • 链接:https://github.com/waybarrios/vllm-mlx
  • 主题:multimodal, llm-infra
  • 主分类:multimodal
  • 形态:tool
  • 分类:ai
  • Stars:1447
  • 周增:+7
  • 语言:Python
  • 许可:Apache-2.0
  • 最近提交:2026-06-28
  • 简介:OpenAI and Anthropic compatible server for Apple Silicon. Run LLMs and vision-language models (Llama, Qwen-VL, LLaVA) with continuous batching, MCP tool calling, and multimodal support. Native MLX backend, 400+ tok/s. Works with Claude Code.
  • 上次采集:2026-07-21
  • 简介中文:兼容 OpenAI 和 Anthropic 协议的 Apple Silicon 服务端。可运行 LLM 和视觉语言模型(Llama、Qwen-VL、LLaVA),支持 continuous batching、MCP 工具调用与多模态。原生 MLX 后端,速度达 400+ tok/s,兼容 Claude Code。
  • 副分类:agent
  • 待LLM分类:否
  • 成熟度:research
  • 首次采集:2026-06-30
  • 来源文件
  • [GitHub Search]