SGLang 是一个面向大语言模型和多模态模型的高性能 serving 框架。SGLang is a high-performance serving framework for large language models and multimodal models.
multimodalllm-infra
仓库/Skill 库
4 个 · LLM 基础设施 · 框架 · 快速增长
sgl-project/sglang
FareedKhan-dev/kimi-k3-in-c
一个 2.78 万亿参数的 Kimi K3，在仅 8.24 GB 内存的单颗 CPU 上运行推理。可移植的 C99：无需 BLAS，无需框架，无需 GPU。A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.
llm-infra
kvcache-ai/AgentENV
AgentENV (AENV) 是一个用于大规模运行 Agent 环境的分布式平台。AgentENV (AENV) is a distributed platform for running agent environments at scale.
agent
mattn/tensai
纯 Go 编写的轻量神经网络框架，使用 AVX2 SIMD 内核（GOEXPERIMENT=simd）。A tiny neural-network framework in pure Go with AVX2 SIMD kernels (GOEXPERIMENT=simd)