仓库/Skill 库

友好的 AI 交互界面（支持 Ollama、OpenAI API 等）。User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

基于 C/C++ 的 LLM 推理实现LLM inference in C/C++

面向 LLM 的高吞吐、内存高效的推理与 serving 引擎。A high-throughput and memory-efficient inference and serving engine for LLMs

为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。

开源 AI 平台——支持所有 LLM 的 AI Chat，并提供丰富的高级功能。Open Source AI Platform - AI Chat with advanced features that works with every LLM

用简单、原生的 C/CUDA 进行 LLM 训练LLM training in simple, raw C/CUDA

使用单卡 4GB GPU 推理 AirLLM 70BAirLLM 70B inference with single 4GB GPU

通过 API 访问的免费 LLM 推理资源列表。A list of free LLM inference resources accessible via API.

本地化、开源的 AI 应用构建器，面向高级用户 ✨ v0 / Lovable / Replit / Bolt 的替代方案 🌟 喜欢就点 Star！Local, open-source AI app builder for power users ✨ v0 / Lovable / Replit / Bolt alternative 🌟 Star if you like it!

面向 Metal、CUDA 和 ROCm 的 DeepSeek 4 Flash 与 PRO 本地推理引擎。DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

Nano vLLM。Nano vLLM

LMCache：借助最快的 KV Cache 层为你的 LLM 加速。LMCache: Supercharge Your LLM with the Fastest KV Cache Layer

Triton Inference Server 提供针对云端和边缘推理优化的解决方案。The Triton Inference Server provides an optimized cloud and edge inferencing solution.

基于 PyTorch 的 YOLOv3、YOLOv3-SPP 和 YOLOv3-tiny 实时目标检测实现，支持训练、验证、推理与多格式导出。PyTorch implementation of YOLOv3, YOLOv3-SPP, and YOLOv3-tiny for real-time object detection with training, validation, inference, and multi-format export.

🚀💪Maximize your efficiency and productivity. The ultimate hub to manage, customize, and share prompts. (English/中文/Español/العربية). 让生产力加倍的 AI 快捷指令。更高效地管理提示词，在分享社区中发现适用于不同场景的灵感。

Gemma 4 26B-A4B 在任意 M 系列 MacBook 上以约 2 GB 内存进行推理。Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

Transformer 模型的高速推理引擎。Fast inference engine for Transformer models

为 LLM 优化推理代理Optimizing inference proxy for LLMs

PyTorch 原生的量化和稀疏化方案，支持训练与推理PyTorch native quantization and sparsity for training and inference

为 vLLM 在 Ascend 上的社区维护硬件插件Community maintained hardware plugin for vLLM on Ascend

基于 Rust 的 ONNX 模型快速 ML 推理与训练Fast ML inference & training for ONNX models in Rust

高效的浮点神经网络推理算子，覆盖移动端、服务端和 WebHigh-efficiency floating-point neural network inference operators for mobile, server, and Web

将任意电脑或边缘设备打造为计算机视觉项目的指挥中心Turn any computer or edge device into a command center for your computer vision projects.

Bionic 是 ChatGPT 的本地化部署替代方案，在保持严格数据机密性的同时提供生成式 AI 的能力Bionic is an on-premise replacement for ChatGPT, offering the advantages of Generative AI while maintaining strict data confidentiality

超快速 serverless GPU 推理、沙箱和后台任务Ultrafast serverless GPU inference, sandboxes, and background jobs

高性能 AI 模型推理引擎A high-performance inference engine for AI models

RTP-LLM：阿里巴巴面向多样化应用的高性能 LLM 推理引擎。RTP-LLM: Alibaba's high-performance LLM inference engine for diverse applications.

基于 Rust 🦀 构建的高性能、模块化、内存安全、生产可用的推理、数据接入与索引系统Highly Performant, Modular, Memory Safe and Production-ready Inference, Ingestion and Indexing built in Rust 🦀

MiniMax H3 Mac 推理引擎。MiniMax H3 inference engine for Mac computers

StarWhisper 天文 LLMs、StarWhisper Telescope、Virtual-GOTTA，以及面向 embodied observing workflow 的天文定制研究 skills。StarWhisper astronomy LLMs, StarWhisper Telescope, Virtual-GOTTA, and astronomy-adapted research skills for embodied observing workflows

Google Deep Search 的实现，支持 1000+ 篇参考文献、本地推理、使用 RAPTOR 与抓取会话对话以及报告生成。An implementation of Google Deep Search with support for 1000+ references, local inference, chatting with your scraping session using RAPTOR, and report generation.

Qwen3.8 27B 在 SGLang 上运行于 DGX SparkQwen3.8 27B on SGLang for DGX Spark

一门实战课程，用 PyTorch 从零构建现代 LLM，包含 26 个可运行的 Jupyter Notebook，涵盖 tokenizer、attention、MoE、RLHF、推理、评估和蒸馏。A hands-on course for building modern LLMs from scratch in PyTorch, with 26 runnable Jupyter Notebooks covering tokenizers, attention, MoE, RLHF, inference, evaluation, and distillation.

本地 AI 秘书、技术支持与销售一体化方案，基于 XTTS v2 语音克隆、Vosk/Whisper 实时语音识别与 vLLM + Qwen/Llama 等离线 LLM。配备 Vue 3 完整管理面板、Telegram Bot、网站挂件及 fine-tuning pipeline。支持自托管、数据隐私、短信与电话呼叫。📞 Локальный AI-секретарь, тех. поддержка и менеджер по продажам с клонированием голоса XTTS v2, real-time распознаванием речи (Vosk/Whisper) и offline LLM (vLLM + Qwen/Llama и тп). Полноценная админ-панель (Vue 3), Telegram-бот, виджет для сайта, fine-tuning pipeline. Self-hosted, приватность данных, СМС и телефонные звонки .

以孟加拉语优先、面向方言的 LLM 研究。开源孟加拉语 tokenizer，性能优于 Sarvam、AI4Bharat 和 GPT-4o（fertility 1.52，几乎零破损 conjuncts）。非商用，保护孟加拉语及其方言。Bengali-first, dialect-aware LLM research. Open-source Bengali tokenizer that outperforms Sarvam, AI4Bharat, and GPT-4o (fertility 1.52, near-zero broken conjuncts). Non-commercial, preserving Bengali and its dialects.

THIS PAPER IS FOR ENTERTAINMENT PURPOSES ONLY.この小説はフィクションであり、実在する団体または個人とは関係ありません。