Repositories · organized/repo_cards

仓库/Skill 库

1028 个 · AI 核心

排序 Stars 周增
neuml/txtai
Python · 2026-08-11 RAG 检索增强 模型 生产可用 Stars 12863 周增 +56

💡 面向语义搜索、LLM 编排与语言模型工作流的一体化 AI 框架💡 All-in-one AI framework for semantic search, LLM orchestration and language model workflows

agentragdatabasellm-infra
zoicware/RemoveWindowsAI
PowerShell · 2026-08-10 安全与风险 工具 生产可用 Stars 12715 周增 +35

在 Windows 11 中强制移除 Copilot、Recall 等组件Force Remove Copilot, Recall and More in Windows 11

multimodalrisk
Portkey-AI/gateway
TypeScript · 2026-05-25 安全与风险 应用 生产可用 Stars 12685 周增 +14

超快的 AI Gateway,集成 guardrails。通过一个快速友好的 API 路由到 1,600+ LLM 和 50+ AI Guardrails。A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.

llm-infra
The-Pocket/PocketFlow-Tutorial-Codebase-Knowledge
Python · 2026-05-31 Agent 智能体 应用 生产可用 Stars 12612 周增 -7

Pocket Flow:代码库到教程Pocket Flow: Codebase to Tutorial

agentllm-infra
steven2358/awesome-generative-ai
未知语言 · 2026-08-03 工程化 收藏榜 生产可用 Stars 12483 周增 +49

现代生成式 AI 项目与服务的精选清单A curated list of modern Generative Artificial Intelligence projects and services

llm-infra
bentoml/OpenLLM
Python · 2026-08-10 LLM 基础设施 框架 生产可用 Stars 12473 周增 +77

在云端以 OpenAI 兼容 API 端点形式运行任意开源 LLM,例如 DeepSeek 和 Llama。Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.

multimodalllm-infraengineering
OpenMOSS/MOSS
Python · 2026-05-27 LLM 基础设施 模型 生产可用 Stars 12211 周增 +7

复旦大学开源的工具增强对话语言模型An open-source tool-augmented conversational language model from Fudan University

llm-infra
dataelement/bisheng
Python · 2026-08-11 Agent 智能体 数据集 生产可用 Stars 11846 周增 +28

BISHENG 是面向下一代企业 AI 应用的开放 LLM devops 平台。强大且全面的功能包括:GenAI workflow、RAG、Agent、统一模型管理、评估、SFT、数据集管理、企业级系统管理、可观测性等。BISHENG is an open LLM devops platform for next generation Enterprise AI applications. Powerful and comprehensive features include: GenAI workflow, RAG, Agent, Unified model management, Evaluation, SFT, Dataset Management, Enterprise-level System Management, Observability and more.

agentragevaluationllm-infra
tensorzero/tensorzero
Rust · 2026-06-11 评测基准 框架 生产可用 Stars 11724 周增 +0

TensorZero 是一个开源 LLMOps 平台,统一了 LLM gateway、可观测性、评估、优化与实验TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observability, evaluation, optimization, and experimentation.

evaluationengineeringllm-infra
LMCache/LMCache
Python · 2026-08-11 LLM 基础设施 应用 生产可用 Stars 11101 周增 +49

LMCache:借助最快的 KV Cache 层为你的 LLM 加速。LMCache: Supercharge Your LLM with the Fastest KV Cache Layer

llm-infra
The-Pocket/PocketFlow
Python · 2026-07-26 Agent 智能体 框架 生产可用 Stars 11096 周增 +21

Pocket Flow:一个仅 100 行代码的 LLM 框架。让 Agent 构建 Agent!Pocket Flow: 100-line LLM framework. Let Agents build Agents!

agentragllm-infra
Arize-ai/phoenix
Python · 2026-08-11 评测基准 应用 生产可用 Stars 10982 周增 +49

AI 可观测性与评估。AI Observability & Evaluation

agentevaluationllm-infra
aws/amazon-sagemaker-examples
Jupyter Notebook · 2026-07-30 LLM 基础设施 教程 生产可用 Stars 10980 周增 -7

示例 📓 Jupyter notebooks,演示如何使用 🧠 Amazon SageMaker 构建、训练和部署机器学习模型。Example 📓 Jupyter notebooks that demonstrate how to build, train, and deploy machine learning models using 🧠 Amazon SageMaker.

llm-infraengineering
0x4m4/hexstrike-ai
Python · 2026-08-03 Agent 智能体 工具 生产可用 Stars 10936 周增 +119

HexStrike AI MCP Agents 是一个高级 MCP 服务器,让 AI agent(Claude、GPT、Copilot 等)能够自主运行 150+ 网络安全工具,用于自动化渗透测试、漏洞发现、漏洞赏金自动化和安全研究,无缝桥接 LLM 与真实世界的攻击性安全能力。HexStrike AI MCP Agents is an advanced MCP server that lets AI agents (Claude, GPT, Copilot, etc.) autonomously run 150+ cybersecurity tools for automated pentesting, vulnerability discovery, bug bounty automation, and security research. Seamlessly bridge LLMs with real-world offensive security capabilities.

agentriskllm-infra
triton-inference-server/server
Python · 2026-08-10 LLM 基础设施 应用 生产可用 Stars 10913 周增 +14

Triton Inference Server 提供针对云端和边缘推理优化的解决方案。The Triton Inference Server provides an optimized cloud and edge inferencing solution.

llm-infra
KalyanKS-NLP/llm-engineer-toolkit
未知语言 · 2026-08-02 工程化 收藏榜 生产可用 Stars 10722 周增 +49

120+ LLM 库的分类精选清单A curated list of 120+ LLM libraries category wise.

llm-infra
openvinotoolkit/openvino
C++ · 2026-08-11 LLM 基础设施 工具 生产可用 Stars 10637 周增 +21

OpenVINO™ 是用于优化和部署 AI 推理的开源工具包OpenVINO™ is an open source toolkit for optimizing and deploying AI inference

multimodalllm-infra
ultralytics/yolov3
Python · 2026-08-02 LLM 基础设施 应用 生产可用 Stars 10591 周增 +14

基于 PyTorch 的 YOLOv3、YOLOv3-SPP 和 YOLOv3-tiny 实时目标检测实现,支持训练、验证、推理与多格式导出。PyTorch implementation of YOLOv3, YOLOv3-SPP, and YOLOv3-tiny for real-time object detection with training, validation, inference, and multi-format export.

multimodalllm-infra
Acly/krita-ai-diffusion
Python · 2026-06-30 多模态 应用 生产可用 Stars 10449 周增 +21

在 Krita 中使用 AI 生成图像的精简界面。支持 Inpaint 与 Outpaint,可选文本提示,无需调参。Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.

multimodal
RunanywhereAI/runanywhere-sdks
C++ · 2026-08-11 LLM 基础设施 生产可用 Stars 10301 周增 -7

用于本地运行 AI 的生产就绪工具包。Production ready toolkit to run AI locally

multimodalllm-infraengineering
Netflix/metaflow
Python · 2026-08-10 工程化 框架 生产可用 Stars 10206 周增 -7

构建、管理和部署 AI/ML 系统。Build, Manage and Deploy AI/ML Systems

agentengineeringllm-infra
Mooler0410/LLMsPracticalGuide
未知语言 · 2026-04-08 LLM 基础设施 收藏榜 生产可用 Stars 10197 周增 +7

LLM 实战指南资源的精选清单(LLMs Tree、示例、论文)A curated list of practical guide resources of LLMs (LLMs Tree, Examples, Papers)

llm-infra
OpenRLHF/OpenRLHF
Python · 2026-07-14 Agent 智能体 框架 生产可用 Stars 9902 周增 +14

基于 Ray 的易用、可扩展、高性能 Agentic RL 框架(PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)An Easy-to-use, Scalable and High-performance Agentic RL Framework based on Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

agentllm-infra
Tiiny-AI/PowerInfer
C++ · 2026-05-11 LLM 基础设施 模型 生产可用 Stars 9704 周增 +21

面向本地部署的高速 LLM 服务High-speed Large Language Model Serving for Local Deployment

llm-infraengineering
aliasrobotics/cai
Python · 2026-07-14 安全与风险 框架 生产可用 Stars 9699 周增 +14

Cybersecurity AI (CAI),面向 AI 安全的框架。Cybersecurity AI (CAI), the framework for AI Security

riskllm-infra
xorbitsai/inference
Python · 2026-08-11 多模态 应用 生产可用 Stars 9486 周增 +0

通过修改一行代码即可将 GPT 替换为任意 LLM。Xinference 让你在云端、本地或笔记本上运行开源、语音和多模态模型,全部通过统一的生产就绪推理 API。Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.

multimodalllm-infraengineering
oumi-ai/oumi
Python · 2026-08-11 多模态 应用 生产可用 Stars 9369 周增 +7

轻松微调、评估和部署 Gemma 4、Qwen3.5、Qwen3.6、gpt-oss、DeepSeek-R1 或任意开源 LLM / VLM。Easily fine-tune, evaluate and deploy Qwen, Gemma, or any open weight LLM!

llm-infraevaluation
activeloopai/deeplake
C++ · 2026-05-21 Agent 智能体 应用 生产可用 Stars 9227 周增 +7

Deeplake 是面向 Agent 的 AI 数据运行时,提供无服务器 postgres 与多模态 datalake,支持可扩展的检索与训练Deeplake is AI Data Runtime for Agents. It provides serverless postgres with a multimodal datalake, enabling scalable retrieval and training.

agentragmultimodalengineering
FareedKhan-dev/train-llm-from-scratch
Python · 2026-08-17 工程化 应用 生产可用 Stars 9139 周增 +119

训练你自己的 LLM 的简洁方法,覆盖从数据下载到文本生成A straightforward method for training your LLM, from downloading data to generating text.

llm-infra
miurla/morphic
TypeScript · 2026-08-11 RAG 检索增强 应用 生产可用 Stars 9035 周增 +14

带有生成式 UI 的 AI 驱动搜索引擎。An AI-powered search engine with a generative UI

Narcooo/inkos
TypeScript · 2026-08-03 Agent 智能体 应用 生产可用 Stars 8889 周增 +49

故事创作 AI Agent,应用于小说、剧本、互动游戏与 IP 内容。Story Creation AI Agent for novel, scripts, translation, interactive games, and IP content

agent
WangRongsheng/awesome-LLM-resources
未知语言 · 2026-08-07 Agent 智能体 收藏榜 生产可用 Stars 8830 周增 +7

🧑‍🚀 全世界最好的LLM资料总结(多模态生成、Agent、辅助编程、AI审稿、数据处理、模型训练、模型推理、o1 模型、MCP、小语言模型、视觉语言模型) | Summary of the world's best LLM resources.

agentragllm-infra
bentoml/BentoML
Python · 2026-08-03 LLM 基础设施 模型 生产可用 Stars 8776 周增 +7

提供 AI 应用和模型服务的最简方式 —— 构建模型推理 API、任务队列、LLM 应用、多模型 pipeline 等。The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

multimodalllm-infraengineering
rockbenben/ChatGPT-Shortcut
TypeScript · 2026-08-03 LLM 基础设施 应用 生产可用 Stars 8679 周增 +7

🚀💪Maximize your efficiency and productivity. The ultimate hub to manage, customize, and share prompts. (English/中文/Español/العربية). 让生产力加倍的 AI 快捷指令。更高效地管理提示词,在分享社区中发现适用于不同场景的灵感。

llm-infra
Lightricks/LTX-2
Python · 2026-08-03 多模态 模型 生产可用 Stars 8560 周增 +14

LTX-2 音视频生成模型的官方 Python 推理与 LoRA 训练包。Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.

multimodalllm-infra
poloclub/transformer-explainer
JavaScript · 2026-06-06 LLM 基础设施 教程 生产可用 Stars 8376 周增 +7

Transformer 可视化解析:通过交互式可视化学习 LLM Transformer 模型的工作原理。Transformer Explained Visually: Learn How LLM Transformer Models Work with Interactive Visualization

llm-infra