Repositories · organized/repo_cards

仓库/Skill 库

1028 个 · AI 核心

排序 Stars 周增
0xPlaygrounds/rig
Rust · 2026-08-11 LLM 基础设施 框架 生产可用 Stars 8237 周增 +28

⚙️🦀 使用 Rust 构建模块化、可扩展的 LLM 应用。⚙️🦀 Build modular and scalable LLM Applications in Rust

agentllm-infra
nexu-io/html-anything
HTML · 2026-07-28 Agent 智能体 应用 生产可用 Stars 8228 周增 +49

✨ Agentic HTML 编辑器——本地 AI agent 编写 HTML,你负责发布。🚀 75 个 Skill × 9 种呈现形式(杂志 · 演示文稿 · 海报 · 小红书/推文 · 原型 · 数据报告 · Hyperframes)。🛡️ 沙箱预览 · 📤 一键发布到微信 / X / 知乎 / HTML / PNG。🔑 零 API key——支持 Claude Code / Cursor / Codex / Gemini / Copilot / OpenCode / Qwen / Aider。✨ The agentic HTML editor — your local AI agent writes the HTML, you ship it. 🚀 75 Skills × 9 Surfaces (magazine · deck · poster · XHS / tweet · prototype · data report · Hyperframes) 🛡️ Sandboxed preview · 📤 1-click to WeChat / X / Zhihu / HTML / PNG 🔑 Zero API key — Claude Code / Cursor / Codex / Gemini / Copilot / OpenCode / Qwen / Aider.

agent
evidentlyai/evidently
Jupyter Notebook · 2026-08-05 评测基准 框架 生产可用 Stars 7797 周增 +14

Ev​​idently 是一个开源的 ML 和 LLM 可观测性框架,评估、测试和监控任何 AI 驱动的系统或数据 pipeline,覆盖从表格数据到 Gen AI 场景,提供 100+ 指标。Evidently is ​​an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100+ metrics.

engineeringllm-infra
AI4Finance-Foundation/FinRobot
Jupyter Notebook · 2026-07-27 Agent 智能体 框架 生产可用 Stars 7760 周增 +14

FinRobot:基于 LLM 的开源金融分析 AI Agent 平台 🚀 🚀 🚀FinRobot: An Open-Source AI Agent Platform for Financial Applications using LLMs 🚀 🚀 🚀

agentmultimodalllm-infra
NirDiamant/Prompt_Engineering
Jupyter Notebook · 2026-07-31 工程化 教程 生产可用 Stars 7751 周增 +63

22 种 prompt engineering 技术,附带 Jupyter Notebook 实战教程,覆盖从基础概念到利用 LLM 的高级策略。22 prompt engineering techniques with hands-on Jupyter Notebook tutorials, from fundamental concepts to advanced strategies for leveraging LLMs.

ragllm-infra
2FastLabs/agent-squad
Swift · 2026-07-29 Agent 智能体 框架 生产可用 Stars 7728 周增 +0

灵活而强大的框架,用于管理多个 AI agent 并处理复杂对话。Flexible and powerful framework for managing multiple AI agents and handling complex conversations

agent
traceloop/openllmetry
Python · 2026-08-10 LLM 基础设施 生产可用 Stars 7367 周增 +7

基于 OpenTelemetry,为你的 GenAI 或 LLM 应用提供开源可观测性。Open-source observability for your GenAI or LLM application, based on OpenTelemetry

llm-infra
maximhq/bifrost
Go · 2026-08-11 安全与风险 应用 生产可用 Stars 7211 周增 +105

最快的 enterprise AI gateway(比 LiteLLM 快 50 倍),具备自适应负载均衡、集群模式、guardrails,支持 1000+ 模型,在 5k RPS 下额外开销 <100 µs。Fastest enterprise AI gateway (50x faster than LiteLLM) with adaptive load balancer, cluster mode, guardrails, 1000+ models support & <100 µs overhead at 5k RPS.

llm-infra
ymcui/Chinese-LLaMA-Alpaca-2
Python · 2026-04-19 LLM 基础设施 模型 生产可用 Stars 7132 周增 +0

中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

llm-infra
vespa-engine/vespa
Java · 2026-08-11 数据与向量库 框架 生产可用 Stars 7046 周增 +0

AI 搜索平台。The AI search platform

ragllm-infradatabase
katanemo/plano
Rust · 2026-08-10 Agent 智能体 应用 生产可用 Stars 6995 周增 +14

Plano 是面向 agentic 应用的 AI 原生代理与数据平面,内置编排、安全、可观测性和智能 LLM 路由,让你专注于 agent 核心逻辑。Plano is an AI-native proxy server and data plane for agentic apps. Smart LLM routing, observability, agent orchestration, and guardrails so you stay focused on your agents core logic.

agentllm-infra
datajuicer/data-juicer
Python · 2026-08-11 LLM 基础设施 生产可用 Stars 6865 周增 +56

面向并利用基础模型的数据处理!🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷Data processing for and with foundation models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

engineeringllm-infra
clearml/clearml
Python · 2026-08-11 工程化 应用 生产可用 Stars 6816 周增 +14

ClearML —— 以自动化 CI/CD 简化 AI 工作负载。一站式 MLOps/LLMOps 解决方案,涵盖实验管理、数据管理、pipeline、编排、调度与服务。ClearML - Auto-Magical CI/CD to streamline your AI workload. Experiment Management, Data Management, Pipeline, Orchestration, Scheduling & Serving in one MLOps/LLMOps solution

llm-infraengineering
GoogleCloudPlatform/agent-starter-pack
Python · 2026-07-21 Agent 智能体 框架 生产可用 Stars 6534 周增 -7

数分钟内(而非数月)将 AI Agents 部署到 Google Cloud。提供生产就绪模板,内置 CI/CD、评估和可观测性。Ship AI Agents to Google Cloud in minutes, not months. Production-ready templates with built-in CI/CD, evaluation, and observability.

agentevaluationengineeringllm-infra
genkit-ai/genkit
TypeScript · 2026-08-17 Agent 智能体 框架 生产可用 Stars 6342 周增 +0

用于构建 agentic apps 的开源框架,支持 JavaScript、Go、Dart 与 Python,由 Google 在生产环境中构建并使用。Open-source framework for building agentic apps in JavaScript, Go, Dart, and Python, built and used in production by Google

agentragmultimodalengineering
argmaxinc/argmax-oss-swift
Swift · 2026-08-06 多模态 应用 生产可用 Stars 6317 周增 +7

面向 Apple Silicon 的端侧语音 AI。On-device Speech AI for Apple Silicon

llm-infra
kvcache-ai/Mooncake
C++ · 2026-08-11 LLM 基础设施 框架 生产可用 Stars 6231 周增 +56

Mooncake 是 Moonshot AI 旗下领先 LLM 服务 Kimi 的服务平台。Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI.

llm-infra
Andyyyy64/whichllm
Python · 2026-08-05 评测基准 评测集 生产可用 Stars 6205 周增 +21

找到在你的硬件上真正能跑且性能最优的本地 LLM。排名基于真实且时新的基准测试,而非参数量。一条命令,即刻运行。Find the local LLM that actually runs and performs best on your hardware. Ranked by real, recency-aware benchmarks, not parameter count. One command, run it instantly.

llm-infraevaluation
Eigenwise/atomic-agents
Python · 2026-08-11 Agent 智能体 应用 生产可用 Stars 6160 周增 +28

原子化构建 AI AgentBuilding AI agents, atomically

agentllm-infra
Helicone/helicone
TypeScript · 2026-07-25 评测基准 框架 生产可用 Stars 6051 周增 +7

🧊 开源 LLM 可观测性平台,一行代码即可实现监控、评估与实验。YC W23 🍓🧊 Open source LLM observability platform. One line of code to monitor, evaluate, and experiment. YC W23 🍓

agentevaluationllm-infra
vllm-project/vllm-omni
Python · 2026-08-11 LLM 基础设施 模型 生产可用 Stars 6027 周增 +77

面向全模态模型的高效推理框架。A framework for efficient model inference with omni-modality models

multimodalllm-infra
tensorchord/Awesome-LLMOps
Shell · 2026-05-21 LLM 基础设施 收藏榜 生产可用 Stars 5914 周增 +14

为开发者精选的 LLMOps 工具 awesome 列表An awesome & curated list of best LLMOps tools for developers

engineeringllm-infra
microsoft/agent-governance-toolkit
Python · 2026-08-12 Agent 智能体 应用 生产可用 Stars 5892 周增 +0

AI Agent 治理工具包 —— 提供策略执行、零信任身份、运行沙箱与可靠性工程,覆盖 OWASP Agentic Top 10 全部 10 项。AI Agent Governance Toolkit — Policy enforcement, zero-trust identity, execution sandboxing, and reliability engineering for autonomous AI agents. Covers 10/10 OWASP Agentic Top 10.

agentrisk
Ed1s0nZ/CyberStrikeAI
Go · 2026-08-14 Agent 智能体 框架 实验 Stars 5755 周增 +0

AI 原生网络安全的执行系统——意图转化为受治理的执行,证据成为可运营的记忆,每一次操作都让下一次更优。The system of action for AI-native cybersecurity—where intent becomes governed execution, evidence becomes operational memory, and every operation improves the next.

agentrisk
Giskard-AI/giskard-oss
Python · 2026-08-10 Agent 智能体 生产可用 Stars 5744 周增 +7

🐢 面向 LLM Agent 的开源评估与测试库🐢 Open-Source Evaluation & Testing library for LLM Agents

agentragevaluationengineering
amazon-science/chronos-forecasting
Python · 2026-07-02 工程化 应用 生产可用 Stars 5695 周增 +35

Chronos:面向时间序列预测的预训练模型Chronos: Pretrained Models for Time Series Forecasting

llm-infra
coze-dev/coze-loop
Go · 2026-08-11 Agent 智能体 框架 生产可用 Stars 5685 周增 +7

下一代 AI Agent 优化平台:Cozeloop 提供从开发、调试、评估到监控的全生命周期管理能力,解决 AI agent 开发中的挑战。Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development, debugging, and evaluation to monitoring.

agentevaluationllm-infra
OpenBMB/UltraRAG
Python · 2026-08-11 Agent 智能体 框架 生产可用 Stars 5668 周增 +0

用于构建复杂创新 RAG 流水线的低代码 MCP 框架A Low-Code MCP Framework for Building Complex and Innovative RAG Pipelines

ragmultimodalllm-infraengineering
lonePatient/awesome-pretrained-chinese-nlp-models
Python · 2026-06-19 工程化 收藏榜 生产可用 Stars 5580 周增 +0

Awesome Pretrained Chinese NLP Models,高质量中文预训练模型&大模型&多模态模型&大语言模型集合

llm-infra
zenml-io/zenml
Python · 2026-08-11 Agent 智能体 框架 生产可用 Stars 5551 周增 +0

ZenML 🙏:从 Pipeline 到 Agent 的一站式 AI 平台。https://zenml.ioZenML 🙏: One AI Platform from Pipelines to Agents. https://zenml.io.

agentengineeringllm-infra
fla-org/flash-linear-attention
Python · 2026-08-11 LLM 基础设施 生产可用 Stars 5543 周增 +28

🚀 新兴模型架构的高效实现🚀 Efficient implementations for emerging model architectures

llm-infra
gpustack/gpustack
Python · 2026-08-11 LLM 基础设施 模型 生产可用 Stars 5465 周增 +21

用于高性能 AI 模型服务(vLLM、SGLang)和按需 SSH 访问 GPU 实例的 GPU 集群管理器。A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

llm-infra
PacktPublishing/LLM-Engineers-Handbook
Python · 2026-04-22 RAG 检索增强 应用 生产可用 Stars 5235 周增 +21

LLM 实战指南:从基础到使用 LLMOps 最佳实践将 LLM 和 RAG 应用部署到 AWSThe LLM's practical guide: From the fundamentals to deploying advanced LLM and RAG apps to AWS using LLMOps best practices

ragevaluationengineeringllm-infra
beclab/Olares
Go · 2026-08-11 Agent 智能体 应用 生产可用 Stars 5206 周增 +0

面向常驻 Agent 的开源个人云操作系统。Open-Source Personal Cloud OS for Always-On Agents

agentllm-infra
tencentmusic/cube-studio
未知语言 · 2026-07-11 LLM 基础设施 框架 生产可用 Stars 5076 周增 -7

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台,mlops算法链路全流程,算力租赁平台,notebook在线开发,拖拉拽任务流pipeline编排,多机多卡分布式训练,超参搜索,推理服务VGPU虚拟化,边缘计算,标注平台自动化标注,deepseek等大模型sft微调/奖励模型/强化学习训练,vllm/ollama/mindie大模型多机推理,私有知识库,AI模型市场,支持国产cpu/gpu/npu 昇腾生态,支持RDMA,支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

llm-infraengineering
camel-ai/oasis
Python · 2026-08-07 Agent 智能体 应用 研究原型 Stars 5018 周增 +35

🏝️ OASIS:基于一百万 Agent 的开放社交交互仿真。🏝️ OASIS: Open Agent Social Interaction Simulations with One Million Agents.

agentllm-infra