Repositories · organized/repo_cards

仓库/Skill 库

1052 个

排序 Stars 周增
astrid-runtime/astrid
Rust · 2026-08-14 工程化 框架 实验 Stars 10303 周增 +0

Astrid:面向可组合软件的轻量级、能力安全(capability-secure)操作系统。Astrid is a portable, capability-secure operating system for composable software.

agentriskllm-infra
RunanywhereAI/runanywhere-sdks
C++ · 2026-08-11 LLM 基础设施 生产可用 Stars 10301 周增 -7

用于本地运行 AI 的生产就绪工具包。Production ready toolkit to run AI locally

multimodalllm-infraengineering
Netflix/metaflow
Python · 2026-08-10 工程化 框架 生产可用 Stars 10206 周增 -7

构建、管理和部署 AI/ML 系统。Build, Manage and Deploy AI/ML Systems

agentengineeringllm-infra
Mooler0410/LLMsPracticalGuide
未知语言 · 2026-04-08 LLM 基础设施 收藏榜 生产可用 Stars 10197 周增 +7

LLM 实战指南资源的精选清单(LLMs Tree、示例、论文)A curated list of practical guide resources of LLMs (LLMs Tree, Examples, Papers)

llm-infra
cobusgreyling/loop-engineering
JavaScript · 2026-08-07 Agent 智能体 工具 生产可用 Stars 9938 周增 +91

面向 AI 编码 Agent 的循环工程实用模式、starter 与 CLI 工具。设计 prompt 编排 Agent 的系统(灵感来自 Addy Osmani 与 Boris Cherny)。包含 loop-audit、loop-init、loop-cost。Practical patterns, starters & CLI tools for loop engineering with AI coding agents. Design systems that prompt and orchestrate agents (inspired by Addy Osmani and Boris Cherny). Includes loop-audit, loop-init, loop-cost.

agentllm-infra
OpenRLHF/OpenRLHF
Python · 2026-07-14 Agent 智能体 框架 生产可用 Stars 9902 周增 +14

基于 Ray 的易用、可扩展、高性能 Agentic RL 框架(PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)An Easy-to-use, Scalable and High-performance Agentic RL Framework based on Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

agentllm-infra
Tiiny-AI/PowerInfer
C++ · 2026-05-11 LLM 基础设施 模型 生产可用 Stars 9704 周增 +21

面向本地部署的高速 LLM 服务High-speed Large Language Model Serving for Local Deployment

llm-infraengineering
aliasrobotics/cai
Python · 2026-07-14 安全与风险 框架 生产可用 Stars 9699 周增 +14

Cybersecurity AI (CAI),面向 AI 安全的框架。Cybersecurity AI (CAI), the framework for AI Security

riskllm-infra
xorbitsai/inference
Python · 2026-08-11 多模态 应用 生产可用 Stars 9486 周增 +0

通过修改一行代码即可将 GPT 替换为任意 LLM。Xinference 让你在云端、本地或笔记本上运行开源、语音和多模态模型,全部通过统一的生产就绪推理 API。Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.

multimodalllm-infraengineering
holaboss-ai/holaOS
TypeScript · 2026-08-18 Agent 智能体 应用 生产可用 Stars 9436 周增 +3798

你的工作超级 Agent:本地优先,分钟级学习你的工作上下文,永不遗忘。Open-source All in One AI agent workspace. Run any agent — Claude Code, Codex — across your tools (100+ integrations + MCP), apps, browser, and files, with shared memory. Built-in models or BYOK.

agentllm-infra
oumi-ai/oumi
Python · 2026-08-11 多模态 应用 生产可用 Stars 9369 周增 +7

轻松微调、评估和部署 Gemma 4、Qwen3.5、Qwen3.6、gpt-oss、DeepSeek-R1 或任意开源 LLM / VLM。Easily fine-tune, evaluate and deploy Qwen, Gemma, or any open weight LLM!

llm-infraevaluation
activeloopai/deeplake
C++ · 2026-05-21 Agent 智能体 应用 生产可用 Stars 9227 周增 +7

Deeplake 是面向 Agent 的 AI 数据运行时,提供无服务器 postgres 与多模态 datalake,支持可扩展的检索与训练Deeplake is AI Data Runtime for Agents. It provides serverless postgres with a multimodal datalake, enabling scalable retrieval and training.

agentragmultimodalengineering
FareedKhan-dev/train-llm-from-scratch
Python · 2026-08-17 工程化 应用 生产可用 Stars 9139 周增 +119

训练你自己的 LLM 的简洁方法,覆盖从数据下载到文本生成A straightforward method for training your LLM, from downloading data to generating text.

llm-infra
lidge-jun/opencodex
TypeScript · 2026-08-11 LLM 基础设施 工具 研究原型 Stars 9000 周增 +658

OpenAI Codex 与 Claude Code 的通用 provider 代理 —— 可在 Codex CLI、App、SDK 及 Claude Code 中使用任意 LLM(Claude、Gemini、Grok、DeepSeek、Ollama…)。Universal provider proxy for OpenAI Codex & Claude Code — use any LLM (Claude, Gemini, Grok, DeepSeek, Ollama…) with Codex CLI, App, SDK, and Claude Code

llm-infra
WangRongsheng/awesome-LLM-resources
未知语言 · 2026-08-07 Agent 智能体 收藏榜 生产可用 Stars 8830 周增 +7

🧑‍🚀 全世界最好的LLM资料总结(多模态生成、Agent、辅助编程、AI审稿、数据处理、模型训练、模型推理、o1 模型、MCP、小语言模型、视觉语言模型) | Summary of the world's best LLM resources.

agentragllm-infra
bentoml/BentoML
Python · 2026-08-03 LLM 基础设施 模型 生产可用 Stars 8776 周增 +7

提供 AI 应用和模型服务的最简方式 —— 构建模型推理 API、任务队列、LLM 应用、多模型 pipeline 等。The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

multimodalllm-infraengineering
rockbenben/ChatGPT-Shortcut
TypeScript · 2026-08-03 LLM 基础设施 应用 生产可用 Stars 8679 周增 +7

🚀💪Maximize your efficiency and productivity. The ultimate hub to manage, customize, and share prompts. (English/中文/Español/العربية). 让生产力加倍的 AI 快捷指令。更高效地管理提示词,在分享社区中发现适用于不同场景的灵感。

llm-infra
Lightricks/LTX-2
Python · 2026-08-03 多模态 模型 生产可用 Stars 8560 周增 +14

LTX-2 音视频生成模型的官方 Python 推理与 LoRA 训练包。Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.

multimodalllm-infra
lastmile-ai/mcp-agent
Python · 2026-01-25 Agent 智能体 模型 研究原型 Stars 8498 周增 +7

使用 Model Context Protocol 和简洁的工作流模式构建高效的 Agent。Build effective agents using Model Context Protocol and simple workflow patterns

agentllm-infra
omnigent-ai/omnigent
Python · 2026-08-08 Agent 智能体 框架 生产可用 Stars 8412 周增 +140

Omnigent 是一个开源 AI agent 框架与元 harness:编排 Claude Code、Codex、Cursor、Pi 及自定义 agent——无需重写即可替换 harness,强制执行策略与沙箱化,并支持任意设备实时协作。Omnigent is an open-source AI agent framework and meta-harness: orchestrate Claude Code, Codex, Cursor, Pi, and custom agents — swap harnesses without rewriting, enforce policies and sandboxing, and collaborate in real time from any device.

agentmultimodalllm-infra
poloclub/transformer-explainer
JavaScript · 2026-06-06 LLM 基础设施 教程 生产可用 Stars 8376 周增 +7

Transformer 可视化解析:通过交互式可视化学习 LLM Transformer 模型的工作原理。Transformer Explained Visually: Learn How LLM Transformer Models Work with Interactive Visualization

llm-infra
0xPlaygrounds/rig
Rust · 2026-08-11 LLM 基础设施 框架 生产可用 Stars 8237 周增 +28

⚙️🦀 使用 Rust 构建模块化、可扩展的 LLM 应用。⚙️🦀 Build modular and scalable LLM Applications in Rust

agentllm-infra
Upsonic/Upsonic
Python · 2026-06-18 Agent 智能体 应用 生产可用 Stars 7937 周增 +7

使用 Python 构建自主 AI Agent。Build autonomous AI agents in Python.

agentragllm-infra
evidentlyai/evidently
Jupyter Notebook · 2026-08-05 评测基准 框架 生产可用 Stars 7797 周增 +14

Ev​​idently 是一个开源的 ML 和 LLM 可观测性框架,评估、测试和监控任何 AI 驱动的系统或数据 pipeline,覆盖从表格数据到 Gen AI 场景,提供 100+ 指标。Evidently is ​​an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100+ metrics.

engineeringllm-infra
AI4Finance-Foundation/FinRobot
Jupyter Notebook · 2026-07-27 Agent 智能体 框架 生产可用 Stars 7760 周增 +14

FinRobot:基于 LLM 的开源金融分析 AI Agent 平台 🚀 🚀 🚀FinRobot: An Open-Source AI Agent Platform for Financial Applications using LLMs 🚀 🚀 🚀

agentmultimodalllm-infra
NirDiamant/Prompt_Engineering
Jupyter Notebook · 2026-07-31 工程化 教程 生产可用 Stars 7751 周增 +63

22 种 prompt engineering 技术,附带 Jupyter Notebook 实战教程,覆盖从基础概念到利用 LLM 的高级策略。22 prompt engineering techniques with hands-on Jupyter Notebook tutorials, from fundamental concepts to advanced strategies for leveraging LLMs.

ragllm-infra
osaurus-ai/osaurus
Swift · 2026-08-24 Agent 智能体 模型 生产可用 Stars 7687 周增 +0

掌控你的 AI。面向 AI Agent 的原生 macOS Harness——任意模型、持久记忆、自主执行、加密身份。Swift 开发,完全离线,开源。Own your AI. The native macOS harness for AI agents -- any model, persistent memory, autonomous execution, cryptographic identity. Built in Swift. Fully offline. Open source.

agentllm-infra
traceloop/openllmetry
Python · 2026-08-10 LLM 基础设施 生产可用 Stars 7367 周增 +7

基于 OpenTelemetry,为你的 GenAI 或 LLM 应用提供开源可观测性。Open-source observability for your GenAI or LLM application, based on OpenTelemetry

llm-infra
firecrawl/firecrawl-mcp-server
JavaScript · 2026-08-26 Agent 智能体 应用 生产可用 Stars 7318 周增 +52

🔥 官方 Firecrawl MCP Server —— 为 Cursor、Claude 以及其他任意 LLM 客户端增添强大的网页抓取与搜索能力。🔥 Official Firecrawl MCP Server - Adds powerful web scraping and search to Cursor, Claude and any other LLM clients.

llm-infra
maximhq/bifrost
Go · 2026-08-11 安全与风险 应用 生产可用 Stars 7211 周增 +105

最快的 enterprise AI gateway(比 LiteLLM 快 50 倍),具备自适应负载均衡、集群模式、guardrails,支持 1000+ 模型,在 5k RPS 下额外开销 <100 µs。Fastest enterprise AI gateway (50x faster than LiteLLM) with adaptive load balancer, cluster mode, guardrails, 1000+ models support & <100 µs overhead at 5k RPS.

llm-infra
ymcui/Chinese-LLaMA-Alpaca-2
Python · 2026-04-19 LLM 基础设施 模型 生产可用 Stars 7132 周增 +0

中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

llm-infra
vespa-engine/vespa
Java · 2026-08-11 数据与向量库 框架 生产可用 Stars 7046 周增 +0

AI 搜索平台。The AI search platform

ragllm-infradatabase
strands-agents/harness-sdk
Python · 2026-08-25 Agent 智能体 模型 生产可用 Stars 7001 周增 +0

构建端到端可控的 agent harness。面向生产级 AI agent 的开源 SDK,支持 Python 与 TypeScript —— 兼容任意模型、任意云。Build an agent harness and control it end-to-end. Open-source SDK for production AI agents in Python & TypeScript - any model, any cloud.

agentengineeringllm-infra
katanemo/plano
Rust · 2026-08-10 Agent 智能体 应用 生产可用 Stars 6995 周增 +14

Plano 是面向 agentic 应用的 AI 原生代理与数据平面,内置编排、安全、可观测性和智能 LLM 路由,让你专注于 agent 核心逻辑。Plano is an AI-native proxy server and data plane for agentic apps. Smart LLM routing, observability, agent orchestration, and guardrails so you stay focused on your agents core logic.

agentllm-infra
grab/cursor-talk-to-figma-mcp
JavaScript · 2026-07-26 Agent 智能体 应用 生产可用 Stars 6961 周增 +0

TalkToFigma:AI Agent(Cursor、Claude Code、Codex)与 Figma 之间的 MCP 集成,使 Agentic AI 能与 Figma 通信,读取设计并以编程方式修改它们。TalkToFigma: MCP integration between AI Agent (Cursor, Claude Code, Codex) and Figma, allowing Agentic AI to communicate with Figma for reading designs and modifying them programmatically.

agentllm-infra
datajuicer/data-juicer
Python · 2026-08-11 LLM 基础设施 生产可用 Stars 6865 周增 +56

面向并利用基础模型的数据处理!🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷Data processing for and with foundation models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

engineeringllm-infra