Repositories · organized/repo_cards

仓库/Skill 库

27 个 · LLM 基础设施 · 工具 · AI 核心

排序 Stars 周增
ollama/ollama
Go · 2026-07-31 LLM 基础设施 工具 生产可用 Stars 177685 周增 +0

快速上手 Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma 等模型Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.

llm-infra
nomic-ai/gpt4all
C++ · 2025-05-27 LLM 基础设施 工具 生产可用 Stars 77407 周增 +0

GPT4All:在任意设备上运行本地 LLM。开源且可用于商业用途。GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.

llm-infra
linshenkx/prompt-optimizer
TypeScript · 2026-07-27 LLM 基础设施 工具 实验 Stars 32909 周增 +0

一个 AI 提示词优化器,用于编写更好的提示词并获得更好的 AI 结果。An AI prompt optimizer for writing better prompts and getting better AI results.

llm-infra
yamadashy/repomix
TypeScript · 2026-08-11 LLM 基础设施 工具 生产可用 Stars 27752 周增 +63

📦 Repomix 是一个强大的工具,能将整个仓库打包为单个对 AI 友好的文件。非常适合需要将代码库喂给 LLM 或其他 AI 工具(如 Claude、ChatGPT、DeepSeek、Perplexity、Gemini、Gemma、Llama、Grok 等)的场景。📦 Repomix is a powerful tool that packs your entire repository into a single, AI-friendly file. Perfect for when you need to feed your codebase to Large Language Models (LLMs) or other AI tools like Claude, ChatGPT, DeepSeek, Perplexity, Gemini, Gemma, Llama, Grok, and more.

llm-infra
openvinotoolkit/openvino
C++ · 2026-08-11 LLM 基础设施 工具 生产可用 Stars 10637 周增 +21

OpenVINO™ 是用于优化和部署 AI 推理的开源工具包OpenVINO™ is an open source toolkit for optimizing and deploying AI inference

multimodalllm-infra
huggingface/optimum
Python · 2026-08-10 LLM 基础设施 工具 研究原型 Stars 3457 周增 +7

🚀 通过易用的硬件优化工具,加速 🤗 Transformers、Diffusers、TIMM 和 Sentence Transformers 的推理与训练。🚀 Accelerate inference and training of 🤗 Transformers, Diffusers, TIMM and Sentence Transformers with easy to use hardware optimization tools

llm-infra
NVIDIA-NeMo/Curator
Python · 2026-08-19 LLM 基础设施 工具 研究原型 Stars 1723 周增 +7

可扩展的 LLM 数据预处理与清洗工具集Scalable data pre processing and curation toolkit for LLMs

engineeringllm-infra
utkuozdemir/nvidia_gpu_exporter
Go · 2026-08-07 LLM 基础设施 工具 生产可用 Stars 1527 周增 +14

基于 nvidia-smi 二进制工具的 Nvidia GPU Prometheus exporterNvidia GPU exporter for prometheus using nvidia-smi binary

llm-infra
brontoguana/krasis
C++ · 2026-08-20 LLM 基础设施 工具 研究原型 Stars 512 周增 +3

Krasis 是一个混合 LLM 运行时,专注于在消费级 VRAM 受限硬件上高效运行大模型Krasis is a Hybrid LLM runtime which focuses on efficient running of larger models on consumer grade VRAM limited hardware

llm-infra
langfuse/langfuse-docs
MDX · 2026-08-13 LLM 基础设施 工具 实验 Stars 234 周增 +5

🪢 Langfuse 文档——Langfuse 是开源 LLM 工程平台,提供可观测性、评估、Prompt 管理、Playground 与指标,用于调试与改进 LLM 应用🪢 Langfuse documentation -- Langfuse is the open source LLM Engineering Platform. Observability, evals, prompt management, playground and metrics to debug and improve LLM apps

agentllm-infra
chigwell/llm7.io
TypeScript · 2026-08-11 LLM 基础设施 工具 实验 Stars 193 周增 +0

LLM7.io 提供单一 API 网关,可连接来自多家供应商的众多领先 AI 模型LLM7.io offers a single API gateway that connects you to a wide array of leading AI models from various providers.

llm-infra
cyanheads/repo-map
Python · 2026-08-14 LLM 基础设施 工具 实验 Stars 60 周增 +0

repo-map 生成由 LLM 增强的软件仓库摘要与分析,为开发者提供关于项目结构、文件用途以及跨编程语言潜在考量的洞察。repo-map generates LLM-enhanced summaries and analysis of software repositories, providing developers with valuable insights into project structures, file purposes, and potential considerations across various programming languages.

llm-infra
ai-action/setup-ollama
TypeScript · 2026-08-17 LLM 基础设施 工具 实验 Stars 14 周增 +0

🦙 使用 Ollama CLI 配置 GitHub Actions。🦙 Set up GitHub Actions with Ollama CLI.

llm-infra
Architect2040/metalQwen3
C++ · 2026-08-15 LLM 基础设施 工具 实验 Stars 7 周增 +0

💻 在 macOS 上借助 Metal GPU 实现 Qwen3 Transformer 模型,获得加速且高效的性能,并支持关键架构特性💻 Implement Qwen3 transformer model on macOS using Metal GPU for accelerated, efficient performance with support for key architecture features.

llm-infra
styleio/ShikishaTerm
Rust · 2026-08-25 LLM 基础设施 工具 实验 Stars 3 周增 +2

并行运行 Claude Code、Codex 与 Gemini,并支持彼此交接任务。面向 AI CLI 的便携 Windows 终端。Run Claude Code, Codex and Gemini side by side — and let them hand work to each other. Portable Windows terminal for AI CLIs.

agentllm-infra
nora3233/Free-LLM
Python · 2026-08-11 LLM 基础设施 工具 实验 Stars 3 周增 +0
agentengineeringllm-infra
shyringo/deepseek-v4-flash-0731-in-c
C · 2026-08-17 LLM 基础设施 工具 实验 Stars 2 周增 +0

Run the native 284B-A13B DeepSeek-V4-Flash-0731 LLM locally on a single laptop CPU: pure C, 8 GB RAM minimum, no GPU, best TPOT 0.892 s/token. | 在笔记本单颗 CPU 上本地运行原生 284B-A13B DeepSeek-V4-Flash-0731 大模型:纯 C,最低 8 GB 内存,无需 GPU,最优 TPOT 0.892 秒/token。

llm-infra
Alperrusul123a/prompt-optimizer
TypeScript · 2026-08-11 LLM 基础设施 工具 实验 Stars 2 周增 +0

轻松优化面向 AI 系统的 prompt,借助直观工具与特性提升性能🚀 Optimize your prompts for AI systems easily and boost performance with intuitive tools and features designed for better results.

llm-infra
yifan1207/convergence-gap-instruction-tuning
Python · 2026-08-11 LLM 基础设施 工具 实验 Stars 0 周增 +0

The Convergence Gap 的代码与 artifact:指令微调模型何时收敛到下一 token 预测Code and artifacts for The Convergence Gap: when instruction-tuned models settle on next-token predictions.

llm-infra
YanzheShi/prompt-box
Vue · 2026-08-22 LLM 基础设施 工具 实验 Stars 0 周增 +0

prompt工具箱

ragllm-infra
shaikn6/llm-gateway
Python · 2026-08-20 LLM 基础设施 工具 生产可用 Stars 0 周增 +0

生产级 LLM 网关:兼容 OpenAI 的 API,支持语义缓存,可在 Claude/OpenAI/Ollama 之间进行智能路由与成本分析。Production LLM gateway: OpenAI-compatible API, semantic caching, intelligent routing across Claude/OpenAI/Ollama, cost analytics.

engineeringllm-infra
seriedes7322/Qwen3.5-TurboQuant-MLX-LM
C++ · 2026-08-24 LLM 基础设施 工具 实验 Stars 0 周增 +0

使用 TurboQuant 和 MLX 在 Windows 上运行 Qwen3.5 语言模型,实现快速的本地推理。Run the Qwen3.5 language model on Windows using TurboQuant and MLX for fast local performance.

agentmultimodalriskllm-infra
nick19patrick/qwen36-dual-3090
未知语言 · 2026-08-11 LLM 基础设施 工具 实验 Stars 0 周增 +0

在双 RTX 3090 GPU 上以 262K 上下文长度并发流运行 Qwen3.6-27B,开发工作已迁移至 club-3090。Run Qwen3.6-27B at 262K context with concurrent streams on dual RTX 3090 GPUs. Development moved to club-3090.

multimodalllm-infra
Mrdodo446/ModelForge
TypeScript · 2026-08-11 LLM 基础设施 工具 实验 Stars 0 周增 +0

使用支持 macOS 和 Windows 平台的开源工具高效构建与定制机器学习模型Build and customize machine learning models efficiently with an open-source tool that supports macOS and Windows platforms.

agentllm-infra
magiodev/llmm
Go · 2026-08-11 LLM 基础设施 工具 实验 Stars 0 周增 +0

通过单一严格的 YAML 清单统一管理本地 LLM 运行时——支持状态查看、健康检查、启动、停止,基于原生 systemd 与 Docker。Manage local LLM runtimes from one strict YAML manifest — status, doctor, start, stop over native systemd and Docker.

engineeringllm-infra
cenZO00/autopack
Python · 2026-08-15 LLM 基础设施 工具 生产可用 Stars 0 周增 +0

🚀 通过 autopack 简化 Hugging Face 模型的运行、分享与发布,自动完成量化与多格式导出🚀 Simplify running, sharing, and shipping Hugging Face models with autopack; it quantizes and exports to multiple formats effortlessly.

llm-infra
assim7557/ai-orchestrator-hub
HTML · 2026-08-14 LLM 基础设施 工具 生产可用 Stars 0 周增 +0

AI-Core 2026:面向 OpenAI、Anthropic、Gemini 与 Grok API 管理的集中化 WordPress AI Provider 中枢。AI-Core 2026: Centralized WordPress AI Provider Hub for OpenAI, Anthropic, Gemini & Grok API Management

agentllm-infra