OpenCSGs/csghub · 上手攻略

  • 仓库：OpenCSGs/csghub
  • 链接：https://github.com/OpenCSGs/csghub
  • 分类：agent / llm-infra
  • 作者：spark
  • 更新：2026-07-21

是什么

CSGHub 是 OpenCSG 团队开源的"LLM 资产管理平台"，定位对标 Hugging Face：把模型（LLM/VLM）、数据集、Space 应用、代码片段当作一等资产，统一在一个平台上做上传、下载、版本管理、权限分发、推理部署和数据处理。整套系统由 Go（Gin）+ Rails 旧版迁移中的 Vue3 前端、PostgreSQL 元数据、Apache Arrow/DuckDB 做分析层构成，并提供官方 Python/Go SDK 与 Hugging Face SDK 兼容层。

仓库同时提供两种交付形态：开源自托管（Docker Compose / Helm Chart）以及 OpenCSG 官方 SaaS（opencsg.com）。SDK 仓库 OpenCSGs/csghub-sdk 单独发布，让已有 HF 工作流几乎零成本切换到 CSGHub。

解决什么问题

Hugging Face Hub 是事实标准的模型/数据集托管服务，但在企业内网、国产化合规、数据出境审计、私有化部署场景下，公网 HF 并不总是可用；同时团队协作时需要细粒度的角色/空间管理、审计日志、计费与多租户。CSGHub 给出的答案是：

  • 私有化 HF：内网一键部署模型 + 数据集仓库，git LFS 协议兼容。
  • LLM 全生命周期：上传→审核→微调/蒸馏→评估→部署 SDK→上线，统一在同一个平台里流转。
  • 国产合规：Apache-2.0 + 国产化栈（PG/Go/Vue），可放麒麟/统信等环境。
  • 多模资产：除模型权重外，把数据集、Space（HF Spaces 等价物）、Agent 模板、Copilot 都纳入统一对象模型。
  • Copilot 式助手：内置"Space and Asset Management Assistant (Copilot)"，可用自然语言问"我有几个 Llama 变体"或"把 v3 部署到测试集群"。

快速安装

按使用场景有两条路。

路线 A：直接用 SaaS（最快）

注册 https://opencsg.com 后，用网页或 git 命令推送：

git clone https://opencsg.com/<your-namespace>/<repo>.git
cd <repo>
# 上传模型权重需要先 git lfs install
git lfs install
git lfs track "*.safetensors" "*.bin" "*.gguf"
git add .gitattributes my-model.safetensors
git commit -m "upload v1"
git push   # 需要在网页端生成 token

Python 侧只要把环境变量改成 CSGHub endpoint，Hugging Face huggingface_hub 客户端几乎不用改：

export HF_ENDPOINT="https://opencsg.com"
export HF_TOKEN="<your-csghub-token>"
huggingface-cli upload my-org/my-model ./weights --repo-type model

路线 B：本地 Docker Compose（私有化）

官方文档路径 opencsg.com/docs/en/csghub/101/install/docker/overview。准备 Linux + Docker 24+、16 GB+ 内存、50 GB+ 磁盘：

git clone https://github.com/OpenCSGs/csghub.git
cd csghub
cp .env.example .env       # 编辑数据库/对象存储/密钥
docker compose up -d       # 拉起 portal + worker + postgres + minio

Web 入口默认 http://<host>:8090。Kubernetes 路线用 Helm Chart，详见 opencsg.com/docs/en/csghub/101/install/kubernetes/overview。

路线 C：开发模式（源码）

适合二次开发。需要 Go ≥ 1.22、Node LTS、Yarn、PostgreSQL、direnv：

git clone https://github.com/OpenCSGs/csghub.git
cd csghub
cp .envrc.example .envrc && direnv allow .
go mod tidy
go install github.com/air-verse/air@latest   # 热重载
# 初始化库
go run cmd/csghub-portal/main.go migration init
go run cmd/csghub-portal/main.go migration migrate
make    # 同时起前端 yarn dev + 后端 air

打开 http://localhost:8090。注意 README 顶部警告：Portal 已从 Rails 迁移到 Gin，老用户要看 migrate_to_gin_version_portal_en.md 才能迁过来。

核心用法

1. 用 SDK 上传/拉取模型（Python）

pip install csghub-sdk

from csghub_sdk import CSGHubClient

client = CSGHubClient(token="<pat>", endpoint="https://opencsg.com")
# 上传模型
client.models.upload(
    repo_id="my-team/qwen2-7b-finetuned",
    local_path="./output",
    repo_type="model",
)
# 拉取
client.models.download("my-team/qwen2-7b-finetuned", local_dir="./models")

API 与 huggingface_hub 高度对齐，迁移成本很低。

2. 数据集 + Space + Agent 模板同平台托管

# 数据集
client.datasets.upload("my-team/qa-zh-finance", "./data", repo_type="dataset")
# Space（HF Spaces 等价）
client.spaces.create("my-team/gradio-demo", sdk="gradio")
# Agent 模板（CSGHub 独有）
client.agents.publish("my-team/rag-customer-support", template="./agent.yaml")

3. 自然语言 Copilot

Web UI 右侧栏可直接问：

"把 my-team/qwen2-7b-finetuned 部署成 4×A100 的推理 endpoint" "列出 2025-06 之后更新的所有 dataset 并按 size 排序"

Copilot 会调用 OpenAPI 触发对应动作，并把结果以表格或图表回显。

4. OpenAPI 集成

仓库提供标准化 OpenAPI（与子模块一一对应），可被 Airflow / Dify / 自研平台调用，鉴权用 PAT + Namespace 粒度的 RBAC。

典型适用场景

  • 金融/政企内网：必须私有化托管模型与数据集，要细粒度审批流与审计日志。
  • 多团队协作的 AI 中台：每个 BU 一个 namespace，统一计费、统一的推理配额。
  • 国产化栈落地：客户要求操作系统/数据库/中间件全部国产，CSGHub 是为数不多整体方案对标的国产开源。
  • 模型 + Agent 联合管理：除了模型权重，还想托管 Agent 模板、Space、推理脚本，在同一平台跑 CI/CD。
  • HF 替代/迁移：已经在用 HF，但需要避开境外访问、合规审计、计费归集。

坑与注意

  • 前端迁移中：Portal 已从 Rails 迁到 Gin，老用户升级要看迁移文档，迁移期间 API 路径可能有变化（已在 setup_en.md 顶部加 Warning）。
  • 生态规模仍小于 HF：模型/数据集数量级距 HF Hub 仍有差距，热门开源模型同步一般 24-72 h 才能上架，自有团队上传才是主路径。
  • 重资源依赖：Docker Compose 部署默认会拉 Postgres + MinIO + 多个 worker，对机器内存与磁盘有要求；纯体验建议直接用 SaaS。
  • 权限模型以 Namespace 为核心：跨 namespace 共享资产需在 admin 端开通，不要假设公开仓库就是全网可见。
  • Stars/周增数据偏低：从仓库卡片看 Stars 4178 / 周增 +0，活跃度主要集中在 OpenCSG 商业版与自有云，外部贡献者体量小，二次开发需要直接看 docs/setup_en.md 而不是 README。
  • Copilot 体验依赖在线 LLM：本地的 Copilot 配置走的是 OpenCSG 自家模型网关，离线部署需要单独接 Ollama/vLLM。

与同类对比

维度 CSGHub Hugging Face Hub ModelScope（阿里） BentoML / TrueFoundry
私有化 ★★★（Docker+Helm） ★（Enterprise 收费） ★★ ★★★
国产化合规 ★★★ ★ ★★★ ★
HF SDK 兼容 ★★★ 原生 ★★（部分） ×
Agent/Space ★★★ ★★★ ★★ ×（偏部署）
模型/数据集数量 ★ ★★★ ★★ ×（不托管）
内置 Copilot ★★★ ★★ ★★ ×

定位差异：CSGHub 更像"国产化 + 企业级 Hub"，HF 仍是生态最丰富的一方；ModelScope 在国内大模型覆盖好但私有化体验稍弱；BentoML/TrueFoundry 是部署侧，不做资产托管。

一句话推荐

如果你要做企业内网/国产化合规的"私有 Hugging Face + Copilot"，并且已经在用或愿意迁到 Hugging Face SDK 工作流，CSGHub 是 2026 年最值得一试的国产开源 Hub；只想个人玩模型，直接 Hugging Face 或 ModelScope 仍然更省心。