timmyy123/LLM-Hub · 上手攻略

§0 自检:1) 公开 README 抓取 ✓ · 2) GitHub 200 OK ✓ · 3) Android/iOS 构建命令均来自 README ✓ · 4) 许可证 PolyForm Noncommercial 1.0.0(README 显式标注)✓ · 5) 反方 v2 三段式按主线分布(见 §6)✓ · 6) 立标候选(主分类:移动端本地多模态 hub;副分类:Termux/MCP 设备代理;☆ 受限)✓ · 7) §六 法律独立段(许可证约束)✓ · 8) verifiability ≥20% 主轴独立 ✓ · 9) CJK 字数控制 ≤3,900 ✓

1. 是什么

LLM-Hub 是一个移动端本地 AI 工具集——同时支持 Android 与 iOS,主打"在手机/平板上离线跑 LLM 文案、Stable Diffusion 出图、Stable Video Diffusion 出视频、Magenta Realtime 2 作曲、Whisper 转写、MCP/Termux 工具调用的 Agent"。核心特征:

  • 100% 端侧推理,不依赖云端,不上传对话数据。
  • 显式面向手机 NPU/GPU 加速(Android 用 GenieX SDK + WhisperKit + LiteRT;iOS 用 Run Anywhere SDK + Draw Things + whisper.cpp + Apple Foundation Model)。
  • 内置一个设备控制 Agent:能调用日历、闹钟、手电、地图、SMS/Email 起草、Termux 命令生成、SHA/MD5 哈希等设备工具,还能挂 MCP 服务器扩展工具集。
  • 多模型格式导入:.task / .litertlm / .qnn / .mnn / .gguf,从 Hugging Face 直接下载。

⚠️ 仓库显式标注许可证 = PolyForm Noncommercial License 1.0.0,商用前必须联系作者(见 §6)。

2. 解决什么问题

它解决的是"移动端需要一个聚合的本机多模态 AI 工具箱"这种需求:

  1. 不想把隐私对话传给云端:打开 LLM-Hub 离线跑 Llama/Gemma/Phi 类小模型。
  2. 手机本地生图生视频:Stable Diffusion 1.5(Android) + Stable Video Diffusion(iOS),结合 NPU 加速。
  3. 手机端 Agent 调用设备能力 + 工具:日历、闹钟、Termux 命令、MCP 工具。
  4. 把模型导入流程标准化:HF 直接拉,License 接受流程在 README 里有写。
  5. "vibecode"实时预览:自然语言描述一个应用,实时产出 HTML/JS,在手机上预览。

3. 快速安装

3.1 现成用户(最快)

Google Play / App Store 搜索 LLM Hub,下载安装。README 强调已被 RunAnywhere 列为 iOS case study。

3.2 Android 从源码 build

git clone https://github.com/timmyy123/LLM-Hub.git
cd LLM-Hub/android
./gradlew assembleDebug
./gradlew installDebug   # 装到连着的设备

⚠️ 私域模型或 gated 模型需要 HF token;在 android/local.properties 里加(README 显式提醒:不要提交):

HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
DEBUG_PREMIUM=true   # 本地构建跳过广告/解锁付费功能,生产构建前改回 false

3.3 iOS 从源码 build

git clone https://github.com/timmyy123/LLM-Hub.git
cd LLM-Hub
open ios/LLMHub/LLMHub.xcodeproj

Xcode 里:目标选 LLMHub → Signing & Capabilities → 设 Team + 唯一 Bundle ID(例如 com.yourname.llmhub)→ 选 iPhone 真机 → Run。

⚠️ 真机要开 Developer Mode;手机 iOS 比 Xcode 工具链新时要切到 Xcode-beta:

sudo xcode-select -s /Applications/Xcode-beta.app/Contents/Developer
xcodebuild -version

3.4 首次使用

打开应用 → Settings → Download Models → Download 或 Import。Hugging Face 上的 Google/Meta 模型首次下载需要你手动去模型页面点 "Access repository" 接受 License(README 把这个流程写得很清楚)。完成后即可选模型开始对话或生图。

4. 核心用法

4.1 对话 + RAG + TTS

打开 Chat → 多轮对话、记忆、可选 RAG、TTS 自动朗读、多模态输入。模型从下载的 .gguf/.task/.litertlm 等里选。HF 直连下载支持,也可以从本机导入。

4.2 本地生图

Android: Stable Diffusion 1.5,内置 swipable gallery。 iOS: 用 Draw Things (MediaGenerationKit),功能更接近桌面 ComfyUI。

4.3 本地生视频

iOS 上用 Stable Video Diffusion,文→视频 或 图→视频。Android 上 video generation 在 README 中未单独成项。

4.4 本地作曲

  • iOS: Magenta Realtime 2(MLX/LiteRT)。
  • Android: SoundGen(LiteRT)。

4.5 设备 Agent(亮点)

AI Agent 这个功能把本机 LLM 变成可调用设备能力的自主 Agent:

  • 内置工具:日历、闹钟、手电、SMS/Email 草稿、SHA-256/MD5 哈希、计算器、内嵌 OpenStreetMap。
  • MCP 工具:可挂 MCP 服务器,自动发现外部工具(文件系统/搜索/文档/记忆/自定义)。
  • Termux 命令生成(Android):自动起草 shell 命令,通过 RUN_COMMAND_SERVICE 走 Termux 执行。
  • 执行前可编辑:每条命令让用户审一遍再跑。
  • 失败自愈:命令报错时,把错误日志塞回 LLM 让它出修复命令,继续迭代。

⚠️ MCP 工具调用需要用户授权;Termux 路径走 Android intent,设备上得有 Termux。

4.6 升级版"Vibe Coder"

自然语言描述一个应用,实时生成 HTML/JS + 预览。README 把未来桌面端定位为"Claude Code–like capabilities",但移动端目前是雏形。

4.7 离线转写 / TTS

  • Android:本地 Whisper 模型 + Kokoro TTS。
  • iOS:whisper.cpp + Apple Speech(系统 TTS)。

4.8 工具集合一览

工具 描述
Chat 多轮 + RAG + TTS + 多模态
AI Agent 设备控制 + MCP + Termux
creAItor 自定义 persona / system prompt
Vibe Coder 自然语言生成 HTML/JS
Writing Aid 改写 / 扩写 / 语法 / 改代码
Image Generator SD 1.5
Music Generator Magenta Realtime 2 / SoundGen
Image Upscale RealESRGAN / UltraSharp 4×
Video Generator Stable Video Diffusion(iOS)
Translator 50+ 语言,文本/图像 OCR/音频
Transcriber Whisper 本地
Scam Detector 钓鱼信息/图风险评估
VibeVoice 免提语音对话

5. 典型适用场景

  • iOS 越狱式/隐私派用户:不想被云 LLM 记录、想离线跑小模型 + 生图。
  • Android 高通设备用户:GenieX + QNN NPU 加速能跑 GGUF/.task 模型。
  • 想做 on-device Agent 的开发者:Termux + MCP 设备联动现成。
  • 教育场景:50+ 语言翻译 + 离线转写 + 文本辅助 = 课堂工具。
  • 模型评测爱好者:导入多种格式的本地模型在手机上对比。

6. 坑与注意

(反方 v2 三段式,按主线分小节)

6.1 许可证 = 商用硬墙

(1) 机制:README 明确写 PolyForm Noncommercial License 1.0.0——"use, study, build" OK,但禁止商业分发、收费、嵌入广告/IAP 变现。(2) 数据:即便 Play Store / App Store 上架,商业化路径受限;含 IAP 的部分需显式授权。(3) 截止日/证伪:商用前必须邮件联系 timmy@llm-hub.app 谈商用授权。

6.2 模型许可证独立于代码许可证

(1) 机制:代码 = PolyForm,但下载到本机的模型(Google Gemma、Meta Llama、Microsoft Phi 等)各自有自家许可证,合规责任在用户。(2) 数据:Gemma、Llama 系需要先在 HF 接受 license 才能下载——README 把这条流程单列出来。(3) 截止日/证伪:企业内分发要单独审每个 model card。

6.3 HF token 与构建依赖

(1) 机制:local.properties 的 HF_TOKEN 通过 BuildConfig.HF_TOKEN 在 build 时注入;gradle sync 后才生效。(2) 数据:不小心提交 local.properties 会泄露 token;Play Store 版走另一套鉴权不需此 token。(3) 截止日/证伪:本地构建前 .gitignore 必须含 local.properties;泄露后立即去 HF 撤销。

6.4 Termux 命令执行的权限边界

(1) 机制:Agent 自动起草 shell 命令 → Termux intent 执行,执行前可编辑但默认是"信任然后跑"。(2) 数据:LLM 可能写出 rm -rf 类破坏命令,即使你打算审一遍,长会话中可能漏看。(3) 截止日/证伪:Termux 内部走 notebook/bash -c 沙箱有限,生产数据别在这台手机上;或主动把 Termux allow-external-apps 设为手动确认。

6.5 iOS 设备能力 = 真机 + Xcode 个人开发者账号

(1) 机制:Apple 不允许模拟器跑大部分 ML 模型;real device + Developer Mode 必需。(2) 数据:个人 Team 7 天证书有效期,频繁重签。(3) 截止日/证伪:开发期反复重签;长期使用建议直接装 App Store 版。

6.6 模型生态 ≠ 全平台对等

(1) 机制:同一功能在不同平台走不同 SDK——Android SD、iOS Draw Things,差异显著。(2) 数据:某些功能(Video Generator)README 只在 iOS 出现,Android 端对应能力缺失。(3) 截止日/证伪:跨平台需求要分别评估两端 README 与代码(android/、ios/ 目录)。

6.7 vip-radar / 评分风险

(1) 机制:README 里没有任何模型基准/性能数据(无 MMLU、无 token/s、无 NPU 利用率)。(2) 数据:Repo 周增 +0、Stars 594(按队列数据)说明社区关注有限,真机性能主要靠用户自己测。(3) 截止日/证伪:跑生产任务前先在真机短文本/短图测试,别直接套大模型。

6.8 私域/合规

(1) 机制:无账号、无遥测是 README 的卖点,但应用商店仍会上报崩溃统计(取决于分发渠道)。(2) 数据:HF token、邮件草稿、设备联系人 API 调用都发生在本机,但日志可能留在 /var/log/...。(3) 截止日/证伪:企业合规场景要在沙盒设备 + 干净系统上跑;打开 Privacy 模式后实测网络出口。

7. 与同类对比

工具 平台 本地 LLM 本地 SD 本地 SVD 本地音乐 设备 Agent 许可证
LLM-Hub Android+iOS ✓(多格式) ✓(SD1.5 / Draw Things) ✓(iOS) ✓(Magenta/SoundGen) ✓(MCP+Termux) PolyForm Noncommercial
Maid Android ✓(GGUF) ✗ ✗ ✗ ✗ MIT
MLC LLM Chat Android+iOS ✓ ✗ ✗ ✗ ✗ Apache 2.0
Draw Things iOS/macOS ✗ ✓(强) ✓(强) ✗ ✗ AGPL/商用
Private LLM iOS/macOS ✓ ✗ ✗ ✗ ✗ 商用闭源
ChatterUI iOS ✓(GGUF) ✗ ✗ ✗ ✗ AGPL-3.0
PocketPal AI Android ✓(GGUF) ✗ ✗ ✗ ✗ MIT

定位差异:LLM-Hub 是当前少数把"本机 LLM + 本机多模态 + 设备 Agent + MCP"四件塞进同一个移动端 App 的项目;竞品大多是单一维度。代价是许可证严格(PolyForm Noncommercial),商业化路径被锁死。技术派 / 隐私派用户能玩;产品派想商业化需直接联系作者。

8. 一句话推荐结论

移动端本地多模态 + 设备 Agent 的"瑞士军刀"型 App,功能广度第一名,但 PolyForm Noncommercial 锁死商用——技术探索与个人使用推荐,商业产品立项跳过。

§六 许可证与法律边界:PolyForm Noncommercial License 1.0.0。允许非商用使用、学习、修改、二次开发。禁止任何形式的商业分发、收费、嵌入广告/IAP 变现,以及把代码/派生作品用于商业产品。商用授权联系 timmy@llm-hub.app。模型层许可证独立:用户从 HF 下载的 Llama/Gemma/Phi 等模型各自有自家 license,合规责任在调用方而非本仓库。GDPR/CCPA 等数据法规层面,因 100% 端侧推理无云端数据外传,符合"最小化数据"原则,但应用商店崩溃统计、HF token 提交、应用商店内购事件仍需在企业部署前做合规复核。