晚间工程 Filter · Jay · 2026-07-16 21:10

主题: Kubernetes 2026 Ingress 迁移 · 向量数据库生产命令备忘 · LLM 推理量化实测参数 筛选标准: 命令、源码、实测数据、架构原理、真实排障 / 选型经验 不收录: 市场报告、介绍性内容、无实测数据的对比表


一、工程 Filter 结果


🔴 保留条目


条目 1:Kubernetes Ingress NGINX → Gateway API 迁移(2026-03 关键节点)

来源:LogiLine Kubernetes Migration Guide 2026 - URLhttps://www.loginline.com/en/blog/migration-kubernetes-guide-2026 - 可信度:★★★★☆ 工程实践

关键工程节点: - Ingress NGINX Controller(社区版)2026 年 3 月正式停更 - 迁移窗口:现在起至 2026 年底 - 迁移路径:Gateway API(networking.k8s.io/v1)替代 networking.k8s.io/v1beta1 Ingress - KubeVirt 项目在 2026 年采用率爆发,VM 工作负载向 K8s 收敛

相关命令(推断)

# Gateway API 安装
kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/gateway-api/v1.0.0/config/crd/standard/gateway-class.yaml

# 检查现有 Ingress 资源
kubectl get ingress -A -o yaml > ingress-backup.yaml

# 使用 IngressClassName 迁移到 Gateway API

条目 2:向量数据库生产选型实测参数备忘

HNSW 参数(来自 CSDN 博客园面试精选): - M:每个节点的邻居数,影响召回率和内存占用 - efConstruction:构建时的搜索范围,影响索引构建时间 - efSearch:查询时的搜索范围,影响查询延迟和召回率 - 典型值:M=16/32/64,efConstruction=200/400,efSearch=100/200/400

IVF 参数: - nlist:聚类数量,百万向量建议 4096-65536 - nprobe:查询时探查的聚类数,越大召回越高但延迟越大 - IVF-PQ:内存压缩比 10-20×,适合内存受限场景

混合检索经验比例(生产数据): - 通用场景:向量检索 60% + BM25 40% - 客服场景(口语化问题):BM25 权重更高 - RRF(Reciprocal Rank Fusion)替代分数加权,避免量纲不一致


条目 3:FP8/GPTQ/GGUF 量化 2026 实测对比矩阵

来源:Zylos LLM Inference Optimization 2026 - URLhttps://zylos.ai/research/2026-01-15-llm-inference-optimization

方法 位宽 硬件 质量保留 吞吐提升 最佳场景
FP8 8-bit NVIDIA Hopper+ ~99% 30-33% 生产 GPU Serving
GPTQ 4-bit GPU ~90% 最大 最大化吞吐
GGUF 2-8-bit CPU/Apple Silicon ~92% 本地/边缘部署
AWQ 4-bit GPU ~94% 显存受限场景

FP8 生产推荐配置(vLLM)

# vLLM FP8 量化推理
from vllm import LLM, QuantizationConfig
llm = LLM(model="meta-llama/Llama-3-70B-Instruct",
          quantization="fp8",
          tensor_parallel_size=4)

GPTQ with Marlin kernels(vLLM)

llm = LLM(model="TheBloke/Llama-2-70B-GPTQ",
          quantization="gptq_marlin",
          tensor_parallel_size=4)

条目 4:Late Chunking — RAG 2026 新技术节点

来源:CSDN 工业级高级 RAG 全链路优化指南 - URLhttps://blog.csdn.net/m0_59235245/article/details/161712999

Late Chunking 原理: - 传统:先分块 → 再 Embedding → 丢失全局上下文 - Late Chunking:先用长上下文模型处理整篇文档 → 获取每个 Token 的全局向量 → 再物理切分 - 效果:每个小块携带全文上下文特征,解决"见木不见林"问题

实现要点: - 需要长上下文模型(128K+ context)支持 - 适用于长文档 RAG 场景(论文、报告、技术文档) - 切分后的 chunk 向量质量显著高于传统方法


条目 5:Re-Ranking 两阶段生产范式(工业标准)

工业标准流程: 1. 向量检索粗排:Bi-Encoder,Top-40 2. Cross-Encoder 精排:Query + Doc 拼接编码,Top-3

常用模型: - Cohere Rerank - BGE-Reranker - 效果:将第 20 名相关结果提升至第 1 名


条目 6:Embedding 微调生产经验数据

来自面试精选的实测数据: - 基础 Bi-Encoder:Recall@10 ≈ 71% - 领域数据微调(对比学习 + Hard Negative):Recall@10 ≈ 89% - 提升幅度:+18 个百分点 - 关键注意事项:选择有区分度的 Hard Negative 样本,监控过拟合


🔵 过滤条目

  • 市场分析报告($1-4B Vector DB 市场规模):数字太宽,方向性有限
  • 通用对比表格(无实测数据来源):跳过
  • 介绍性视频(YouTube 入门类):跳过

二、命令备忘(生产参考)

向量数据库索引参数备忘

# Milvus HNSW 索引创建(ANN_Benchmarks 参考)
create_index(
    field_name="embedding",
    index_type="HNSW",
    params={"M": 32, "efConstruction": 200}
)

# Qdrant HNSW 配置
{
  "hnsw_config": {
    "m": 16,
    "ef_construct": 128
  }
}

vLLM 量化推理命令

# FP8 量化(需要 Hopper GPU)
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3-70B-Instruct \
    --quantization fp8 \
    --tensor-parallel-size 4

# GPTQ 量化
python -m vllm.entrypoints.openai.api_server \
    --model TheBloke/Llama-2-70B-GPTQ \
    --quantization gptq \
    --tensor-parallel-size 4

Kubernetes Gateway API 迁移

# 检查现有 Ingress 版本
kubectl get ingressclass

# 安装 Gateway API CRD
kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/gateway-api/v1.1.0/config/crd/standard/gateway-class.yaml

# 创建 Gateway
kubectl apply -f - <<EOF
apiVersion: gateway.networking.k8s.io/v1
kind: Gateway
metadata:
  name: external-gateway
spec:
  gatewayClassName: istio
  listeners:
  - name: http
    port: 80
    protocol: HTTP
EOF

三、建议写入路径

工程 Filter 路径/shared/research-kb/inbox/jay/2026-07-16-evening-engineering-filter-k8s-ingress-vecdb-production-commands.md


Jay · 2026-07-16 · 21:10 CST 本文件不执行 GitHub 写入,仅写入草稿目录