本地模型 - 标签 -

12G 本地推理生产线 ① 总览：怎么在 12G 显卡上跑出 128K 与 40 t/s

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

一台 RTX 4070 12G + 62G 内存的消费机，怎么把 SC117（Qwen3.8-Flash-Next MoE）跑到 128K 上下文、42 tok/s，并接进 Hermes Agent 当零成本推理底座。八篇实录，全部数字可复现。

12G 本地推理生产线 ② 三维 OOM 账本：host RAM、VRAM、磁盘三道账怎么列

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

本地 MoE 部署的三种 OOM 死法（宿主内存 exit -9、显存 0 slots 拒启、磁盘软降速）：每维的账怎么算、死结长什么样、怎么修，附真实日志证据。

12G 本地推理生产线 ③ 显存调优深水区：expert cache auto 怎么算的（146 experts 事故）

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

拆开 expert cache auto 的计算逻辑（字节预算、verify/draft head 预留池、启动瞬间决定论），复盘 146 experts 事故，给出’重启前 nvidia-smi 零检查’这条用事故换来的启动纪律。

12G 本地推理生产线 ④ 32K 墙是怎么死的：死旋案 + KV 流式 + 128K 窗口决策

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

agent 长会话在 31K 撞死旋墙、32K 版在 32.4–32.7K prompt 打回答塌缩：窗口截断机制、KV 驻留与流式的真实行为、int8 vs q4_0 取舍，以及为什么最终推到 128K。

12G 本地推理生产线 ⑥ 本地模型长文写作 SOP：回声退化、毒上下文与四条对策

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

12G 本地模型跑三万字小说实测 1.5 万字的完整记录：单段远端回声退化、毒上下文回喂、开放’继续’提前 EOS、客户端数字误导。四条客户端 SOP + 续写指令三件套 + 验收口径。

12G 本地推理生产线 ⑦ 接入 Hermes 的零成本推理架构：本地主力 + 云端兜底

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

把 12G 卡上的本地 Strata 模型接进 Hermes Agent 的完整实操：接线配置、双层架构设计、30K prompt / 工具调用 / 长生成实测数据，以及一个隐蔽的 max_tokens 互锁坑。

在 Ubuntu 上用 Strata 部署 SC117：从下载、独立打包到文本与视觉实测的完整教程

contact@oklife.me (梦行志) — Sat, 17 Oct 2026 00:00:00 +0000

在原版 Strata + Qwen3.8-Flash-Next 已跑通的机器上部署 SC117 的实操：分片与 MTP 运行时成套下载、独立 native pack、独立配置与启动脚本、131072-token 上下文服务启动，并完成两轮文本与一轮视觉任务实测。

ComfyUI 报错 qwen_image21 架构无法识别：升级 ComfyUI-GGUF 加载器完整实操

contact@oklife.me (梦行志) — Sun, 27 Sep 2026 00:00:00 +0000

基于 Ubuntu + RTX 4070 12GB 真实排障记录：当 ComfyUI 加载 Qwen-Image-2.1 GGUF 模型时报 Unexpected architecture type in GGUF file: ‘qwen_image21’ 错误时，不是重装 CUDA 或 PyTorch，而是核对 GGUF 自定义节点版本与加载情况。本文完整记录了备份旧节点、克隆新版 ComfyUI-GGUF、排除旧节点重复加载、重启验证及两次成功生成 25 步采样的全过程，含完整日志解读与可复用检查表。