在 ZimaOS 上运行本地 AI Agent

概述

你的 NAS 上已经跑着两个组件：DeepSeek Harness，一个编码 agent；还有一个本地大模型服务器，以 65–70 tokens/s 的速度作答。本指南把两者接起来，并开启你的第一个完全本地任务。

从这一刻起，你的 agent 没有 API 账单、没有速率限制、没有任何数据离开家门。想跑多少任务就跑多少——数据处理、自动化、智能家居监控——在你自己的硬件上 24 小时不间断。

字段	值
Base URL	`http://<your-nas-ip>:8080/v1`
API key	任意占位符即可，例如 `sk-none`——服务器不做认证

点击 Fetch available models。DeepSeek Harness 会查询本地服务器并列出它服务的模型。本地模型出现在列表中，随时可用。
这个模型的行为是实测出来的，不是猜的——完整结论见 RTX PRO 2000 性能测试。使用时有一点最关键：温度在服务器启动时设定（部署指南用的是 0.7——永远不要用 0，贪婪采样会让模型无限重复）。
上下文从 128K 起步。 Agent 对话会不断增长，而这个模型的原生窗口是 256K。在 16 GB 显卡上以 128K 上下文启动服务器（紧凑但可用，实测占用 14.8 GB），或用 20 GB 显卡加 KV q4 跑满 256K——RTX 4000 SFF Ada 页面有实测验证过的命令。
在聊天对话框里，发送前先选择本地模型。此后每一段对话都跑在你自己的硬件上。发一条简短消息，确认回复到达。想证明它来自你自己的机器，可以在它回答时盯着服务器日志看。

选一个粘贴进会话，让 agent 干活。下面每个 prompt 都只是起点——细节由 agent 规划，你在对话中掌舵。

处理本地数据。

遍历 NAS 上的 Documents 文件夹，列出里面的内容，按主题给文件分组，并用 Markdown 写一份摘要索引。未经我允许，不要修改或删除任何文件。

自动化一个重复性杂务。

设置一个每天 23:00 运行的定时任务：检查 Downloads 文件夹，把超过 30 天的文件移入按月份归档的 Archive 文件夹，并写一份简短日志记录移动了什么。

用智能家居风格的告警盯着你的硬件。

监控这台 NAS 的硬盘温度和剩余空间。如果温度超过 55 °C 或剩余空间低于 10%，写一份健康报告并让它可见，方便我查看。

Agent 跑在 NAS 本身上，所以长任务在你合上笔记本后依然继续。用 ZimaClient 从手机查看进度——同一个 Web UI，随时随地。DeepSeek Harness 指南覆盖了移动端访问，以及 agent 处理文件任务所需的文件夹授权。

回复无限重复。 温度是 0——见上文的说明。
速度突然下降。 模型有一部分回落到 CPU 了。本地大模型指南里有完整的修复清单。
Agent 连不上模型。 在局域网浏览器里打开 http://<your-nas-ip>:8080/v1/models。返回 JSON 列表说明服务器在运行、问题出在 Base URL 字段；报错则说明服务器本身需要重启。