使用 NAS 在本地运行 AI：存储、RAM 与 GPU 要求

您可能想问：“哪个项目图纸是最新版？”或“找出提到这台泵的维护记录。”文件已经在 NAS 上，所以在那里安装聊天机器人似乎顺理成章。然而，模型即使成功下载，仍可能响应缓慢、耗尽内存，或搜到错误的文档版本。

请分别规划两项工作： 存储和查找信息，以及 运行理解问题的模型。两者可以位于同一台机器，但并非必须如此。

使用 AI 处理 NAS 文件的三种方式

“本地”应描述实际处理发生的位置。从 NAS 控制面板打开的聊天机器人，仍可能使用云端模型。同样，办公室内的 AI 电脑也可以在本地处理 NAS 文档，无需 NAS 自身进行推理。

对于文档问答，检索系统通常先找出相关段落，再将其提供给模型。这通常称为 检索增强生成，简称 RAG。这并不等于针对每份文件训练一个新模型。聊天机器人也不会仅因文件就在附近，便自动准确访问所有文件夹。

RAM、VRAM 与模型大小：这些数字意味着什么

模型参数是推理时使用的已存储数值权重。量化用更少的位数表示这些权重。初步计算时，将 参数数量 × 每个参数的位数，再除以八 ，即可估算权重占用的字节数。运行格式还会产生额外开销。

以上是仅针对权重、以十进制 GB 计算的结果，并非实测性能或采购最低要求。模型文件、系统 RAM 和 GPU 内存属于不同资源。独立 GPU 通常拥有自己的 VRAM（显存）；权重能放入 NAS 磁盘，不代表也能放入该显存。

更长的对话和更大的文档会增加模型必须处理的上下文。多名用户同时使用，还会进一步提高内存需求。Ollama 的已加载模型状态可显示模型位于 CPU、GPU 或两者之间。应按预期上下文和用户数量测试，而不是仅凭最简单的演示提示判断。

QNAP 与 Synology：核实实际软件部署方式

QNAP Container Station 与 Ollama

QNAP 的 Ollama 部署指南要求 Container Station 3.x 或更高版本，通常使用 x86-64 Intel 或 AMD NAS，对 ARM 的支持有限。其起步内存示例为 3B 模型配备 8 GB 和 7B 模型配备 16 GB，并且至少有 模型文件以外的 20 GB 可用空间。该容器部署方式可选配兼容的 NVIDIA GPU。这些起点并未为繁忙 NAS 上的其他所有应用预留内存。

QNAP AI Service Center

AI Service Center 目前以 Beta 版形式提供。 其要求列出 QTS 6.1.0、QuTS hero h6.1.0 或更高版本。Local Models 需要配备经过验证 GPU 的 x86 系统，以及匹配的运行环境和模型套件；受支持的 ARM64 型号则使用 Cloud Providers。这与仅使用 CPU 的 Ollama 容器有不同的支持范围。

QNAP 的 QuAgent 设置指南将 TS-x74 系列，例如 TVS-h874，列为配备已验证 NVIDIA 或 Intel GPU 的本地模型候选平台。请核实完整的 NAS、固件、加速器和运行环境组合。仅有 PCIe 插槽或带“AI”的产品名称，不能证明该组合受支持。

Synology Container Manager 或独立 AI 主机

八盘位的 Synology DS1825+ 是此工作流程的存储示例。部署运行环境前，请检查已安装 DSM 版本是否提供 Container Manager，并核实容器的处理器架构。仅有套件支持不能证明支持 GPU 加速，也不能保证语言模型响应速度。若 NAS 已忙于文件服务和备份，能够访问受限 NAS 共享文件夹的独立 AI 主机可能更合适。

哪些内容放 SSD，哪些保留在 NAS

将原始文档与下载的模型、搜索索引及临时工作文件分开。在受支持的情况下，将模型文件和常用索引保存在适合的 SSD 存储上。SSD 可以减少加载和随机访问延迟，但不能补足 RAM，也不能把仅使用 CPU 的 NAS 变成高速 GPU 服务器。

除原始文件外，还需为模型版本、提取的文本、嵌入向量、日志和工作空间预留容量。索引大小取决于文档和软件。没有可靠的通用规则，能断定每个 AI 索引都会按固定比例增加 NAS 容量需求。

使用独立 AI 电脑时，网络负责文件读取和索引更新。购买更快的交换机前，先确定运行环境和索引的实际位置。如果推理瓶颈在算力，单靠 10GbE 链路不会加快每个生成词的输出。 NAS 传输速度指南 有助于分别排查存储和网络环节。

文件搜索必须遵守权限

能够读取所有部门文件的服务账户，可能建立超出普通员工访问范围的索引。如果 AI 应用随后向任何能打开聊天页面的人提供这些索引段落，仅靠文件夹权限并不足够。

从专用只读共享文件夹开始，并测试检索时按用户过滤。检查删除文件、更改访问权限或替换版本后，旧内容是否会从索引及缓存答案中移除。将索引和应用配置纳入恢复计划；即使原件仍受保护，它们也可能保存敏感的提取内容。

将运行环境保留在受限本地网络中，并配置适当身份验证。不要通过路由器端口转发暴露未经身份验证的模型端点。分别审查云端回退、嵌入服务及外部连接器。本地语言模型并不意味着周边所有服务也在本地。

能够重命名文件、更改权限或配置备份的智能体，需要与只读搜索不同的审批边界。先从建议和受控操作开始。 AI 辅助 NAS 安全审查指南 介绍如何用助手调查警告，而不是把每条生成指令都视为应执行的配置更改。

增购硬件前先做实用试点

1. 选择一项任务： 例如在少量已批准的文档中查找维护程序。不要一开始就纳入所有共享文件夹。
2. 准备五个已知问题： 涵盖普通查找、旧版本、找不到答案、受限文档，以及需要 OCR 的扫描 PDF。
3. 先让一名用户运行： 记录模型、量化方式、可用 RAM/VRAM、上下文和响应时间。检查引用能否打开正确来源。
4. 在 NAS 日常工作期间重复测试： 检查文件访问、备份任务、内存压力和响应情况。然后增加到预期并发用户数。
5. 测试变更与恢复： 替换文档、移除权限、删除测试文件，并恢复应用配置。检查答案是否随这些变更正确更新。

对于扫描文件， OCR 与可搜索的 NAS 文档 是下一个前提。照片整理属于另一类工作负载，详见 Synology Photos 与 QNAP QuMagie.

常见问题