sidebar_position: 4 title: Local Models description: Run models entirely on your own machine — no account, no API key, nothing leaves your computer.

本地模型

Hermes 允许您在自有设备上完整运行开源模型。它会自动下载并管理推理引擎（llama.cpp），根据您的硬件配置选择最适合的模型版本，同时处理内存分配问题，因此您无需手动设置上下文长度、GPU 层数或量化参数——您只需选择模型，其余工作均由 Hermes 完成。

所有数据都保留在您的电脑内：模型下载后无需账户、API 密钥，也无需网络连接。

快速入门

打开 设置 → 提供商 → 本地模型（或在初始化过程中选择 在本地运行模型）。
点击 安装运行时环境。Hermes 会下载适用于您硬件的官方 llama.cpp 版本（大小约几百 MB），对其进行验证，并保持版本更新。
从模型目录中选择所需模型，然后点击下载。
点击使用。新的对话将开始在本地模型上运行。

整个流程即为如此。服务器的启动与停止与 Hermes 同步，应用重启后服务仍会继续运行，而要切换回云服务提供商，只需在模型选择器中点击一下即可。

Hermes 如何决定下载哪些模型

在您开始下载之前，目录中的每个模型都会根据 您的设备性能 进行成本评估。每行信息会显示：

内存适配情况——绿色（适合您的 GPU：完全在 GPU 内存中运行）、琥珀色（使用系统 RAM：可以运行，但速度较慢）或红色（该设备容量不足）。
上下文长度——模型启动时的初始上下文窗口及其最大扩展上限。
为您的硬件选定的版本对应的下载大小。模型会以不同的质量等级（量化级别）提供。Hermes 会自动选择能在您的 GPU 上完整运行的最高质量版本；对于内存较小的设备，则会提供相同模型但体积更小的版本，且功能保障不变。由于低于 4 位量化会导致过大的质量损失，因此 Hermes 不会提供更低量化的版本——如果设备无法运行 4 位量化的模型并被迫将其数据暂存到系统 RAM 中，那它就根本无法运行该模型。

那些无法加载的模型仍会显示出来，并说明原因，这样您就能随时了解升级硬件后能解锁哪些功能。

内存管理机制

本地模型的运行完全取决于内存分配情况，因此 Hermes 会对整个过程进行端到端管理，且不提供任何可手动调整的选项：

模型的上下文窗口起始大小刚好能容纳您的 GPU，随着对话内容的增加而逐步扩展至其最大容量。在长时间对话期间，您可能会在状态栏中看到“上下文窗口已扩展”这样的提示——这只是窗口在变大，并非错误。
所有推荐的模型都至少拥有 64K 的上下文窗口。当模型的大小超出 GPU 内存容量时，Hermes 会按对性能影响最小的顺序将多余数据暂存到系统 RAM 中（优先保留专家权重，绝不会牺牲注意力缓存），从而在牺牲部分速度的前提下确保上下文信息的完整性。
对话压缩功能仅在模型达到最大窗口大小时才会启用——扩展始终是首要任务。
非活跃的模型会在 15 分钟后被卸载以释放 GPU 内存；它们会在收到下一条消息时自动重新加载。

状态栏

在状态栏上右键点击，启用系统资源选项，即可在本地模型运行时实时查看GPU使用率、GPU内存及RAM占用情况。上下文窗口大小始终会反映模型实际运行的窗口规格。

查找更多模型

该模型目录仅作为精选的起点，并非限制范围。同一页面上的查找更多模型功能可搜索Hugging Face上的所有模型：

查询结果会显示下载次数，以及针对您机器配置的单文件兼容性检测结果，这样您在下载前就能知道该模型是否能在您的GPU上完整运行。
您下载的任何模型都与目录中的模型表现完全一致——Hermes会直接读取模型文件来确定其上下文窗口大小和内存分配方式。唯一的区别在于，社区上传的模型不会带有我们的“已验证”测试标识。
如果您的磁盘上已有.gguf格式的文件？只需点击添加模型文件，即可将其链接到您的模型库中而无需复制文件（原文件仍保留在原处），并且可以立即使用。

使用自建的llama-server

如果您机器上已运行有llama-server，Hermes会自动检测并使用它，而不会自行启动。您也可以将自定义端点指向任何兼容OpenAI的服务器以实现完全手动控制——托管式运行环境仅为默认选项，并非必需。关于手动配置方案（如Ollama、MLX、自定义构建以及无界面CLI机器），请参阅使用Ollama在本地运行Hermes和在Mac上运行本地大语言模型。

配置设置

托管运行时由 config.yaml 文件中的 local_runtime 部分进行控制。桌面端用户界面会自动为您填写这些数值；而针对命令行及无界面使用场景，相关设置也有相应的文档说明：

local_runtime:
  enabled: false     # true = start the managed server with Hermes.
                     # The desktop "Use" button sets this automatically.
  backend: auto      # auto | cuda | metal | vulkan | hip | cpu
  tag: b10362        # pinned llama.cpp release; Hermes updates it with
                     # each release after re-validation

模型文件及运行时构建版本均存储在Hermes主目录下（即models/和runtimes/llamacpp/文件夹中）。若将本地模型设为主模型，系统会采用标准的model.provider: llamacpp + model.default配置——这一格式与其他所有提供商的配置完全一致。

要求与限制

Windows和Linux系统： 需配备NVIDIA GPU（支持CUDA）或CPU。macOS系统： 需使用Apple Silicon芯片（支持Metal接口）。基于Vulkan技术的构建版本则兼容AMD GPU。
内存容量为8 GB及以上的GPU可流畅运行小型模型；16 GB及以上的GPU则能以高画质运行27–35B参数量的模型。
模型下载过程中会与目录中的信息进行字节大小比对；若下载不完整，相关文件会被立即删除并生成报告，绝不会允许部分下载的文件存在。（仅运行时引擎的压缩包会经过SHA-256校验。）
删除某个模型时，其所有相关文件都会被一并移除，包括视觉适配器及推测解码辅助文件。

Keyboard shortcuts

Hermes Agent Docs i18n