https://doc.tryfastgpt.ai/docs/development/modelconfig/Recent content in 模型配置方案 on FastGPTHugo -- gohugo.iozh-cnhttps://doc.tryfastgpt.ai/docs/development/modelconfig/intro/Mon, 01 Jan 0001 00:00:00 +0000https://doc.tryfastgpt.ai/docs/development/modelconfig/intro/在 4.8.20 版本以前，FastGPT 模型配置在 config.json 文件中声明，你可以在 https://github.com/labring/FastGPT/blob/main/projects/app/data/model.json 中找到旧版的配置文件示例。 从 4.8.20 版本开始，你可以直接在 FastGPT 页面中进行模型配置，并且系统内置了大量模型，无需从 0 开始配置。下面介绍模型配置的基本流程： 配置模型 link1. 对接模型提供商 linkAI Proxy link从 4.8.23 版本开始， FastGPT 支持在页面上配置模型提供商，即使用 AI Proxy 接入教程 来进行模型聚合，从而可以对接更多模型提供商。 One API link也可以使用 OneAPI 接入教程。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下： 除了各模型官方的服务外，还有一些第三方服务商提供模型接入服务，当然你也可以用 Ollama 等来部署本地模型，最终都需要接入 OneAPI，下面是一些第三方服务商： SiliconCloud(硅基流动): 提供开源模型调用的平台。 Sealos AIProxy: 提供国内各家模型代理，无需逐一申请 api。 在 OneAPI 配置好模型后，你就可以打开 FastGPT 页面，启用对应模型了。 2. 配置介绍 link 🤖 注意： 目前语音识别模型和重排模型仅会生效一个，所以配置时候，只需要配置一个即可。 系统至少需要一个语言模型和一个索引模型才能正常使用。 核心配置 link 模型 ID：接口请求时候，Body 中model字段的值，全局唯一。 自定义请求地址/Key：如果需要绕过OneAPI，可以设置自定义请求地址和 Token。一般情况下不需要，如果 OneAPI 不支持某些模型，可以使用该特性。 模型类型 link 语言模型 - 进行文本对话，多模态模型支持图片识别。 索引模型 - 对文本块进行索引，用于相关文本检索。 重排模型 - 对检索结果进行重排，用于优化检索排名。 语音合成 - 将文本转换为语音。 语音识别 - 将语音转换为文本。 启用模型 link系统内置了目前主流厂商的模型，如果你不熟悉配置，直接点击启用即可，需要注意的是，模型 ID需要和 OneAPI 中渠道的模型一致。https://doc.tryfastgpt.ai/docs/development/modelconfig/ai-proxy/Mon, 01 Jan 0001 00:00:00 +0000https://doc.tryfastgpt.ai/docs/development/modelconfig/ai-proxy/从 FastGPT 4.8.23 版本开始，引入 AI Proxy 来进一步方便模型的配置。 AI Proxy 与 One API 类似，也是作为一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。 部署 linkDocker 版本 linkdocker-compose.yml 文件已加入了 AI Proxy 配置，可直接使用。点击查看最新的 yml 配置 从旧版升级的用户，可以复制 yml 里，ai proxy 的配置，加入到旧的 yml 文件中。 运行原理 linkAI proxy 核心模块: 渠道管理：管理各家模型提供商的 API Key 和可用模型列表。 模型调用：根据请求的模型，选中对应的渠道；根据渠道的 API 格式，构造请求体，发送请求；格式化响应体成标准格式返回。 调用日志：详细记录模型调用的日志，并在错误时候可以记录其入参和报错信息，方便排查。 运行流程： 在 FastGPT 中使用 linkAI proxy 相关功能，可以在账号-模型提供商页面找到。 1. 创建渠道 link在模型提供商的配置页面，点击模型渠道，进入渠道配置页面 点击右上角的“新增渠道”，即可进入渠道配置页面 以阿里云的模型为例，进行如下配置 渠道名：展示在外部的渠道名称，仅作标识; 厂商：模型对应的厂商，不同厂商对应不同的默认地址和 API 密钥格式; 模型：当前渠道具体可以使用的模型，系统内置了主流的一些模型，如果下拉框中没有想要的选项，可以点击“新增模型”，增加自定义模型; 模型映射：将 FastGPT 请求的模型，映射到具体提供的模型上。例如： { "gpt-4o-test": "gpt-4o", } FatGPT 中的模型为 gpt-4o-test，向 AI Proxy 发起请求时也是 gpt-4o-test。AI proxy 在向上游发送请求时，实际的model为 gpt-4o。https://doc.tryfastgpt.ai/docs/development/modelconfig/one-api/Mon, 01 Jan 0001 00:00:00 +0000https://doc.tryfastgpt.ai/docs/development/modelconfig/one-api/FastGPT 目前采用模型分离的部署方案，FastGPT 中只兼容 OpenAI 的模型规范（OpenAI 不存在的模型采用一个较为通用的规范），并通过 One API 来实现对不同模型接口的统一。 One API 是一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。 FastGPT 与 One API 关系 link可以把 One API 当做一个网关，FastGPT 与 One API 关系： 部署 linkSealos 版本 link 北京区: 点击部署 OneAPI 新加坡区(可用 GPT) 点击部署 OneAPI 部署完后，可以打开 OneAPI 访问链接，进行下一步操作。 OneAPI 基础教程 link概念 link 渠道： OneApi 中一个渠道对应一个 Api Key，这个 Api Key 可以是GPT、微软、ChatGLM、文心一言的。一个Api Key通常可以调用同一个厂商的多个模型。 One API 会根据请求传入的模型来决定使用哪一个渠道，如果一个模型对应了多个渠道，则会随机调用。 令牌：访问 One API 所需的凭证，只需要这1个凭证即可访问One API上配置的模型。因此FastGPT中，只需要配置One API的baseurl和令牌即可。令牌不要设置任何的模型范围权限，否则容易报错。 大致工作流程 link 客户端请求 One API 根据请求中的 model 参数，匹配对应的渠道（根据渠道里的模型进行匹配，必须完全一致）。如果匹配到多个渠道，则随机选择一个（同优先级）。 One API 向真正的地址发出请求。 One API 将结果返回给客户端。 1.https://doc.tryfastgpt.ai/docs/development/modelconfig/siliconcloud/Mon, 01 Jan 0001 00:00:00 +0000https://doc.tryfastgpt.ai/docs/development/modelconfig/siliconcloud/SiliconCloud(硅基流动) 是一个以提供开源模型调用为主的平台，并拥有自己的加速引擎。帮助用户低成本、快速的进行开源模型的测试和使用。实际体验下来，他们家模型的速度和稳定性都非常不错，并且种类丰富，覆盖语言、向量、重排、TTS、STT、绘图、视频生成模型，可以满足 FastGPT 中所有模型需求。 如果你想部分模型使用 SiliconCloud 的模型，可额外参考OneAPI接入硅基流动。 本文会介绍完全使用 SiliconCloud 模型来部署 FastGPT 的方案。 1. 注册 SiliconCloud 账号 link 点击注册硅基流动账号 进入控制台，获取 API key: https://cloud.siliconflow.cn/account/ak 2. 修改 FastGPT 环境变量 link OPENAI_BASE_URL=https://api.siliconflow.cn/v1 # 填写 SiliconCloud 控制台提供的 Api Key CHAT_API_KEY=sk-xxxxxx 3. 修改 FastGPT 模型配置 link系统内置了几个硅基流动的模型进行体验，如果需要其他模型，可以手动添加。 这里启动了 Qwen2.5 72b 的纯语言和视觉模型；选择 bge-m3 作为向量模型；选择 bge-reranker-v2-m3 作为重排模型。选择 fish-speech-1.5 作为语音模型；选择 SenseVoiceSmall 作为语音输入模型。 4. 体验测试 link测试对话和图片识别 link随便新建一个简易应用，选择对应模型，并开启图片上传后进行测试： 可以看到，72B 的模型，性能还是非常快的，这要是本地没几个 4090，不说配置环境，输出怕都要 30s 了。 测试知识库导入和知识库问答 link新建一个知识库（由于只配置了一个向量模型，页面上不会展示向量模型选择） 导入本地文件，直接选择文件，然后一路下一步即可。79 个索引，大概花了 20s 的时间就完成了。现在我们去测试一下知识库问答。 首先回到我们刚创建的应用，选择知识库，调整一下参数后即可开始对话： 对话完成后，点击底部的引用，可以查看引用详情，同时可以看到具体的检索和重排得分： 测试语音播放 link继续在刚刚的应用中，左侧配置中找到语音播放，点击后可以从弹窗中选择语音模型，并进行试听：https://doc.tryfastgpt.ai/docs/development/modelconfig/ppio/Mon, 01 Jan 0001 00:00:00 +0000https://doc.tryfastgpt.ai/docs/development/modelconfig/ppio/FastGPT 还可以通过 PPIO LLM API 接入模型。 warning 以下内容搬运自 FastGPT 接入 PPIO LLM API，可能会有更新不及时的情况。 FastGPT 是一个将 AI 开发、部署和使用全流程简化为可视化操作的平台。它使开发者不需要深入研究算法， 用户也不需要掌握复杂技术，通过一站式服务将人工智能技术变成易于使用的工具。 PPIO 派欧云提供简单易用的 API 接口，让开发者能够轻松调用 DeepSeek 等模型。 对开发者：无需重构架构，3 个接口完成从文本生成到决策推理的全场景接入，像搭积木一样设计 AI 工作流； 对生态：自动适配从中小应用到企业级系统的资源需求，让智能随业务自然生长。 下方教程提供完整接入方案（含密钥配置），帮助您快速将 FastGPT 与 PPIO API 连接起来。 1. 配置前置条件 link(1) 获取 API 接口地址 固定为: https://api.ppinfra.com/v3/openai/chat/completions。 (2) 获取 【API 密钥】 登录派欧云控制台 API 秘钥管理 页面，点击创建按钮。 注册账号填写邀请码【VOJL20】得 50 代金券 (3) 生成并保存 【API 密钥】 warning 秘钥在服务端是加密存储，请在生成时保存好秘钥；若遗失可以在控制台上删除并创建一个新的秘钥。 (4) 获取需要使用的模型 ID deepseek 系列： DeepSeek R1：deepseek/deepseek-r1/community DeepSeek V3：deepseek/deepseek-v3/community 其他模型 ID、最大上下文及价格可参考：模型列表