记录个人部署的过程

* add audit

* update audit

* update audit

.vscode/settings.json

@@ -21,7 +21,7 @@
     "i18n-ally.namespace": true,
     "i18n-ally.pathMatcher": "{locale}/{namespaces}.json",
     "i18n-ally.extract.targetPickingStrategy": "most-similar-by-key",
-    "i18n-ally.translate.engines": ["google"],
+    "i18n-ally.translate.engines": ["deepl","google"],
     "[typescript]": {
         "editor.defaultFormatter": "esbenp.prettier-vscode"
     },

deploy/docker/docker-compose-milvus.yml

@@ -132,15 +132,15 @@ services:
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.10-fix2 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt-mcp-server:
     container_name: fastgpt-mcp-server
-    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.10-fix2 # 阿里云
     ports:
       - 3005:3000
     networks:
@@ -150,8 +150,8 @@ services:
       - FASTGPT_ENDPOINT=http://fastgpt:3000
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.10-fix2 # 阿里云
     ports:
       - 3000:3000
     networks:

deploy/docker/docker-compose-oceanbase/docker-compose.yml

@@ -109,15 +109,15 @@ services:
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.10-fix2 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt-mcp-server:
     container_name: fastgpt-mcp-server
-    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.10-fix2 # 阿里云
     ports:
       - 3005:3000
     networks:
@@ -127,8 +127,8 @@ services:
       - FASTGPT_ENDPOINT=http://fastgpt:3000
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.10-fix2 # 阿里云
     ports:
       - 3000:3000
     networks:

deploy/docker/docker-compose-pgvector.yml

@@ -23,7 +23,7 @@ services:
     volumes:
       - ./pg/data:/var/lib/postgresql/data
     healthcheck:
-      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
+      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'postgres']
       interval: 5s
       timeout: 5s
       retries: 10
@@ -96,15 +96,15 @@ services:
   # fastgpt
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.10-fix2 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt-mcp-server:
     container_name: fastgpt-mcp-server
-    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.10-fix2 # 阿里云
     ports:
       - 3005:3000
     networks:
@@ -114,8 +114,8 @@ services:
       - FASTGPT_ENDPOINT=http://fastgpt:3000
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.10-fix2 # 阿里云
     ports:
       - 3000:3000
     networks:

deploy/docker/docker-compose-zilliz.yml

@@ -72,15 +72,15 @@ services:
 
   sandbox:
     container_name: sandbox
-    image: ghcr.io/labring/fastgpt-sandbox:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt-sandbox:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.9.10-fix2 # 阿里云
     networks:
       - fastgpt
     restart: always
   fastgpt-mcp-server:
     container_name: fastgpt-mcp-server
-    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt-mcp_server:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-mcp_server:v4.9.10-fix2 # 阿里云
     ports:
       - 3005:3000
     networks:
@@ -90,8 +90,8 @@ services:
       - FASTGPT_ENDPOINT=http://fastgpt:3000
   fastgpt:
     container_name: fastgpt
-    image: ghcr.io/labring/fastgpt:v4.9.7-fix2 # git
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.7-fix2 # 阿里云
+    image: ghcr.io/labring/fastgpt:v4.9.10-fix2 # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.9.10-fix2 # 阿里云
     ports:
       - 3000:3000
     networks:

dev.md

@@ -99,6 +99,10 @@ export default staticContent;
 - Use the t(namespace:key) format to ensure consistent naming.
 - Translation keys should use lowercase letters and underscores, e.g., common.close.
 
+## audit
+
+Please fill the OperationLogEventEnum and operationLog/audit function is added to the ts, and on the corresponding position to fill i18n, at the same time to add the location of the log using addOpearationLog function add function
+
 ## Build
 
 ```sh

docSite/content/zh-cn/docs/development/openapi/chat.md

@@ -959,10 +959,16 @@ curl --location --request POST 'http://localhost:3000/api/core/chat/getHistories
 {{< markdownify >}}
 
 {{% alert icon=" " context="success" %}}
+目前仅能获取到当前 API key 的创建者的对话。
+
 - appId - 应用 Id
 - offset - 偏移量，即从第几条数据开始取
 - pageSize - 记录数量
 - source - 对话源。source=api，表示获取通过 API 创建的对话（不会获取到页面上的对话记录）
+- startCreateTime - 开始创建时间（可选）
+- endCreateTime - 结束创建时间（可选）
+- startUpdateTime - 开始更新时间（可选）
+- endUpdateTime - 结束更新时间（可选）
 {{% /alert %}}
 
 {{< /markdownify >}}

docSite/content/zh-cn/docs/development/openapi/dataset.md

@@ -645,7 +645,7 @@ data 为集合的 ID。
 {{< /tab >}}
 {{< /tabs >}}
 
-### 创建一个外部文件库集合（商业版）
+### 创建一个外部文件库集合（弃用）
 
 {{< tabs tabTotal="3" >}}
 {{< tab tabName="请求示例" >}}

docSite/content/zh-cn/docs/development/upgrading/4910.md

@@ -0,0 +1,50 @@
+---
+title: 'V4.9.10'
+description: 'FastGPT V4.9.10 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 790
+---
+
+## 升级指南
+
+重要提示：本次更新会重新构建全文索引，构建期间，全文检索结果会为空，4c16g 700 万组全文索引大致消耗 25 分钟。如需无缝升级，需自行做表同步工程。
+
+### 1. 做好数据备份
+
+### 2. 更新镜像 tag
+
+- 更新 FastGPT 镜像 tag: v4.9.10-fix2
+- 更新 FastGPT 商业版镜像 tag: v4.9.10-fix2
+- mcp_server 无需更新
+- Sandbox 无需更新
+- AIProxy 无需更新
+
+## 🚀 新增内容
+
+1. 支持 PG 设置`systemEnv.hnswMaxScanTuples`参数，提高迭代搜索的数据总量。
+2. 知识库预处理参数增加 “分块条件”，可控制某些情况下不进行分块处理。
+3. 知识库预处理参数增加 “段落优先” 模式，可控制最大段落深度。原“长度优先”模式，不再内嵌段落优先逻辑。
+4. 工作流调整为单向接入和接出，支持快速的添加下一步节点。
+5. 开放飞书和语雀知识库到开源版。
+6. gemini 和 claude 最新模型预设。
+
+## ⚙️ 优化
+
+1. LLM stream调用，默认超时调大。
+2. 部分确认交互优化。
+3. 纠正原先知识库的“表格数据集”名称，改成“备份导入”。同时支持知识库索引的导出和导入。
+4. 工作流知识库引用上限，如果工作流中没有相关 AI 节点，则交互模式改成纯手动输入，并且上限为 1000万。
+5. 语音输入，移动端判断逻辑，准确判断是否为手机，而不是小屏。
+6. 优化上下文截取算法，至少保证留下一组 Human 信息。
+
+## 🐛 修复
+
+1. 全文检索多知识库时排序得分排序不正确。
+2. 流响应捕获 finish_reason 可能不正确。
+3. 工具调用模式，未保存思考输出。
+4. 知识库 indexSize 参数未生效。
+5. 工作流嵌套 2 层后，获取预览引用、上下文不正确。
+6. xlsx 转成 Markdown 时候，前面会多出一个空格。
+7. 读取 Markdown 文件时，Base64 图片未进行额外抓换保存。

docSite/content/zh-cn/docs/development/upgrading/4911.md

@@ -0,0 +1,25 @@
+---
+title: 'V4.9.11(进行中)'
+description: 'FastGPT V4.9.11 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 789
+---
+
+
+## 🚀 新增内容
+
+1. 工作流中增加节点搜索功能。
+2. 工作流中，子流程版本控制，可选择“保持最新版本”，无需手动更新。
+
+## ⚙️ 优化
+
+1. 原文缓存改用 gridfs 存储，提高上限。
+
+## 🐛 修复
+
+1. 工作流中，管理员声明的全局系统工具，无法进行版本管理。
+2. 工具调用节点前，有交互节点时，上下文异常。
+3. 修复备份导入，小于 1000 字时，无法分块问题。
+4. 自定义 PDF 解析，无法保存 base64 图片。

docSite/content/zh-cn/docs/development/upgrading/498.md

@@ -1,5 +1,5 @@
 ---
-title: 'V4.9.8(进行中)'
+title: 'V4.9.8'
 description: 'FastGPT V4.9.8 更新说明'
 icon: 'upgrade'
 draft: false
@@ -7,6 +7,17 @@ toc: true
 weight: 792
 ---
 
+## 升级指南
+
+### 1. 做好数据备份
+
+### 2. 更新镜像 tag
+
+- 更新 FastGPT 镜像 tag: v4.9.8
+- 更新 FastGPT 商业版镜像 tag: v4.9.8
+- mcp_server 无需更新
+- Sandbox 无需更新
+- AIProxy 无需更新
 
 ## 🚀 新增内容
 
@@ -14,14 +25,25 @@ weight: 792
 2. 将所有内置任务，从非 stream 模式调整成 stream 模式，避免部分模型不支持非 stream 模式。如需覆盖，则可以在模型`额外 Body`参数中，强制指定`stream=false`。
 3. qwen3 模型预设
 4. 语雀知识库支持设置根目录。
+5. 可配置密码过期时间，过期后下次登录会强制要求修改密码。
+6. 密码登录增加 preLogin 临时密钥校验。
+7. 支持 Admin 后台配置发布渠道和第三方知识库的显示隐藏。
 
 ## ⚙️ 优化
 
 1. Chat log list 优化，避免大数据时超出内存限制。
 2. 预加载 token 计算 worker，避免主任务中并发创建导致线程阻塞。
+3. 工作流节点版本控制交互优化。
+4. 网络获取以及 html2md 优化，支持视频和音频标签的转换。
 
 ## 🐛 修复
 
 1. 应用列表/知识库列表，删除行权限展示问题。
 2. 打开知识库搜索参数后，重排选项自动被打开。
+3. LLM json_schema 模式 API 请求格式错误。 
+4. 重新训练时，图片过期索引未成功清除，导致图片会丢失。
+5. 重新训练权限问题。
+6. 文档链接地址。
+7. Claude 工具调用，由于 index 为空，导致工具调用失败。
+8. 嵌套工作流，工具调用下包含交互节点时，流程异常。
 

docSite/content/zh-cn/docs/development/upgrading/499.md

@@ -0,0 +1,43 @@
+---
+title: 'V4.9.9'
+description: 'FastGPT V4.9.9 更新说明'
+icon: 'upgrade'
+draft: false
+toc: true
+weight: 791
+---
+
+## 升级指南
+
+### 1. 做好数据备份
+
+### 2. 商业版用户替换新 License
+
+商业版用户可以联系 FastGPT 团队支持同学，获取 License 替换方案。替换后，可以直接升级系统，管理后台会提示输入新 License。
+
+### 3. 更新镜像 tag
+
+- 更新 FastGPT 镜像 tag: v4.9.9
+- 更新 FastGPT 商业版镜像 tag: v4.9.9
+- mcp_server 无需更新
+- Sandbox 无需更新
+- AIProxy 无需更新
+
+## 🚀 新增内容
+
+1. 切换 SessionId 来替代 JWT 实现登录鉴权，可控制最大登录客户端数量。
+2. 新的商业版 License 管理模式。
+3. 公众号调用，显示记录 chat 对话错误，方便排查。
+4. API 知识库支持 BasePath 选择，需增加 API 接口，具体可见[API 知识库介绍](/docs/guide/knowledge_base/api_dataset/#4-获取文件详细信息用于获取文件信息)
+
+## ⚙️ 优化
+
+1. 优化工具调用，新工具的判断逻辑。
+2. 调整 Cite 引用提示词。
+
+## 🐛 修复
+
+1. 无法正常获取应用历史保存/发布记录。
+2. 成员创建 MCP 工具权限问题。
+3. 来源引用展示，存在 ID 传递错误，导致提示无权操作该文件。
+4. 回答标注前端数据报错。

docSite/content/zh-cn/docs/guide/knowledge_base/api_dataset.md

@@ -43,7 +43,7 @@ type ResponseType = {
 // 文件列表中，单项的文件类型
 type FileListItem = {
   id: string;
-  parentId: string | null;
+  parentId: string  //也可能为 null 或者 undefined 类型;
   name: string;
   type: 'file' | 'folder';
   updateTime: Date;
@@ -59,7 +59,7 @@ type FileListItem = {
 {{< markdownify >}}
 
 {{% alert icon=" " context="success" %}}
-- parentId - 父级 id，可选，或者 null。
+- parentId - 父级 id，可选，或者 null | undefined。
 - searchKey - 检索词，可选
 {{% /alert %}}
 
@@ -68,7 +68,7 @@ curl --location --request POST '{{baseURL}}/v1/file/list' \
 --header 'Authorization: Bearer {{authorization}}' \
 --header 'Content-Type: application/json' \
 --data-raw '{
-    "parentId": null,
+    "parentId": "",
     "searchKey": ""
 }'
 ```
@@ -185,3 +185,40 @@ curl --location --request GET '{{baseURL}}/v1/file/read?id=xx' \
 {{< /tabs >}}
 
 
+### 4. 获取文件详细信息（用于获取文件信息）
+
+{{< tabs tabTotal="2" >}}
+{{< tab tabName="请求示例" >}}
+{{< markdownify >}}
+
+id 为文件的 id。
+
+```bash
+curl --location --request GET '{{baseURL}}/v1/file/detail?id=xx' \
+--header 'Authorization: Bearer {{authorization}}'
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+
+{{< tab tabName="响应示例" >}}
+{{< markdownify >}}
+
+```json
+{
+    "code": 200,
+    "success": true,
+    "message": "",
+    "data": {
+        "id": "docs",
+        "parentId": "",
+        "name": "docs"
+    }
+}
+```
+
+{{< /markdownify >}}
+{{< /tab >}}
+{{< /tabs >}}
+
+

docSite/content/zh-cn/docs/shopping_cart/intro.md

@@ -28,7 +28,6 @@ FastGPT 商业版是基于 FastGPT 开源版的增强版本，增加了一些独
 | 应用发布安全配置 | ❌ | ✅ | ✅ |
 | 内容审核 | ❌ | ✅ | ✅ |
 | web站点同步 | ❌ | ✅ | ✅ |
-| 主流文档库接入（目前支持：语雀、飞书） | ❌ | ✅ | ✅ |
 | 增强训练模式 | ❌ | ✅ | ✅ |
 | 第三方应用快速接入（飞书、公众号） | ❌ | ✅ | ✅ |
 | 管理后台 | ❌ | ✅ | 不需要 |

docSite/content/zh-cn/docs/use-cases/external-integration/official_account.md

@@ -95,6 +95,10 @@ weight: 506
 121.196.228.45
 121.43.126.202
 120.26.144.37
+47.98.196.113
+47.97.204.90
+118.31.41.236
+118.178.185.61
 ```
 
 ## 4. 获取AES Key，选择加密方式
@@ -125,6 +129,13 @@ weight: 506
 
 ## FAQ
 
+### 公众号没响应
+
+检查应用对话日志，如果有对话日志，但是微信公众号无响应，则是白名单 IP未成功。
+添加白名单IP 后，通常需要等待几分钟微信更新。可以在对话日志中，找点错误日志。
+
+![](/imgs/official_account_faq.png)
+
 ### 如何新开一个聊天记录
 
 如果你想重置你的聊天记录，可以给机器人发送 `Reset` 消息（注意大小写），机器人会新开一个聊天记录。

env.d.ts

@@ -4,7 +4,6 @@ declare global {
       LOG_DEPTH: string;
       DEFAULT_ROOT_PSW: string;
       DB_MAX_LINK: string;
-      TOKEN_KEY: string;
       FILE_TOKEN_KEY: string;
       ROOT_KEY: string;
       OPENAI_BASE_URL: string;
@@ -36,6 +35,8 @@ declare global {
       SHOW_COUPON?: string;
       CONFIG_JSON_PATH?: string;
       PASSWORD_LOGIN_LOCK_SECONDS?: string;
+      PASSWORD_EXPIRED_MONTH?: string;
+      MAX_LOGIN_SESSION?: string;
     }
   }
 }

packages/global/common/error/code/dataset.ts

@@ -27,7 +27,7 @@ const datasetErr = [
   },
   {
     statusText: DatasetErrEnum.unExist,
-    message: 'core.dataset.error.unExistDataset'
+    message: i18nT('common:core.dataset.error.unExistDataset')
   },
   {
     statusText: DatasetErrEnum.unExistCollection,

packages/global/common/error/code/system.ts

@@ -2,13 +2,28 @@ import { type ErrType } from '../errorCode';
 import { i18nT } from '../../../../web/i18n/utils';
 /* dataset: 509000 */
 export enum SystemErrEnum {
-  communityVersionNumLimit = 'communityVersionNumLimit'
+  communityVersionNumLimit = 'communityVersionNumLimit',
+  licenseAppAmountLimit = 'licenseAppAmountLimit',
+  licenseDatasetAmountLimit = 'licenseDatasetAmountLimit',
+  licenseUserAmountLimit = 'licenseUserAmountLimit'
 }
 
 const systemErr = [
   {
     statusText: SystemErrEnum.communityVersionNumLimit,
     message: i18nT('common:code_error.system_error.community_version_num_limit')
+  },
+  {
+    statusText: SystemErrEnum.licenseAppAmountLimit,
+    message: i18nT('common:code_error.system_error.license_app_amount_limit')
+  },
+  {
+    statusText: SystemErrEnum.licenseDatasetAmountLimit,
+    message: i18nT('common:code_error.system_error.license_dataset_amount_limit')
+  },
+  {
+    statusText: SystemErrEnum.licenseUserAmountLimit,
+    message: i18nT('common:code_error.system_error.license_user_amount_limit')
   }
 ];
 

packages/global/common/string/password.ts

@@ -5,7 +5,7 @@ export const checkPasswordRule = (password: string) => {
     /[A-Z]/, // Contains uppercase letters
     /[!@#$%^&*()_+=-]/ // Contains special characters
   ];
-  const validChars = /^[\dA-Za-z!@#$%^&*()_+=-]{6,100}$/;
+  const validChars = /^[\dA-Za-z!@#$%^&*()_+=-]{8,100}$/;
 
   // Check length and valid characters
   if (!validChars.test(password)) return false;

packages/global/common/string/textSplitter.ts

@@ -7,6 +7,10 @@ export const CUSTOM_SPLIT_SIGN = '-----CUSTOM_SPLIT_SIGN-----';
 type SplitProps = {
   text: string;
   chunkSize: number;
+
+  paragraphChunkDeep?: number; // Paragraph deep
+  paragraphChunkMinSize?: number; // Paragraph min size, if too small, it will merge
+
   maxSize?: number;
   overlapRatio?: number;
   customReg?: string[];
@@ -108,6 +112,8 @@ const commonSplit = (props: SplitProps): SplitResponse => {
   let {
     text = '',
     chunkSize,
+    paragraphChunkDeep = 5,
+    paragraphChunkMinSize = 100,
     maxSize = defaultMaxChunkSize,
     overlapRatio = 0.15,
     customReg = []
@@ -123,7 +129,7 @@ const commonSplit = (props: SplitProps): SplitResponse => {
   text = text.replace(/(```[\s\S]*?```|~~~[\s\S]*?~~~)/g, function (match) {
     return match.replace(/\n/g, codeBlockMarker);
   });
-  // 2. 表格处理 - 单独提取表格出来，进行表头合并
+  // 2. Markdown 表格处理 - 单独提取表格出来，进行表头合并
   const tableReg =
     /(\n\|(?:(?:[^\n|]+\|){1,})\n\|(?:[:\-\s]+\|){1,}\n(?:\|(?:[^\n|]+\|)*\n?)*)(?:\n|$)/g;
   const tableDataList = text.match(tableReg);
@@ -143,25 +149,40 @@ const commonSplit = (props: SplitProps): SplitResponse => {
   text = text.replace(/(\r?\n|\r){3,}/g, '\n\n\n');
 
   // The larger maxLen is, the next sentence is less likely to trigger splitting
-  const markdownIndex = 4;
-  const forbidOverlapIndex = 8;
+  const customRegLen = customReg.length;
+  const markdownIndex = paragraphChunkDeep - 1;
+  const forbidOverlapIndex = customRegLen + markdownIndex + 4;
+
+  const markdownHeaderRules = ((deep?: number): { reg: RegExp; maxLen: number }[] => {
+    if (!deep || deep === 0) return [];
+
+    const maxDeep = Math.min(deep, 8); // Maximum 8 levels
+    const rules: { reg: RegExp; maxLen: number }[] = [];
+
+    for (let i = 1; i <= maxDeep; i++) {
+      const hashSymbols = '#'.repeat(i);
+      rules.push({
+        reg: new RegExp(`^(${hashSymbols}\\s[^\\n]+\\n)`, 'gm'),
+        maxLen: chunkSize
+      });
+    }
+
+    return rules;
+  })(paragraphChunkDeep);
 
   const stepReges: { reg: RegExp | string; maxLen: number }[] = [
     ...customReg.map((text) => ({
       reg: text.replaceAll('\\n', '\n'),
       maxLen: chunkSize
     })),
-    { reg: /^(#\s[^\n]+\n)/gm, maxLen: chunkSize },
-    { reg: /^(##\s[^\n]+\n)/gm, maxLen: chunkSize },
-    { reg: /^(###\s[^\n]+\n)/gm, maxLen: chunkSize },
-    { reg: /^(####\s[^\n]+\n)/gm, maxLen: chunkSize },
-    { reg: /^(#####\s[^\n]+\n)/gm, maxLen: chunkSize },
+    ...markdownHeaderRules,
 
     { reg: /([\n](```[\s\S]*?```|~~~[\s\S]*?~~~))/g, maxLen: maxSize }, // code block
+    // HTML Table tag 尽可能保障完整
     {
       reg: /(\n\|(?:(?:[^\n|]+\|){1,})\n\|(?:[:\-\s]+\|){1,}\n(?:\|(?:[^\n|]+\|)*\n)*)/g,
-      maxLen: Math.min(chunkSize * 1.5, maxSize)
-    }, // Table 尽可能保证完整性
+      maxLen: chunkSize
+    }, // Markdown Table 尽可能保证完整性
     { reg: /(\n{2,})/g, maxLen: chunkSize },
     { reg: /([\n])/g, maxLen: chunkSize },
     // ------ There's no overlap on the top
@@ -172,12 +193,10 @@ const commonSplit = (props: SplitProps): SplitResponse => {
     { reg: /([，]|,\s)/g, maxLen: chunkSize }
   ];
 
-  const customRegLen = customReg.length;
   const checkIsCustomStep = (step: number) => step < customRegLen;
   const checkIsMarkdownSplit = (step: number) =>
     step >= customRegLen && step <= markdownIndex + customRegLen;
-
-  const checkForbidOverlap = (step: number) => step <= forbidOverlapIndex + customRegLen;
+  const checkForbidOverlap = (step: number) => step <= forbidOverlapIndex;
 
   // if use markdown title split, Separate record title
   const getSplitTexts = ({ text, step }: { text: string; step: number }) => {
@@ -301,6 +320,7 @@ const commonSplit = (props: SplitProps): SplitResponse => {
     const splitTexts = getSplitTexts({ text, step });
 
     const chunks: string[] = [];
+
     for (let i = 0; i < splitTexts.length; i++) {
       const item = splitTexts[i];
 
@@ -443,7 +463,6 @@ const commonSplit = (props: SplitProps): SplitResponse => {
  */
 export const splitText2Chunks = (props: SplitProps): SplitResponse => {
   let { text = '' } = props;
-  const start = Date.now();
   const splitWithCustomSign = text.split(CUSTOM_SPLIT_SIGN);
 
   const splitResult = splitWithCustomSign.map((item) => {

packages/global/common/system/config/constants.ts

@@ -1,7 +1,8 @@
 export enum SystemConfigsTypeEnum {
   fastgpt = 'fastgpt',
   fastgptPro = 'fastgptPro',
-  systemMsgModal = 'systemMsgModal'
+  systemMsgModal = 'systemMsgModal',
+  license = 'license'
 }
 
 export const SystemConfigsTypeMap = {
@@ -13,5 +14,8 @@ export const SystemConfigsTypeMap = {
   },
   [SystemConfigsTypeEnum.systemMsgModal]: {
     label: 'systemMsgModal'
+  },
+  [SystemConfigsTypeEnum.license]: {
+    label: 'license'
   }
 };

packages/global/common/system/types/index.d.ts

@@ -64,6 +64,15 @@ export type FastGPTFeConfigsType = {
   show_coupon?: boolean;
   concatMd?: string;
 
+  show_dataset_feishu?: boolean;
+  show_dataset_yuque?: boolean;
+  show_publish_feishu?: boolean;
+  show_publish_dingtalk?: boolean;
+  show_publish_offiaccount?: boolean;
+
+  show_dataset_enhance?: boolean;
+  show_batch_eval?: boolean;
+
   concatMd?: string;
   docUrl?: string;
   openAPIDocUrl?: string;
@@ -121,9 +130,11 @@ export type SystemEnvType = {
   vectorMaxProcess: number;
   qaMaxProcess: number;
   vlmMaxProcess: number;
-  hnswEfSearch: number;
   tokenWorkers: number; // token count max worker
 
+  hnswEfSearch: number;
+  hnswMaxScanTuples: number;
+
   oneapiUrl?: string;
   chatApiKey?: string;
 
@@ -136,3 +147,21 @@ export type customPdfParseType = {
   doc2xKey?: string;
   price?: number;
 };
+
+export type LicenseDataType = {
+  startTime: string;
+  expiredTime: string;
+  company: string;
+  description?: string; // 描述
+  hosts?: string[]; // 管理端有效域名
+  maxUsers?: number; // 最大用户数，不填默认不上限
+  maxApps?: number; // 最大应用数，不填默认不上限
+  maxDatasets?: number; // 最大数据集数，不填默认不上限
+  functions: {
+    sso: boolean;
+    pay: boolean;
+    customTemplates: boolean;
+    datasetEnhance: boolean;
+    batchEval: boolean;
+  };
+};

packages/global/core/ai/prompt/AIChat.ts

@@ -2,6 +2,248 @@ import { type PromptTemplateItem } from '../type.d';
 import { i18nT } from '../../../../web/i18n/utils';
 import { getPromptByVersion } from './utils';
 
+export const Prompt_userQuotePromptList: PromptTemplateItem[] = [
+  {
+    title: i18nT('app:template.standard_template'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+你是一个知识库回答助手，可以使用 <Cites></Cites> 中的内容作为你本次回答的参考。
+同时，为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
+
+## 追溯展示规则
+
+- 使用 [id](CITE) 的格式来引用 <Cites></Cites> 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 <Cites></Cites> 中！
+
+## 通用规则
+
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 <Cites></Cites> 获取的知识。
+- 保持答案与 <Cites></Cites> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
+- 使用与问题相同的语言回答。
+
+<Cites>
+{{quote}}
+</Cites>
+
+## 用户问题
+
+{{question}}
+
+## 回答
+`
+    }
+  },
+  {
+    title: i18nT('app:template.qa_template'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+作为一个问答助手，你会使用 <QA></QA> 标记中的提供的数据对进行内容回答。
+
+## 回答要求
+- 选择其中一个或多个问答对进行回答。
+- 回答的内容应尽可能与 <Answer></Answer> 中的内容一致。
+- 如果没有相关的问答对，你需要澄清。
+- 避免提及你是从 <QA></QA> 获取的知识，只需要回复答案。
+- 使用与问题相同的语言回答。
+
+<QA>
+{{quote}}
+</QA>
+
+## 用户问题
+
+{{question}}
+
+## 回答
+`
+    }
+  },
+  {
+    title: i18nT('app:template.standard_strict'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+你是一个知识库回答助手，可以使用 <Cites></Cites> 中的内容作为你本次回答的参考。
+同时，为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
+
+## 追溯展示规则
+
+- 使用 [id](CITE) 的格式来引用 <Cites></Cites> 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 <Cites></Cites> 中！
+
+## 通用规则
+
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 <Cites></Cites> 获取的知识。
+- 保持答案与 <Cites></Cites> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
+- 使用与问题相同的语言回答。
+
+## 严格要求
+
+你只能使用 <Cites></Cites> 标记中的内容作为参考，不能使用自身的知识，并且回答的内容需严格与 <Cites></Cites> 中的内容一致。
+
+<Cites>
+{{quote}}
+</Cites>
+
+## 用户问题
+
+{{question}}
+
+## 回答
+`
+    }
+  },
+  {
+    title: i18nT('app:template.hard_strict'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+作为一个问答助手，你会使用 <QA></QA> 标记中的提供的数据对进行内容回答。
+
+## 回答要求
+- 选择其中一个或多个问答对进行回答。
+- 回答的内容应尽可能与 <Answer></Answer> 中的内容一致。
+- 如果没有相关的问答对，你需要澄清。
+- 避免提及你是从 <QA></QA> 获取的知识，只需要回复答案。
+- 使用与问题相同的语言回答。
+
+## 严格要求
+
+你只能使用 <QA></QA> 标记中的内容作为参考，不能使用自身的知识，并且回答的内容需严格与 <QA></QA> 中的内容一致。
+
+<QA>
+{{quote}}
+</QA>
+
+## 用户问题
+
+{{question}}
+
+## 回答
+`
+    }
+  }
+];
+
+export const Prompt_systemQuotePromptList: PromptTemplateItem[] = [
+  {
+    title: i18nT('app:template.standard_template'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+你是一个知识库回答助手，可以使用 <Cites></Cites> 中的内容作为你本次回答的参考。
+同时，为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
+
+## 追溯展示规则
+
+- 使用 [id](CITE) 的格式来引用 <Cites></Cites> 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 <Cites></Cites> 中！
+
+## 通用规则
+
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 <Cites></Cites> 获取的知识。
+- 保持答案与 <Cites></Cites> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
+- 使用与问题相同的语言回答。
+
+<Cites>
+{{quote}}
+</Cites>`
+    }
+  },
+  {
+    title: i18nT('app:template.qa_template'),
+    desc: '',
+    value: {
+      ['4.9.8']: `## 任务描述
+作为一个问答助手，你会使用 <QA></QA> 标记中的提供的数据对进行内容回答。
+
+## 回答要求
+- 选择其中一个或多个问答对进行回答。
+- 回答的内容应尽可能与 <Answer></Answer> 中的内容一致。
+- 如果没有相关的问答对，你需要澄清。
+- 避免提及你是从 <QA></QA> 获取的知识，只需要回复答案。
+- 使用与问题相同的语言回答。
+
+<QA>
+{{quote}}
+</QA>`
+    }
+  },
+  {
+    title: i18nT('app:template.standard_strict'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+你是一个知识库回答助手，可以使用 <Cites></Cites> 中的内容作为你本次回答的参考。
+同时，为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
+
+## 追溯展示规则
+
+- 使用 [id](CITE) 的格式来引用 <Cites></Cites> 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 <Cites></Cites> 中！
+
+## 通用规则
+
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 <Cites></Cites> 获取的知识。
+- 保持答案与 <Cites></Cites> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
+- 使用与问题相同的语言回答。
+
+## 严格要求
+
+你只能使用 <Cites></Cites> 标记中的内容作为参考，不能使用自身的知识，并且回答的内容需严格与 <Cites></Cites> 中的内容一致。
+
+<Cites>
+{{quote}}
+</Cites>`
+    }
+  },
+  {
+    title: i18nT('app:template.hard_strict'),
+    desc: '',
+    value: {
+      ['4.9.7']: `## 任务描述
+作为一个问答助手，你会使用 <QA></QA> 标记中的提供的数据对进行内容回答。
+
+## 回答要求
+- 选择其中一个或多个问答对进行回答。
+- 回答的内容应尽可能与 <Answer></Answer> 中的内容一致。
+- 如果没有相关的问答对，你需要澄清。
+- 避免提及你是从 <QA></QA> 获取的知识，只需要回复答案。
+- 使用与问题相同的语言回答。
+
+## 严格要求
+
+你只能使用 <QA></QA> 标记中的内容作为参考，不能使用自身的知识，并且回答的内容需严格与 <QA></QA> 中的内容一致。
+
+<QA>
+{{quote}}
+</QA>`
+    }
+  }
+];
+
 export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
   {
     title: i18nT('app:template.standard_template'),
@@ -10,11 +252,6 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
       ['4.9.7']: `{
   "id": "{{id}}",
   "sourceName": "{{source}}",
-  "content": "{{q}}\n{{a}}"
-}
-`,
-      ['4.9.2']: `{
-  "sourceName": "{{source}}",
   "updateTime": "{{updateTime}}",
   "content": "{{q}}\n{{a}}"
 }
@@ -25,7 +262,7 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
     title: i18nT('app:template.qa_template'),
     desc: i18nT('app:template.qa_template_des'),
     value: {
-      ['4.9.2']: `<Question>
+      ['4.9.7']: `<Question>
 {{q}}
 </Question>
 <Answer>
@@ -40,11 +277,6 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
       ['4.9.7']: `{
   "id": "{{id}}",
   "sourceName": "{{source}}",
-  "content": "{{q}}\n{{a}}"
-}
-`,
-      ['4.9.2']: `{
-  "sourceName": "{{source}}",
   "updateTime": "{{updateTime}}",
   "content": "{{q}}\n{{a}}"
 }
@@ -55,7 +287,7 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
     title: i18nT('app:template.hard_strict'),
     desc: i18nT('app:template.hard_strict_des'),
     value: {
-      ['4.9.2']: `<Question>
+      ['4.9.7']: `<Question>
 {{q}}
 </Question>
 <Answer>
@@ -64,263 +296,12 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
     }
   }
 ];
-
 export const getQuoteTemplate = (version?: string) => {
   const defaultTemplate = Prompt_QuoteTemplateList[0].value;
 
   return getPromptByVersion(version, defaultTemplate);
 };
 
-export const Prompt_userQuotePromptList: PromptTemplateItem[] = [
-  {
-    title: i18nT('app:template.standard_template'),
-    desc: '',
-    value: {
-      ['4.9.7']: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-回答要求：
-- 如果你不清楚答案，你需要澄清。
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-- 使用 [id](CITE) 格式来引用<Reference></Reference>中的知识，其中 CITE 是固定常量, id 为引文中的 id。
-- 在每段结尾自然地整合引用。例如: "FastGPT 是一个基于大语言模型(LLM)的知识库问答系统[67e517e74767063e882d6861](CITE)。"
-- 每段至少包含一个引用，也可根据内容需要加入多个引用，按顺序排列。`,
-      ['4.9.2']: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-回答要求：
-- 如果你不清楚答案，你需要澄清。
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-
-问题:"""{{question}}"""`
-    }
-  },
-  {
-    title: i18nT('app:template.qa_template'),
-    desc: '',
-    value: {
-      ['4.9.2']: `使用 <QA></QA> 标记中的问答对进行回答。
-
-<QA>
-{{quote}}
-</QA>
-
-回答要求：
-- 选择其中一个或多个问答对进行回答。
-- 回答的内容应尽可能与 <答案></答案> 中的内容一致。
-- 如果没有相关的问答对，你需要澄清。
-- 避免提及你是从 QA 获取的知识，只需要回复答案。
-
-问题:"""{{question}}"""`
-    }
-  },
-  {
-    title: i18nT('app:template.standard_strict'),
-    desc: '',
-    value: {
-      ['4.9.7']: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-思考流程：
-1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
-2. 如果有关，你按下面的要求回答。
-3. 如果无关，你直接拒绝回答本次问题。
-
-回答要求：
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-- 使用 [id](CITE) 格式来引用<Reference></Reference>中的知识，其中 CITE 是固定常量, id 为引文中的 id。
-- 在每段结尾自然地整合引用。例如: "FastGPT 是一个基于大语言模型(LLM)的知识库问答系统[67e517e74767063e882d6861](CITE)。"
-- 每段至少包含一个引用，也可根据内容需要加入多个引用，按顺序排列。
-
-问题:"""{{question}}"""`,
-      ['4.9.2']: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-思考流程：
-1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
-2. 如果有关，你按下面的要求回答。
-3. 如果无关，你直接拒绝回答本次问题。
-
-回答要求：
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-
-问题:"""{{question}}"""`
-    }
-  },
-  {
-    title: i18nT('app:template.hard_strict'),
-    desc: '',
-    value: {
-      ['4.9.2']: `忘记你已有的知识，仅使用 <QA></QA> 标记中的问答对进行回答。
-
-<QA>
-{{quote}}
-</QA>
-
-思考流程：
-1. 判断问题是否与 <QA></QA> 标记中的内容有关。
-2. 如果无关，你直接拒绝回答本次问题。
-3. 判断是否有相近或相同的问题。
-4. 如果有相同的问题，直接输出对应答案。
-5. 如果只有相近的问题，请把相近的问题和答案一起输出。
-
-回答要求：
-- 如果没有相关的问答对，你需要澄清。
-- 回答的内容应尽可能与 <QA></QA> 标记中的内容一致。
-- 避免提及你是从 QA 获取的知识，只需要回复答案。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-
-问题:"""{{question}}"""`
-    }
-  }
-];
-
-export const Prompt_systemQuotePromptList: PromptTemplateItem[] = [
-  {
-    title: i18nT('app:template.standard_template'),
-    desc: '',
-    value: {
-      ['4.9.7']: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-回答要求：
-- 如果你不清楚答案，你需要澄清。
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-- 使用 [id](CITE) 格式来引用<Reference></Reference>中的知识，其中 CITE 是固定常量, id 为引文中的 id。
-- 在每段结尾自然地整合引用。例如: "FastGPT 是一个基于大语言模型(LLM)的知识库问答系统[67e517e74767063e882d6861](CITE)。"
-- 每段至少包含一个引用，也可根据内容需要加入多个引用，按顺序排列。`,
-      ['4.9.2']: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-回答要求：
-- 如果你不清楚答案，你需要澄清。
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。`
-    }
-  },
-  {
-    title: i18nT('app:template.qa_template'),
-    desc: '',
-    value: {
-      ['4.9.2']: `使用 <QA></QA> 标记中的问答对进行回答。
-
-<QA>
-{{quote}}
-</QA>
-
-回答要求：
-- 选择其中一个或多个问答对进行回答。
-- 回答的内容应尽可能与 <答案></答案> 中的内容一致。
-- 如果没有相关的问答对，你需要澄清。
-- 避免提及你是从 QA 获取的知识，只需要回复答案。`
-    }
-  },
-  {
-    title: i18nT('app:template.standard_strict'),
-    desc: '',
-    value: {
-      ['4.9.7']: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-思考流程：
-1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
-2. 如果有关，你按下面的要求回答。
-3. 如果无关，你直接拒绝回答本次问题。
-
-回答要求：
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。
-- 使用 [id](CITE) 格式来引用<Reference></Reference>中的知识，其中 CITE 是固定常量, id 为引文中的 id。
-- 在每段结尾自然地整合引用。例如: "FastGPT 是一个基于大语言模型(LLM)的知识库问答系统[67e517e74767063e882d6861](CITE)。"
-- 每段至少包含一个引用，也可根据内容需要加入多个引用，按顺序排列。
-
-问题:"""{{question}}"""`,
-      ['4.9.2']: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考:
-
-<Reference>
-{{quote}}
-</Reference>
-
-思考流程：
-1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
-2. 如果有关，你按下面的要求回答。
-3. 如果无关，你直接拒绝回答本次问题。
-
-回答要求：
-- 避免提及你是从 <Reference></Reference> 获取的知识。
-- 保持答案与 <Reference></Reference> 中描述的一致。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。`
-    }
-  },
-  {
-    title: i18nT('app:template.hard_strict'),
-    desc: '',
-    value: {
-      ['4.9.2']: `忘记你已有的知识，仅使用 <QA></QA> 标记中的问答对进行回答。
-
-<QA>
-{{quote}}
-</QA>
-
-思考流程：
-1. 判断问题是否与 <QA></QA> 标记中的内容有关。
-2. 如果无关，你直接拒绝回答本次问题。
-3. 判断是否有相近或相同的问题。
-4. 如果有相同的问题，直接输出对应答案。
-5. 如果只有相近的问题，请把相近的问题和答案一起输出。
-
-回答要求：
-- 如果没有相关的问答对，你需要澄清。
-- 回答的内容应尽可能与 <QA></QA> 标记中的内容一致。
-- 避免提及你是从 QA 获取的知识，只需要回复答案。
-- 使用 Markdown 语法优化回答格式。
-- 使用与问题相同的语言回答。`
-    }
-  }
-];
-
 export const getQuotePrompt = (version?: string, role: 'user' | 'system' = 'user') => {
   const quotePromptTemplates =
     role === 'user' ? Prompt_userQuotePromptList : Prompt_systemQuotePromptList;
@@ -331,9 +312,9 @@ export const getQuotePrompt = (version?: string, role: 'user' | 'system' = 'user
 };
 
 // Document quote prompt
-export const getDocumentQuotePrompt = (version: string) => {
+export const getDocumentQuotePrompt = (version?: string) => {
   const promptMap = {
-    ['4.9.2']: `将 <FilesContent></FilesContent> 中的内容作为本次对话的参考:
+    ['4.9.7']: `将 <FilesContent></FilesContent> 中的内容作为本次对话的参考:
 <FilesContent>
 {{quote}}
 </FilesContent>

packages/global/core/ai/prompt/dataset.ts

@@ -1,14 +1,19 @@
 export const getDatasetSearchToolResponsePrompt = () => {
   return `## Role
-你是一个知识库回答助手，可以 "quotes" 中的内容作为本次对话的参考。为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记。
+你是一个知识库回答助手，可以 "cites" 中的内容作为本次对话的参考。为了使回答结果更加可信并且可追溯，你需要在每段话结尾添加引用标记，标识参考了哪些内容。
 
-## Rules
+## 追溯展示规则
+
+- 使用 **[id](CITE)** 格式来引用 "cites" 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
+- 在 **每段话结尾** 自然地整合引用。例如: "Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)。"。
+- 每段话**至少包含一个引用**，多个引用时按顺序排列，例如："Nginx是一款轻量级的Web服务器、反向代理服务器[67e517e74767063e882d6861](CITE)[67e517e74767063e882d6862](CITE)。\n 它的特点是非常轻量[67e517e74767063e882d6863](CITE)。"
+- 不要把示例作为知识点。
+- 不要伪造 id，返回的 id 必须都存在 cites 中！
+
+## 通用规则
 - 如果你不清楚答案，你需要澄清。
-- 避免提及你是从 "quotes" 获取的知识。
-- 保持答案与 "quotes" 中描述的一致。
+- 避免提及你是从 "cites" 获取的知识。
+- 保持答案与 "cites" 中描述的一致。
 - 使用 Markdown 语法优化回答格式。尤其是图片、表格、序列号等内容，需严格完整输出。
-- 使用与问题相同的语言回答。
-- 使用 [id](CITE) 格式来引用 "quotes" 中的知识，其中 CITE 是固定常量, id 为引文中的 id。
-- 在每段话结尾自然地整合引用。例如: "FastGPT 是一个基于大语言模型(LLM)的知识库问答系统[67e517e74767063e882d6861](CITE)。"
-- 每段话至少包含一个引用，也可根据内容需要加入多个引用，按顺序排列。`;
+- 使用与问题相同的语言回答。`;
 };

packages/global/core/ai/prompt/utils.ts

@@ -1,4 +1,5 @@
 export const getPromptByVersion = (version?: string, promptMap: Record<string, string> = {}) => {
+  // 版本号大的在前面
   const versions = Object.keys(promptMap).sort((a, b) => {
     const [majorA, minorA, patchA] = a.split('.').map(Number);
     const [majorB, minorB, patchB] = b.split('.').map(Number);
@@ -15,5 +16,5 @@ export const getPromptByVersion = (version?: string, promptMap: Record<string, s
   if (version in promptMap) {
     return promptMap[version];
   }
-  return promptMap[versions[versions.length - 1]];
+  return promptMap[versions[0]];
 };

packages/global/core/app/constants.ts

@@ -60,5 +60,3 @@ export enum AppTemplateTypeEnum {
   // special type
   contribute = 'contribute'
 }
-
-export const defaultDatasetMaxTokens = 16000;

packages/global/core/app/mcpTools/utils.ts

@@ -5,7 +5,7 @@ import {
   FlowNodeTypeEnum
 } from '../../workflow/node/constant';
 import { nanoid } from 'nanoid';
-import { type ToolType } from '../type';
+import { type McpToolConfigType } from '../type';
 import { i18nT } from '../../../../web/i18n/utils';
 import { type RuntimeNodeItemType } from '../../workflow/runtime/type';
 
@@ -16,7 +16,7 @@ export const getMCPToolSetRuntimeNode = ({
   avatar
 }: {
   url: string;
-  toolList: ToolType[];
+  toolList: McpToolConfigType[];
   name?: string;
   avatar?: string;
 }): RuntimeNodeItemType => {
@@ -45,7 +45,7 @@ export const getMCPToolRuntimeNode = ({
   url,
   avatar = 'core/app/type/mcpToolsFill'
 }: {
-  tool: ToolType;
+  tool: McpToolConfigType;
   url: string;
   avatar?: string;
 }): RuntimeNodeItemType => {
@@ -65,7 +65,7 @@ export const getMCPToolRuntimeNode = ({
       ...Object.entries(tool.inputSchema?.properties || {}).map(([key, value]) => ({
         key,
         label: key,
-        valueType: value.type as WorkflowIOValueTypeEnum,
+        valueType: value.type as WorkflowIOValueTypeEnum, // TODO: 这里需要做一个映射
         description: value.description,
         toolDescription: value.description || key,
         required: tool.inputSchema?.required?.includes(key) || false,

packages/global/core/app/type.d.ts

@@ -16,16 +16,6 @@ import { FlowNodeInputTypeEnum } from '../../core/workflow/node/constant';
 import type { WorkflowTemplateBasicType } from '@fastgpt/global/core/workflow/type';
 import type { SourceMemberType } from '../../support/user/type';
 
-export type ToolType = {
-  name: string;
-  description: string;
-  inputSchema: {
-    type: string;
-    properties?: Record<string, { type: string; description?: string }>;
-    required?: string[];
-  };
-};
-
 export type AppSchema = {
   _id: string;
   parentId?: ParentIdType;
@@ -117,6 +107,16 @@ export type AppSimpleEditFormType = {
   chatConfig: AppChatConfigType;
 };
 
+export type McpToolConfigType = {
+  name: string;
+  description: string;
+  inputSchema: {
+    type: string;
+    properties?: Record<string, { type: string; description?: string }>;
+    required?: string[];
+  };
+};
+
 /* app chat config type */
 export type AppChatConfigType = {
   welcomeText?: string;

packages/global/core/app/utils.ts

@@ -9,6 +9,9 @@ import { type WorkflowTemplateBasicType } from '../workflow/type';
 import { AppTypeEnum } from './constants';
 import { AppErrEnum } from '../../common/error/code/app';
 import { PluginErrEnum } from '../../common/error/code/plugin';
+import { i18nT } from '../../../web/i18n/utils';
+import appErrList from '../../common/error/code/app';
+import pluginErrList from '../../common/error/code/plugin';
 
 export const getDefaultAppForm = (): AppSimpleEditFormType => {
   return {
@@ -189,17 +192,10 @@ export const getAppType = (config?: WorkflowTemplateBasicType | AppSimpleEditFor
   return '';
 };
 
-export const checkAppUnExistError = (error?: string) => {
-  const unExistError: Array<string> = [
-    AppErrEnum.unAuthApp,
-    AppErrEnum.unExist,
-    PluginErrEnum.unAuth,
-    PluginErrEnum.unExist
-  ];
+export const formatToolError = (error?: any) => {
+  if (!error || typeof error !== 'string') return;
 
-  if (!!error && unExistError.includes(error)) {
-    return error;
-  } else {
-    return undefined;
-  }
+  const errorText = appErrList[error]?.message || pluginErrList[error]?.message;
+
+  return errorText || error;
 };

packages/global/core/chat/type.d.ts

@@ -26,6 +26,7 @@ export type ChatSchema = {
   teamId: string;
   tmbId: string;
   appId: string;
+  createTime: Date;
   updateTime: Date;
   title: string;
   customTitle: string;
@@ -112,6 +113,7 @@ export type ChatItemSchema = (UserChatItemType | SystemChatItemType | AIChatItem
   appId: string;
   time: Date;
   durationSeconds?: number;
+  errorMsg?: string;
 };
 
 export type AdminFbkType = {
@@ -143,6 +145,7 @@ export type ChatSiteItemType = (UserChatItemType | SystemChatItemType | AIChatIt
   responseData?: ChatHistoryItemResType[];
   time?: Date;
   durationSeconds?: number;
+  errorMsg?: string;
 } & ChatBoxInputType &
   ResponseTagItemType;
 

packages/global/core/dataset/api.d.ts

@@ -1,9 +1,11 @@
-import type { DatasetDataIndexItemType, DatasetSchemaType } from './type';
+import type { ChunkSettingsType, DatasetDataIndexItemType, DatasetSchemaType } from './type';
 import type {
   DatasetCollectionTypeEnum,
   DatasetCollectionDataProcessModeEnum,
   ChunkSettingModeEnum,
-  DataChunkSplitModeEnum
+  DataChunkSplitModeEnum,
+  ChunkTriggerConfigTypeEnum,
+  ParagraphChunkAIModeEnum
 } from './constants';
 import type { LLMModelItemType } from '../ai/model.d';
 import type { ParentIdType } from 'common/parentFolder/type';
@@ -32,26 +34,16 @@ export type DatasetUpdateBody = {
 };
 
 /* ================= collection ===================== */
-export type DatasetCollectionChunkMetadataType = {
+// Input + store params
+type DatasetCollectionStoreDataType = ChunkSettingsType & {
   parentId?: string;
-  customPdfParse?: boolean;
-  trainingType?: DatasetCollectionDataProcessModeEnum;
-  imageIndex?: boolean;
-  autoIndexes?: boolean;
-
-  chunkSettingMode?: ChunkSettingModeEnum;
-  chunkSplitMode?: DataChunkSplitModeEnum;
-
-  chunkSize?: number;
-  indexSize?: number;
-
-  chunkSplitter?: string;
-  qaPrompt?: string;
   metadata?: Record<string, any>;
+
+  customPdfParse?: boolean;
 };
 
 // create collection params
-export type CreateDatasetCollectionParams = DatasetCollectionChunkMetadataType & {
+export type CreateDatasetCollectionParams = DatasetCollectionStoreDataType & {
   datasetId: string;
   name: string;
   type: DatasetCollectionTypeEnum;
@@ -72,7 +64,7 @@ export type CreateDatasetCollectionParams = DatasetCollectionChunkMetadataType &
   nextSyncTime?: Date;
 };
 
-export type ApiCreateDatasetCollectionParams = DatasetCollectionChunkMetadataType & {
+export type ApiCreateDatasetCollectionParams = DatasetCollectionStoreDataType & {
   datasetId: string;
   tags?: string[];
 };
@@ -90,7 +82,7 @@ export type ApiDatasetCreateDatasetCollectionParams = ApiCreateDatasetCollection
 export type FileIdCreateDatasetCollectionParams = ApiCreateDatasetCollectionParams & {
   fileId: string;
 };
-export type reTrainingDatasetFileCollectionParams = DatasetCollectionChunkMetadataType & {
+export type reTrainingDatasetFileCollectionParams = DatasetCollectionStoreDataType & {
   datasetId: string;
   collectionId: string;
 };
@@ -147,6 +139,7 @@ export type PushDatasetDataProps = {
   collectionId: string;
   data: PushDatasetDataChunkProps[];
   trainingType?: DatasetCollectionDataProcessModeEnum;
+  indexSize?: number;
   autoIndexes?: boolean;
   imageIndex?: boolean;
   prompt?: string;

packages/global/core/dataset/constants.ts

@@ -120,6 +120,8 @@ export const DatasetCollectionSyncResultMap = {
 export enum DatasetCollectionDataProcessModeEnum {
   chunk = 'chunk',
   qa = 'qa',
+  backup = 'backup',
+
   auto = 'auto' // abandon
 }
 export const DatasetCollectionDataProcessModeMap = {
@@ -131,21 +133,35 @@ export const DatasetCollectionDataProcessModeMap = {
     label: i18nT('common:core.dataset.training.QA mode'),
     tooltip: i18nT('common:core.dataset.import.QA Import Tip')
   },
+  [DatasetCollectionDataProcessModeEnum.backup]: {
+    label: i18nT('dataset:backup_mode'),
+    tooltip: i18nT('dataset:backup_mode')
+  },
   [DatasetCollectionDataProcessModeEnum.auto]: {
     label: i18nT('common:core.dataset.training.Auto mode'),
     tooltip: i18nT('common:core.dataset.training.Auto mode Tip')
   }
 };
 
+export enum ChunkTriggerConfigTypeEnum {
+  minSize = 'minSize',
+  forceChunk = 'forceChunk',
+  maxSize = 'maxSize'
+}
 export enum ChunkSettingModeEnum {
   auto = 'auto',
   custom = 'custom'
 }
 
 export enum DataChunkSplitModeEnum {
+  paragraph = 'paragraph',
   size = 'size',
   char = 'char'
 }
+export enum ParagraphChunkAIModeEnum {
+  auto = 'auto',
+  force = 'force'
+}
 
 /* ------------ data -------------- */
 
@@ -154,7 +170,6 @@ export enum ImportDataSourceEnum {
   fileLocal = 'fileLocal',
   fileLink = 'fileLink',
   fileCustom = 'fileCustom',
-  csvTable = 'csvTable',
   externalFile = 'externalFile',
   apiDataset = 'apiDataset',
   reTraining = 'reTraining'

packages/global/core/dataset/data/constants.ts

@@ -32,7 +32,7 @@ export const DatasetDataIndexMap: Record<
     color: 'red'
   },
   [DatasetDataIndexTypeEnum.image]: {
-    label: i18nT('common:data_index_image'),
+    label: i18nT('dataset:data_index_image'),
     color: 'purple'
   }
 };

packages/global/core/dataset/training/utils.ts

@@ -118,9 +118,8 @@ export const computeChunkSize = (params: {
     return getLLMMaxChunkSize(params.llmModel);
   }
 
-  return Math.min(params.chunkSize || chunkAutoChunkSize, getLLMMaxChunkSize(params.llmModel));
+  return Math.min(params.chunkSize ?? chunkAutoChunkSize, getLLMMaxChunkSize(params.llmModel));
 };
-
 export const computeChunkSplitter = (params: {
   chunkSettingMode?: ChunkSettingModeEnum;
   chunkSplitMode?: DataChunkSplitModeEnum;
@@ -129,8 +128,21 @@ export const computeChunkSplitter = (params: {
   if (params.chunkSettingMode === ChunkSettingModeEnum.auto) {
     return undefined;
   }
-  if (params.chunkSplitMode === DataChunkSplitModeEnum.size) {
+  if (params.chunkSplitMode !== DataChunkSplitModeEnum.char) {
     return undefined;
   }
   return params.chunkSplitter;
 };
+export const computeParagraphChunkDeep = (params: {
+  chunkSettingMode?: ChunkSettingModeEnum;
+  chunkSplitMode?: DataChunkSplitModeEnum;
+  paragraphChunkDeep?: number;
+}) => {
+  if (params.chunkSettingMode === ChunkSettingModeEnum.auto) {
+    return 5;
+  }
+  if (params.chunkSplitMode === DataChunkSplitModeEnum.paragraph) {
+    return params.paragraphChunkDeep;
+  }
+  return 0;
+};

packages/global/core/dataset/type.d.ts

@@ -8,26 +8,42 @@ import type {
   DatasetStatusEnum,
   DatasetTypeEnum,
   SearchScoreTypeEnum,
-  TrainingModeEnum
+  TrainingModeEnum,
+  ChunkSettingModeEnum,
+  ChunkTriggerConfigTypeEnum
 } from './constants';
 import type { DatasetPermission } from '../../support/permission/dataset/controller';
-import { Permission } from '../../support/permission/controller';
 import type { APIFileServer, FeishuServer, YuqueServer } from './apiDataset';
 import type { SourceMemberType } from 'support/user/type';
 import type { DatasetDataIndexTypeEnum } from './data/constants';
-import type { ChunkSettingModeEnum } from './constants';
 
 export type ChunkSettingsType = {
-  trainingType: DatasetCollectionDataProcessModeEnum;
-  autoIndexes?: boolean;
+  trainingType?: DatasetCollectionDataProcessModeEnum;
+
+  // Chunk trigger
+  chunkTriggerType?: ChunkTriggerConfigTypeEnum;
+  chunkTriggerMinSize?: number; // maxSize from agent model, not store
+
+  // Data enhance
+  dataEnhanceCollectionName?: boolean; // Auto add collection name to data
+
+  // Index enhance
   imageIndex?: boolean;
+  autoIndexes?: boolean;
 
-  chunkSettingMode?: ChunkSettingModeEnum;
+  // Chunk setting
+  chunkSettingMode?: ChunkSettingModeEnum; // 系统参数/自定义参数
   chunkSplitMode?: DataChunkSplitModeEnum;
-
-  chunkSize?: number;
+  // Paragraph split
+  paragraphChunkAIMode?: ParagraphChunkAIModeEnum;
+  paragraphChunkDeep?: number; // Paragraph deep
+  paragraphChunkMinSize?: number; // Paragraph min size, if too small, it will merge
+  // Size split
+  chunkSize?: number; // chunk/qa chunk size, Paragraph max chunk size.
+  // Char split
+  chunkSplitter?: string; // chunk/qa chunk splitter
   indexSize?: number;
-  chunkSplitter?: string;
+
   qaPrompt?: string;
 };
 
@@ -66,7 +82,7 @@ export type DatasetSchemaType = {
   defaultPermission?: number;
 };
 
-export type DatasetCollectionSchemaType = {
+export type DatasetCollectionSchemaType = ChunkSettingsType & {
   _id: string;
   teamId: string;
   tmbId: string;
@@ -101,18 +117,7 @@ export type DatasetCollectionSchemaType = {
 
   // Parse settings
   customPdfParse?: boolean;
-  // Chunk settings
-  autoIndexes?: boolean;
-  imageIndex?: boolean;
   trainingType: DatasetCollectionDataProcessModeEnum;
-
-  chunkSettingMode?: ChunkSettingModeEnum;
-  chunkSplitMode?: DataChunkSplitModeEnum;
-
-  chunkSize?: number;
-  indexSize?: number;
-  chunkSplitter?: string;
-  qaPrompt?: string;
 };
 
 export type DatasetCollectionTagsSchemaType = {
@@ -175,6 +180,7 @@ export type DatasetTrainingSchemaType = {
   q: string;
   a: string;
   chunkIndex: number;
+  indexSize?: number;
   weight: number;
   indexes: Omit<DatasetDataIndexItemType, 'dataId'>[];
   retryCount: number;

packages/global/core/dataset/utils.ts

@@ -40,5 +40,6 @@ export function getSourceNameIcon({
 export const predictDataLimitLength = (mode: TrainingModeEnum, data: any[]) => {
   if (mode === TrainingModeEnum.qa) return data.length * 20;
   if (mode === TrainingModeEnum.auto) return data.length * 5;
+  if (mode === TrainingModeEnum.image) return data.length * 2;
   return data.length;
 };

packages/global/core/workflow/node/constant.ts

@@ -218,7 +218,6 @@ export const FlowValueTypeMap: Record<
 };
 
 export const EDGE_TYPE = 'default';
-export const defaultNodeVersion = '481';
 
 export const chatHistoryValueDesc = `{
   obj: System | Human | AI;
@@ -236,3 +235,10 @@ export const datasetQuoteValueDesc = `{
 export const datasetSelectValueDesc = `{
   datasetId: string;
 }[]`;
+
+export const AppNodeFlowNodeTypeMap: Record<any, boolean> = {
+  [FlowNodeTypeEnum.pluginModule]: true,
+  [FlowNodeTypeEnum.appModule]: true,
+  [FlowNodeTypeEnum.tool]: true,
+  [FlowNodeTypeEnum.toolSet]: true
+};

packages/global/core/workflow/runtime/type.d.ts

@@ -7,7 +7,7 @@ import type {
 } from '../../chat/type';
 import { NodeOutputItemType } from '../../chat/type';
 import type { FlowNodeInputItemType, FlowNodeOutputItemType } from '../type/io.d';
-import type { StoreNodeItemType } from '../type/node';
+import type { NodeToolConfigType, StoreNodeItemType } from '../type/node';
 import type { DispatchNodeResponseKeyEnum } from './constants';
 import type { StoreEdgeItemType } from '../type/edge';
 import type { NodeInputKeyEnum } from '../constants';
@@ -101,7 +101,10 @@ export type RuntimeNodeItemType = {
   outputs: FlowNodeOutputItemType[];
 
   pluginId?: string; // workflow id / plugin id
-  version: string;
+  version?: string;
+
+  // tool
+  toolConfig?: NodeToolConfigType;
 };
 
 export type RuntimeEdgeItemType = StoreEdgeItemType & {
@@ -114,7 +117,7 @@ export type DispatchNodeResponseType = {
   runningTime?: number;
   query?: string;
   textOutput?: string;
-  error?: Record<string, any>;
+  error?: Record<string, any> | string;
   customInputs?: Record<string, any>;
   customOutputs?: Record<string, any>;
   nodeInputs?: Record<string, any>;

packages/global/core/workflow/template/system/abandoned/runApp/index.ts

@@ -25,7 +25,6 @@ export const RunAppModule: FlowNodeTemplateType = {
   name: i18nT('workflow:application_call'),
   intro: i18nT('workflow:select_another_application_to_call'),
   showStatus: true,
-  version: '481',
   isTool: true,
   inputs: [
     {

packages/global/core/workflow/template/system/aiChat/index.ts

@@ -19,7 +19,6 @@ import {
   Input_Template_UserChatInput,
   Input_Template_File_Link
 } from '../../input';
-import { chatNodeSystemPromptTip, systemPromptTip } from '../../tip';
 import { getHandleConfig } from '../../utils';
 import { i18nT } from '../../../../../../web/i18n/utils';
 
@@ -54,7 +53,7 @@ export const AiChatModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:template.ai_chat_intro'),
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/ai_chat/',
+  courseUrl: '/docs/guide/dashboard/workflow/ai_chat/',
   version: '4.9.7',
   inputs: [
     Input_Template_SettingAiModel,
@@ -121,12 +120,7 @@ export const AiChatModule: FlowNodeTemplateType = {
       valueType: WorkflowIOValueTypeEnum.string
     },
     // settings modal ---
-    {
-      ...Input_Template_System_Prompt,
-      label: i18nT('common:core.ai.Prompt'),
-      description: systemPromptTip,
-      placeholder: chatNodeSystemPromptTip
-    },
+    Input_Template_System_Prompt,
     Input_Template_History,
     Input_Template_Dataset_Quote,
     Input_Template_File_Link,

packages/global/core/workflow/template/system/assignedAnswer.ts

@@ -17,8 +17,7 @@ export const AssignedAnswerModule: FlowNodeTemplateType = {
   avatar: 'core/workflow/template/reply',
   name: i18nT('workflow:assigned_reply'),
   intro: i18nT('workflow:intro_assigned_reply'),
-  courseUrl: '/docs/guide/workbench/workflow/reply/',
-  version: '481',
+  courseUrl: '/docs/guide/dashboard/workflow/reply/',
   isTool: true,
   inputs: [
     {

packages/global/core/workflow/template/system/classifyQuestion/index.ts

@@ -31,7 +31,7 @@ export const ClassifyQuestionModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_question_classification'),
   showStatus: true,
   version: '4.9.2',
-  courseUrl: '/docs/guide/workbench/workflow/question_classify/',
+  courseUrl: '/docs/guide/dashboard/workflow/question_classify/',
   inputs: [
     {
       ...Input_Template_SelectAIModel,

packages/global/core/workflow/template/system/contextExtract/index.ts

@@ -26,7 +26,7 @@ export const ContextExtractModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_text_content_extraction'),
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/content_extract/',
+  courseUrl: '/docs/guide/dashboard/workflow/content_extract/',
   version: '4.9.2',
   inputs: [
     {

packages/global/core/workflow/template/system/customFeedback.ts

@@ -17,8 +17,7 @@ export const CustomFeedbackNode: FlowNodeTemplateType = {
   avatar: 'core/workflow/template/customFeedback',
   name: i18nT('workflow:custom_feedback'),
   intro: i18nT('workflow:intro_custom_feedback'),
-  courseUrl: '/docs/guide/workbench/workflow/custom_feedback/',
-  version: '486',
+  courseUrl: '/docs/guide/dashboard/workflow/custom_feedback/',
   inputs: [
     {
       key: NodeInputKeyEnum.textareaInput,

packages/global/core/workflow/template/system/datasetConcat.ts

@@ -42,8 +42,7 @@ export const DatasetConcatModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_knowledge_base_search_merge'),
 
   showStatus: false,
-  version: '486',
-  courseUrl: '/docs/guide/workbench/workflow/knowledge_base_search_merge/',
+  courseUrl: '/docs/guide/dashboard/workflow/knowledge_base_search_merge/',
   inputs: [
     {
       key: NodeInputKeyEnum.datasetMaxTokens,

packages/global/core/workflow/template/system/datasetSearch.ts

@@ -30,7 +30,7 @@ export const DatasetSearchModule: FlowNodeTemplateType = {
   intro: Dataset_SEARCH_DESC,
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/dataset_search/',
+  courseUrl: '/docs/guide/dashboard/workflow/dataset_search/',
   version: '4.9.2',
   inputs: [
     {

packages/global/core/workflow/template/system/http468.ts

@@ -27,8 +27,7 @@ export const HttpNode468: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_http_request'),
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/http/',
-  version: '481',
+  courseUrl: '/docs/guide/dashboard/workflow/http/',
   inputs: [
     {
       ...Input_Template_DynamicInput,

packages/global/core/workflow/template/system/ifElse/index.ts

@@ -23,8 +23,7 @@ export const IfElseNode: FlowNodeTemplateType = {
   name: i18nT('workflow:condition_checker'),
   intro: i18nT('workflow:execute_different_branches_based_on_conditions'),
   showStatus: true,
-  courseUrl: '/docs/guide/workbench/workflow/tfswitch/',
-  version: '481',
+  courseUrl: '/docs/guide/dashboard/workflow/tfswitch/',
   inputs: [
     {
       key: NodeInputKeyEnum.ifElseList,

packages/global/core/workflow/template/system/interactive/formInput.ts

@@ -23,7 +23,6 @@ export const FormInputNode: FlowNodeTemplateType = {
   name: i18nT('app:workflow.form_input'),
   intro: i18nT(`app:workflow.form_input_tip`),
   isTool: true,
-  version: '4811',
   inputs: [
     {
       key: NodeInputKeyEnum.description,

packages/global/core/workflow/template/system/interactive/userSelect.ts

@@ -24,8 +24,7 @@ export const UserSelectNode: FlowNodeTemplateType = {
   name: i18nT('app:workflow.user_select'),
   intro: i18nT(`app:workflow.user_select_tip`),
   isTool: true,
-  version: '489',
-  courseUrl: '/docs/guide/workbench/workflow/user-selection/',
+  courseUrl: '/docs/guide/dashboard/workflow/user-selection/',
   inputs: [
     {
       key: NodeInputKeyEnum.description,

packages/global/core/workflow/template/system/laf.ts

@@ -32,8 +32,7 @@ export const LafModule: FlowNodeTemplateType = {
   intro: i18nT('workflow:intro_laf_function_call'),
   showStatus: true,
   isTool: true,
-  courseUrl: '/docs/guide/workbench/workflow/laf/',
-  version: '481',
+  courseUrl: '/docs/guide/dashboard/workflow/laf/',
   inputs: [
     {
       ...Input_Template_DynamicInput,

packages/global/core/workflow/template/system/loop/loop.ts

@@ -29,8 +29,7 @@ export const LoopNode: FlowNodeTemplateType = {
   name: i18nT('workflow:loop'),
   intro: i18nT('workflow:intro_loop'),
   showStatus: true,
-  version: '4811',
-  courseUrl: '/docs/guide/workbench/workflow/loop/',
+  courseUrl: '/docs/guide/dashboard/workflow/loop/',
   inputs: [
     {
       key: NodeInputKeyEnum.loopInputArray,

packages/global/core/workflow/template/system/loop/loopEnd.ts

@@ -19,7 +19,6 @@ export const LoopEndNode: FlowNodeTemplateType = {
   avatar: 'core/workflow/template/loopEnd',
   name: i18nT('workflow:loop_end'),
   showStatus: false,
-  version: '4811',
   inputs: [
     {
       key: NodeInputKeyEnum.loopEndInput,

packages/global/core/workflow/template/system/loop/loopStart.ts

@@ -24,7 +24,6 @@ export const LoopStartNode: FlowNodeTemplateType = {
   unique: true,
   forbidDelete: true,
   showStatus: false,
-  version: '4811',
   inputs: [
     {
       key: NodeInputKeyEnum.loopStartInput,

packages/global/core/workflow/template/system/pluginConfig.ts

@@ -15,7 +15,6 @@ export const PluginConfigNode: FlowNodeTemplateType = {
   intro: '',
   unique: true,
   forbidDelete: true,
-  version: '4811',
   inputs: [],
   outputs: []
 };

packages/global/core/workflow/template/system/pluginInput.ts

@@ -16,7 +16,6 @@ export const PluginInputModule: FlowNodeTemplateType = {
   name: i18nT('workflow:plugin_input'),
   intro: i18nT('workflow:intro_plugin_input'),
   showStatus: false,
-  version: '481',
   inputs: [],
   outputs: []
 };

packages/global/core/workflow/template/system/pluginOutput.ts

@@ -16,7 +16,6 @@ export const PluginOutputModule: FlowNodeTemplateType = {
   name: i18nT('workflow:template.plugin_output'),
   intro: i18nT('workflow:intro_custom_plugin_output'),
   showStatus: false,
-  version: '481',
   inputs: [],
   outputs: []
 };

packages/global/core/workflow/template/system/runApp.ts

@@ -13,7 +13,6 @@ export const RunAppNode: FlowNodeTemplateType = {
   name: '',
   showStatus: false,
   isTool: false,
-  version: '481',
   inputs: [], // [{key:'pluginId'},...]
   outputs: []
 };

packages/global/core/workflow/template/system/runPlugin.ts

@@ -13,7 +13,6 @@ export const RunPluginModule: FlowNodeTemplateType = {
   name: '',
   showStatus: false,
   isTool: true,
-  version: '481',
   inputs: [], // [{key:'pluginId'},...]
   outputs: []
 };

packages/global/core/workflow/template/system/runTool.ts

@@ -13,7 +13,6 @@ export const RunToolNode: FlowNodeTemplateType = {
   name: '',
   showStatus: false,
   isTool: true,
-  version: '4.9.6',
   inputs: [],
   outputs: []
 };

packages/global/core/workflow/template/system/runToolSet.ts

@@ -13,7 +13,6 @@ export const RunToolSetNode: FlowNodeTemplateType = {
   name: '',
   showStatus: false,
   isTool: true,
-  version: '4.9.6',
   inputs: [],
   outputs: []
 };

packages/global/core/workflow/template/system/sandbox/index.ts

@@ -26,8 +26,7 @@ export const CodeNode: FlowNodeTemplateType = {
   name: i18nT('workflow:code_execution'),
   intro: i18nT('workflow:execute_a_simple_script_code_usually_for_complex_data_processing'),
   showStatus: true,
-  courseUrl: '/docs/guide/workbench/workflow/sandbox/',
-  version: '482',
+  courseUrl: '/docs/guide/dashboard/workflow/sandbox/',
   inputs: [
     {
       ...Input_Template_DynamicInput,

packages/global/core/workflow/template/system/stopTool.ts

@@ -13,7 +13,6 @@ export const StopToolNode: FlowNodeTemplateType = {
   avatar: 'core/workflow/template/stopTool',
   name: i18nT('workflow:tool_call_termination'),
   intro: i18nT('workflow:intro_tool_call_termination'),
-  version: '481',
   inputs: [],
   outputs: []
 };

packages/global/core/workflow/template/system/systemConfig.ts

@@ -15,7 +15,6 @@ export const SystemConfigNode: FlowNodeTemplateType = {
   intro: '',
   unique: true,
   forbidDelete: true,
-  version: '481',
   inputs: [],
   outputs: []
 };

packages/global/core/workflow/template/system/textEditor.ts

@@ -23,8 +23,7 @@ export const TextEditorNode: FlowNodeTemplateType = {
   avatar: 'core/workflow/template/textConcat',
   name: i18nT('workflow:text_concatenation'),
   intro: i18nT('workflow:intro_text_concatenation'),
-  courseUrl: '/docs/guide/workbench/workflow/text_editor/',
-  version: '4813',
+  courseUrl: '/docs/guide/dashboard/workflow/text_editor/',
   inputs: [
     {
       key: NodeInputKeyEnum.textareaInput,

packages/global/core/workflow/template/system/toolParams.ts

@@ -13,7 +13,6 @@ export const ToolParamsNode: FlowNodeTemplateType = {
   avatar: 'core/workflow/template/toolParams',
   name: i18nT('workflow:tool_custom_field'),
   intro: i18nT('workflow:intro_tool_params_config'),
-  version: '4811',
   isTool: true,
   inputs: [],
   outputs: []

packages/global/core/workflow/template/system/tools.ts

@@ -32,7 +32,7 @@ export const ToolModule: FlowNodeTemplateType = {
   name: i18nT('workflow:template.tool_call'),
   intro: i18nT('workflow:template.tool_call_intro'),
   showStatus: true,
-  courseUrl: '/docs/guide/workbench/workflow/tool/',
+  courseUrl: '/docs/guide/dashboard/workflow/tool/',
   version: '4.9.2',
   inputs: [
     {

packages/global/core/workflow/template/system/variableUpdate/index.tsx

@@ -19,8 +19,7 @@ export const VariableUpdateNode: FlowNodeTemplateType = {
   intro: i18nT('workflow:update_specified_node_output_or_global_variable'),
   showStatus: false,
   isTool: true,
-  version: '481',
-  courseUrl: '/docs/guide/workbench/workflow/variable_update/',
+  courseUrl: '/docs/guide/dashboard/workflow/variable_update/',
   inputs: [
     {
       key: NodeInputKeyEnum.updateList,

packages/global/core/workflow/template/system/workflowStart.ts

@@ -30,7 +30,6 @@ export const WorkflowStart: FlowNodeTemplateType = {
   intro: '',
   forbidDelete: true,
   unique: true,
-  version: '481',
   inputs: [{ ...Input_Template_UserChatInput, toolDescription: i18nT('workflow:user_question') }],
   outputs: [
     {

packages/global/core/workflow/type/index.d.ts

@@ -37,7 +37,10 @@ export type WorkflowTemplateType = {
   intro?: string;
   author?: string;
   courseUrl?: string;
-  version: string;
+
+  version?: string;
+  versionLabel?: string;
+  isLatestVersion?: boolean;
 
   showStatus?: boolean;
   weight?: number;

packages/global/core/workflow/type/io.d.ts

@@ -63,6 +63,8 @@ export type FlowNodeInputItemType = InputComponentPropsType & {
   canSelectFile?: boolean;
   canSelectImg?: boolean;
   maxFiles?: number;
+
+  deprecated?: boolean;
 };
 
 export type FlowNodeOutputItemType = {
@@ -86,6 +88,8 @@ export type FlowNodeOutputItemType = {
 
   // component params
   customFieldConfig?: CustomFieldConfigType;
+
+  deprecated?: boolean;
 };
 
 export type ReferenceItemValueType = [string, string | undefined];

packages/global/core/workflow/type/node.d.ts

@@ -20,11 +20,17 @@ import { RuntimeNodeItemType } from '../runtime/type';
 import { PluginTypeEnum } from '../../plugin/constants';
 import { RuntimeEdgeItemType, StoreEdgeItemType } from './edge';
 import { NextApiResponse } from 'next';
-import { AppDetailType, AppSchema } from '../../app/type';
+import type { AppDetailType, AppSchema, McpToolConfigType } from '../../app/type';
 import type { ParentIdType } from 'common/parentFolder/type';
-import { AppTypeEnum } from 'core/app/constants';
+import { AppTypeEnum } from '../../app/constants';
 import type { WorkflowInteractiveResponseType } from '../template/system/interactive/type';
 
+export type NodeToolConfigType = {
+  mcpTool?: McpToolConfigType & {
+    url: string;
+  };
+};
+
 export type FlowNodeCommonType = {
   parentNodeId?: string;
   flowNodeType: FlowNodeTypeEnum; // render node card
@@ -34,7 +40,10 @@ export type FlowNodeCommonType = {
   name: string;
   intro?: string; // template list intro
   showStatus?: boolean; // chatting response step status
-  version: string;
+
+  version?: string;
+  versionLabel?: string; // Just ui show
+  isLatestVersion?: boolean; // Just ui show
 
   // data
   inputs: FlowNodeInputItemType[];
@@ -43,12 +52,13 @@ export type FlowNodeCommonType = {
   // plugin data
   pluginId?: string;
   isFolder?: boolean;
-  // pluginType?: AppTypeEnum;
   pluginData?: PluginDataType;
+
+  // tool data
+  toolData?: NodeToolConfigType;
 };
 
 export type PluginDataType = {
-  version: string;
   diagram?: string;
   userGuide?: string;
   courseUrl?: string;
@@ -115,6 +125,7 @@ export type FlowNodeItemType = FlowNodeTemplateType & {
   nodeId: string;
   parentNodeId?: string;
   isError?: boolean;
+  searchedText?: string;
   debugResult?: {
     status: 'running' | 'success' | 'skipped' | 'failed';
     message?: string;

packages/global/support/operationLog/constants.ts

@@ -1,4 +1,5 @@
 export enum OperationLogEventEnum {
+  //Team
   LOGIN = 'LOGIN',
   CREATE_INVITATION_LINK = 'CREATE_INVITATION_LINK',
   JOIN_TEAM = 'JOIN_TEAM',
@@ -11,5 +12,52 @@ export enum OperationLogEventEnum {
   RELOCATE_DEPARTMENT = 'RELOCATE_DEPARTMENT',
   CREATE_GROUP = 'CREATE_GROUP',
   DELETE_GROUP = 'DELETE_GROUP',
-  ASSIGN_PERMISSION = 'ASSIGN_PERMISSION'
+  ASSIGN_PERMISSION = 'ASSIGN_PERMISSION',
+  //APP
+  CREATE_APP = 'CREATE_APP',
+  UPDATE_APP_INFO = 'UPDATE_APP_INFO',
+  MOVE_APP = 'MOVE_APP',
+  DELETE_APP = 'DELETE_APP',
+  UPDATE_APP_COLLABORATOR = 'UPDATE_APP_COLLABORATOR',
+  DELETE_APP_COLLABORATOR = 'DELETE_APP_COLLABORATOR',
+  TRANSFER_APP_OWNERSHIP = 'TRANSFER_APP_OWNERSHIP',
+  CREATE_APP_COPY = 'CREATE_APP_COPY',
+  CREATE_APP_FOLDER = 'CREATE_APP_FOLDER',
+  UPDATE_PUBLISH_APP = 'UPDATE_PUBLISH_APP',
+  CREATE_APP_PUBLISH_CHANNEL = 'CREATE_APP_PUBLISH_CHANNEL',
+  UPDATE_APP_PUBLISH_CHANNEL = 'UPDATE_APP_PUBLISH_CHANNEL',
+  DELETE_APP_PUBLISH_CHANNEL = 'DELETE_APP_PUBLISH_CHANNEL',
+  EXPORT_APP_CHAT_LOG = 'EXPORT_APP_CHAT_LOG',
+  //Dataset
+  CREATE_DATASET = 'CREATE_DATASET',
+  UPDATE_DATASET = 'UPDATE_DATASET',
+  DELETE_DATASET = 'DELETE_DATASET',
+  MOVE_DATASET = 'MOVE_DATASET',
+  UPDATE_DATASET_COLLABORATOR = 'UPDATE_DATASET_COLLABORATOR',
+  DELETE_DATASET_COLLABORATOR = 'DELETE_DATASET_COLLABORATOR',
+  TRANSFER_DATASET_OWNERSHIP = 'TRANSFER_DATASET_OWNERSHIP',
+  EXPORT_DATASET = 'EXPORT_DATASET',
+  CREATE_DATASET_FOLDER = 'CREATE_DATASET_FOLDER',
+  //Collection
+  CREATE_COLLECTION = 'CREATE_COLLECTION',
+  UPDATE_COLLECTION = 'UPDATE_COLLECTION',
+  DELETE_COLLECTION = 'DELETE_COLLECTION',
+  RETRAIN_COLLECTION = 'RETRAIN_COLLECTION',
+  //Data
+  CREATE_DATA = 'CREATE_DATA',
+  UPDATE_DATA = 'UPDATE_DATA',
+  DELETE_DATA = 'DELETE_DATA',
+  //SearchTest
+  SEARCH_TEST = 'SEARCH_TEST',
+  //Account
+  CHANGE_PASSWORD = 'CHANGE_PASSWORD',
+  CHANGE_NOTIFICATION_SETTINGS = 'CHANGE_NOTIFICATION_SETTINGS',
+  CHANGE_MEMBER_NAME_ACCOUNT = 'CHANGE_MEMBER_NAME_ACCOUNT',
+  PURCHASE_PLAN = 'PURCHASE_PLAN',
+  EXPORT_BILL_RECORDS = 'EXPORT_BILL_RECORDS',
+  CREATE_INVOICE = 'CREATE_INVOICE',
+  SET_INVOICE_HEADER = 'SET_INVOICE_HEADER',
+  CREATE_API_KEY = 'CREATE_API_KEY',
+  UPDATE_API_KEY = 'UPDATE_API_KEY',
+  DELETE_API_KEY = 'DELETE_API_KEY'
 }

packages/global/support/user/api.d.ts

@@ -9,6 +9,7 @@ import type { TeamMemberItemType } from './team/type';
 export type PostLoginProps = {
   username: string;
   password: string;
+  code: string;
 };
 
 export type OauthLoginProps = {

packages/global/support/user/auth/constants.ts

@@ -3,7 +3,8 @@ export enum UserAuthTypeEnum {
   findPassword = 'findPassword',
   wxLogin = 'wxLogin',
   bindNotification = 'bindNotification',
-  captcha = 'captcha'
+  captcha = 'captcha',
+  login = 'login'
 }
 
 export const userAuthTypeMap = {
@@ -11,5 +12,6 @@ export const userAuthTypeMap = {
   [UserAuthTypeEnum.findPassword]: 'findPassword',
   [UserAuthTypeEnum.wxLogin]: 'wxLogin',
   [UserAuthTypeEnum.bindNotification]: 'bindNotification',
-  [UserAuthTypeEnum.captcha]: 'captcha'
+  [UserAuthTypeEnum.captcha]: 'captcha',
+  [UserAuthTypeEnum.login]: 'login'
 };

packages/global/support/user/auth/type.d.ts

@@ -0,0 +1,10 @@
+import type { UserAuthTypeEnum } from '@fastgpt/global/support/user/auth/constants';
+
+export type UserAuthSchemaType = {
+  key: string;
+  type: `${UserAuthTypeEnum}`;
+  code?: string;
+  openid?: string;
+  createTime: Date;
+  expiredTime: Date;
+};

packages/global/support/user/type.d.ts

@@ -14,6 +14,7 @@ export type UserModelSchema = {
   timezone: string;
   status: `${UserStatusEnum}`;
   lastLoginTmbId?: string;
+  passwordUpdateTime?: Date;
   fastgpt_sem?: {
     keyword: string;
   };

packages/plugins/register.ts

@@ -13,6 +13,7 @@ const staticPluginList = [
   'WeWorkWebhook',
   'google',
   'bing',
+  'bocha',
   'delay'
 ];
 // Run in worker thread (Have npm packages)

packages/plugins/src/DingTalkWebhook/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "4816",
   "name": "钉钉 webhook",
   "avatar": "plugins/dingding",
   "intro": "向钉钉机器人发起 webhook 请求。",

packages/plugins/src/Doc2X/PDF2text/template.json

@@ -1,6 +1,5 @@
 {
   "author": "Menghuan1918",
-  "version": "488",
   "name": "PDF识别",
   "avatar": "plugins/doc2x",
   "intro": "将PDF文件发送至Doc2X进行解析，返回结构化的LaTeX公式的文本(markdown)，支持传入String类型的URL或者流程输出中的文件链接变量",

packages/plugins/src/Doc2X/template.json

@@ -1,6 +1,5 @@
 {
   "author": "Menghuan1918",
-  "version": "488",
   "name": "Doc2X服务",
   "avatar": "plugins/doc2x",
   "intro": "将传入的图片或PDF文件发送至Doc2X进行解析，返回带LaTeX公式的markdown格式的文本。",

packages/plugins/src/WeWorkWebhook/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "4816",
   "name": "企业微信 webhook",
   "avatar": "plugins/qiwei",
   "intro": "向企业微信机器人发起 webhook 请求。只能内部群使用。",

packages/plugins/src/bing/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "4811",
   "name": "Bing搜索",
   "avatar": "core/workflow/template/bing",
   "intro": "在Bing中搜索。",

packages/plugins/src/bocha/template.json

@@ -0,0 +1,677 @@
+{
+    "author": "",
+    "name": "博查搜索",
+    "avatar": "core/workflow/template/bocha",
+    "intro": "使用博查AI搜索引擎进行网络搜索。",
+    "showStatus": true,
+    "weight": 10,
+    "courseUrl": "",
+    "isTool": true,
+    "templateType": "search",
+    "workflow": {
+        "nodes": [
+            {
+                "nodeId": "pluginInput",
+                "name": "workflow:template.plugin_start",
+                "intro": "workflow:intro_plugin_input",
+                "avatar": "core/workflow/template/workflowStart",
+                "flowNodeType": "pluginInput",
+                "showStatus": false,
+                "position": {
+                    "x": 636.3048409085379,
+                    "y": -238.61714728578016
+                },
+                "version": "481",
+                "inputs": [
+                    {
+                        "renderTypeList": [
+                            "input"
+                        ],
+                        "selectedTypeIndex": 0,
+                        "valueType": "string",
+                        "canEdit": true,
+                        "key": "apiKey",
+                        "label": "apiKey",
+                        "description": "博查API密钥",
+                        "defaultValue": "",
+                        "required": true
+                    },
+                    {
+                        "renderTypeList": [
+                            "input",
+                            "reference"
+                        ],
+                        "selectedTypeIndex": 0,
+                        "valueType": "string",
+                        "canEdit": true,
+                        "key": "query",
+                        "label": "query",
+                        "description": "搜索查询词",
+                        "defaultValue": "",
+                        "required": true,
+                        "toolDescription": "搜索查询词"
+                    },
+                    {
+                        "renderTypeList": [
+                            "input",
+                            "reference"
+                        ],
+                        "selectedTypeIndex": 0,
+                        "valueType": "string",
+                        "canEdit": true,
+                        "key": "freshness",
+                        "label": "freshness",
+                        "description": "搜索指定时间范围内的网页。可填值：oneDay(一天内)、oneWeek(一周内)、oneMonth(一个月内)、oneYear(一年内)、noLimit(不限，默认)、YYYY-MM-DD..YYYY-MM-DD(日期范围)、YYYY-MM-DD(指定日期)",
+                        "defaultValue": "noLimit",
+                        "required": false,
+                        "toolDescription": "搜索时间范围"
+                    },
+                    {
+                        "renderTypeList": [
+                            "input",
+                            "reference"
+                        ],
+                        "selectedTypeIndex": 0,
+                        "valueType": "boolean",
+                        "canEdit": true,
+                        "key": "summary",
+                        "label": "summary",
+                        "description": "是否显示文本摘要。true显示，false不显示(默认)",
+                        "defaultValue": false,
+                        "required": false,
+                        "toolDescription": "是否显示文本摘要"
+                    },
+                    {
+                        "renderTypeList": [
+                            "input",
+                            "reference"
+                        ],
+                        "selectedTypeIndex": 0,
+                        "valueType": "string",
+                        "canEdit": true,
+                        "key": "include",
+                        "label": "include",
+                        "description": "指定搜索的site范围。多个域名使用|或,分隔，最多20个。例如：qq.com|m.163.com",
+                        "defaultValue": "",
+                        "required": false,
+                        "toolDescription": "指定搜索的site范围"
+                    },
+                    {
+                        "renderTypeList": [
+                            "input",
+                            "reference"
+                        ],
+                        "selectedTypeIndex": 0,
+                        "valueType": "string",
+                        "canEdit": true,
+                        "key": "exclude",
+                        "label": "exclude",
+                        "description": "排除搜索的网站范围。多个域名使用|或,分隔，最多20个。例如：qq.com|m.163.com",
+                        "defaultValue": "",
+                        "required": false,
+                        "toolDescription": "排除搜索的网站范围"
+                    },
+                    {
+                        "renderTypeList": [
+                            "input",
+                            "reference"
+                        ],
+                        "selectedTypeIndex": 0,
+                        "valueType": "number",
+                        "canEdit": true,
+                        "key": "count",
+                        "label": "count",
+                        "description": "返回结果的条数。可填范围：1-50，默认为10",
+                        "defaultValue": 10,
+                        "required": false,
+                        "min": 1,
+                        "max": 50,
+                        "toolDescription": "返回结果条数"
+                    }
+                ],
+                "outputs": [
+                    {
+                        "id": "apiKey",
+                        "valueType": "string",
+                        "key": "apiKey",
+                        "label": "apiKey",
+                        "type": "hidden"
+                    },
+                    {
+                        "id": "query",
+                        "valueType": "string",
+                        "key": "query",
+                        "label": "query",
+                        "type": "hidden"
+                    },
+                    {
+                        "id": "freshness",
+                        "valueType": "string",
+                        "key": "freshness",
+                        "label": "freshness",
+                        "type": "hidden"
+                    },
+                    {
+                        "id": "summary",
+                        "valueType": "boolean",
+                        "key": "summary",
+                        "label": "summary",
+                        "type": "hidden"
+                    },
+                    {
+                        "id": "include",
+                        "valueType": "string",
+                        "key": "include",
+                        "label": "include",
+                        "type": "hidden"
+                    },
+                    {
+                        "id": "exclude",
+                        "valueType": "string",
+                        "key": "exclude",
+                        "label": "exclude",
+                        "type": "hidden"
+                    },
+                    {
+                        "id": "count",
+                        "valueType": "number",
+                        "key": "count",
+                        "label": "count",
+                        "type": "hidden"
+                    }
+                ]
+            },
+            {
+                "nodeId": "pluginOutput",
+                "name": "common:core.module.template.self_output",
+                "intro": "workflow:intro_custom_plugin_output",
+                "avatar": "core/workflow/template/pluginOutput",
+                "flowNodeType": "pluginOutput",
+                "showStatus": false,
+                "position": {
+                    "x": 2764.1105686698083,
+                    "y": -30.617147285780163
+                },
+                "version": "481",
+                "inputs": [
+                    {
+                        "renderTypeList": [
+                            "reference"
+                        ],
+                        "valueType": "object",
+                        "canEdit": true,
+                        "key": "result",
+                        "label": "result",
+                        "isToolOutput": true,
+                        "description": "",
+                        "value": [
+                            "nyA6oA8mF1iW",
+                            "httpRawResponse"
+                        ]
+                    }
+                ],
+                "outputs": []
+            },
+            {
+                "nodeId": "pluginConfig",
+                "name": "common:core.module.template.system_config",
+                "intro": "",
+                "avatar": "core/workflow/template/systemConfig",
+                "flowNodeType": "pluginConfig",
+                "position": {
+                    "x": 184.66337662472682,
+                    "y": -216.05298493910115
+                },
+                "version": "4811",
+                "inputs": [],
+                "outputs": []
+            },
+            {
+                "nodeId": "nyA6oA8mF1iW",
+                "name": "HTTP 请求",
+                "intro": "调用博查搜索API",
+                "avatar": "core/workflow/template/httpRequest",
+                "flowNodeType": "httpRequest468",
+                "showStatus": true,
+                "position": {
+                    "x": 1335.0647252518884,
+                    "y": -455.9043948565971
+                },
+                "version": "481",
+                "inputs": [
+                    {
+                        "key": "system_addInputParam",
+                        "renderTypeList": [
+                            "addInputParam"
+                        ],
+                        "valueType": "dynamic",
+                        "label": "",
+                        "required": false,
+                        "description": "common:core.module.input.description.HTTP Dynamic Input",
+                        "customInputConfig": {
+                            "selectValueTypeList": [
+                                "string",
+                                "number",
+                                "boolean",
+                                "object",
+                                "arrayString",
+                                "arrayNumber",
+                                "arrayBoolean",
+                                "arrayObject",
+                                "arrayAny",
+                                "any",
+                                "chatHistory",
+                                "datasetQuote",
+                                "dynamic",
+                                "selectDataset",
+                                "selectApp"
+                            ],
+                            "showDescription": false,
+                            "showDefaultValue": true
+                        },
+                        "debugLabel": "",
+                        "toolDescription": ""
+                    },
+                    {
+                        "key": "system_httpMethod",
+                        "renderTypeList": [
+                            "custom"
+                        ],
+                        "valueType": "string",
+                        "label": "",
+                        "value": "POST",
+                        "required": true,
+                        "debugLabel": "",
+                        "toolDescription": ""
+                    },
+                    {
+                        "key": "system_httpTimeout",
+                        "renderTypeList": [
+                            "custom"
+                        ],
+                        "valueType": "number",
+                        "label": "",
+                        "value": 30,
+                        "min": 5,
+                        "max": 600,
+                        "required": true,
+                        "debugLabel": "",
+                        "toolDescription": ""
+                    },
+                    {
+                        "key": "system_httpReqUrl",
+                        "renderTypeList": [
+                            "hidden"
+                        ],
+                        "valueType": "string",
+                        "label": "",
+                        "description": "common:core.module.input.description.Http Request Url",
+                        "placeholder": "https://api.ai.com/getInventory",
+                        "required": false,
+                        "value": "https://api.bochaai.com/v1/web-search",
+                        "debugLabel": "",
+                        "toolDescription": ""
+                    },
+                    {
+                        "key": "system_httpHeader",
+                        "renderTypeList": [
+                            "custom"
+                        ],
+                        "valueType": "any",
+                        "value": [
+                            {
+                                "key": "Authorization",
+                                "type": "string",
+                                "value": "Bearer {{$pluginInput.apiKey$}}"
+                            },
+                            {
+                                "key": "Content-Type",
+                                "type": "string",
+                                "value": "application/json"
+                            }
+                        ],
+                        "label": "",
+                        "description": "common:core.module.input.description.Http Request Header",
+                        "placeholder": "common:core.module.input.description.Http Request Header",
+                        "required": false,
+                        "debugLabel": "",
+                        "toolDescription": ""
+                    },
+                    {
+                        "key": "system_httpParams",
+                        "renderTypeList": [
+                            "hidden"
+                        ],
+                        "valueType": "any",
+                        "value": [],
+                        "label": "",
+                        "required": false,
+                        "debugLabel": "",
+                        "toolDescription": ""
+                    },
+                    {
+                        "key": "system_httpJsonBody",
+                        "renderTypeList": [
+                            "hidden"
+                        ],
+                        "valueType": "any",
+                        "value": "{\n    \"query\": \"{{query}}\",\n    \"freshness\": \"{{freshness}}\",\n    \"summary\": {{summary}},\n    \"include\": \"{{include}}\",\n    \"exclude\": \"{{exclude}}\",\n    \"count\": {{count}}\n}",
+                        "label": "",
+                        "required": false,
+                        "debugLabel": "",
+                        "toolDescription": ""
+                    },
+                    {
+                        "key": "system_httpFormBody",
+                        "renderTypeList": [
+                            "hidden"
+                        ],
+                        "valueType": "any",
+                        "value": [],
+                        "label": "",
+                        "required": false,
+                        "debugLabel": "",
+                        "toolDescription": ""
+                    },
+                    {
+                        "key": "system_httpContentType",
+                        "renderTypeList": [
+                            "hidden"
+                        ],
+                        "valueType": "string",
+                        "value": "json",
+                        "label": "",
+                        "required": false,
+                        "debugLabel": "",
+                        "toolDescription": ""
+                    },
+                    {
+                        "valueType": "string",
+                        "renderTypeList": [
+                            "reference"
+                        ],
+                        "key": "query",
+                        "label": "query",
+                        "toolDescription": "博查搜索检索词",
+                        "required": true,
+                        "canEdit": true,
+                        "editField": {
+                            "key": true,
+                            "description": true
+                        },
+                        "customInputConfig": {
+                            "selectValueTypeList": [
+                                "string",
+                                "number",
+                                "boolean",
+                                "object",
+                                "arrayString",
+                                "arrayNumber",
+                                "arrayBoolean",
+                                "arrayObject",
+                                "arrayAny",
+                                "any",
+                                "chatHistory",
+                                "datasetQuote",
+                                "dynamic",
+                                "selectApp",
+                                "selectDataset"
+                            ],
+                            "showDescription": false,
+                            "showDefaultValue": true
+                        },
+                        "value": [
+                            "pluginInput",
+                            "query"
+                        ]
+                    },
+                    {
+                        "valueType": "string",
+                        "renderTypeList": [
+                            "reference"
+                        ],
+                        "key": "freshness",
+                        "label": "freshness",
+                        "toolDescription": "搜索时间范围",
+                        "required": false,
+                        "canEdit": true,
+                        "editField": {
+                            "key": true,
+                            "description": true
+                        },
+                        "customInputConfig": {
+                            "selectValueTypeList": [
+                                "string",
+                                "number",
+                                "boolean",
+                                "object",
+                                "arrayString",
+                                "arrayNumber",
+                                "arrayBoolean",
+                                "arrayObject",
+                                "arrayAny",
+                                "any",
+                                "chatHistory",
+                                "datasetQuote",
+                                "dynamic",
+                                "selectApp",
+                                "selectDataset"
+                            ],
+                            "showDescription": false,
+                            "showDefaultValue": true
+                        },
+                        "value": [
+                            "pluginInput",
+                            "freshness"
+                        ]
+                    },
+                    {
+                        "valueType": "boolean",
+                        "renderTypeList": [
+                            "reference"
+                        ],
+                        "key": "summary",
+                        "label": "summary",
+                        "toolDescription": "是否显示文本摘要",
+                        "required": false,
+                        "canEdit": true,
+                        "editField": {
+                            "key": true,
+                            "description": true
+                        },
+                        "customInputConfig": {
+                            "selectValueTypeList": [
+                                "string",
+                                "number",
+                                "boolean",
+                                "object",
+                                "arrayString",
+                                "arrayNumber",
+                                "arrayBoolean",
+                                "arrayObject",
+                                "arrayAny",
+                                "any",
+                                "chatHistory",
+                                "datasetQuote",
+                                "dynamic",
+                                "selectApp",
+                                "selectDataset"
+                            ],
+                            "showDescription": false,
+                            "showDefaultValue": true
+                        },
+                        "value": [
+                            "pluginInput",
+                            "summary"
+                        ]
+                    },
+                    {
+                        "valueType": "string",
+                        "renderTypeList": [
+                            "reference"
+                        ],
+                        "key": "include",
+                        "label": "include",
+                        "toolDescription": "指定搜索的site范围",
+                        "required": false,
+                        "canEdit": true,
+                        "editField": {
+                            "key": true,
+                            "description": true
+                        },
+                        "customInputConfig": {
+                            "selectValueTypeList": [
+                                "string",
+                                "number",
+                                "boolean",
+                                "object",
+                                "arrayString",
+                                "arrayNumber",
+                                "arrayBoolean",
+                                "arrayObject",
+                                "arrayAny",
+                                "any",
+                                "chatHistory",
+                                "datasetQuote",
+                                "dynamic",
+                                "selectApp",
+                                "selectDataset"
+                            ],
+                            "showDescription": false,
+                            "showDefaultValue": true
+                        },
+                        "value": [
+                            "pluginInput",
+                            "include"
+                        ]
+                    },
+                    {
+                        "valueType": "string",
+                        "renderTypeList": [
+                            "reference"
+                        ],
+                        "key": "exclude",
+                        "label": "exclude",
+                        "toolDescription": "排除搜索的网站范围",
+                        "required": false,
+                        "canEdit": true,
+                        "editField": {
+                            "key": true,
+                            "description": true
+                        },
+                        "customInputConfig": {
+                            "selectValueTypeList": [
+                                "string",
+                                "number",
+                                "boolean",
+                                "object",
+                                "arrayString",
+                                "arrayNumber",
+                                "arrayBoolean",
+                                "arrayObject",
+                                "arrayAny",
+                                "any",
+                                "chatHistory",
+                                "datasetQuote",
+                                "dynamic",
+                                "selectApp",
+                                "selectDataset"
+                            ],
+                            "showDescription": false,
+                            "showDefaultValue": true
+                        },
+                        "value": [
+                            "pluginInput",
+                            "exclude"
+                        ]
+                    },
+                    {
+                        "valueType": "number",
+                        "renderTypeList": [
+                            "reference"
+                        ],
+                        "key": "count",
+                        "label": "count",
+                        "toolDescription": "返回结果条数",
+                        "required": false,
+                        "canEdit": true,
+                        "editField": {
+                            "key": true,
+                            "description": true
+                        },
+                        "customInputConfig": {
+                            "selectValueTypeList": [
+                                "string",
+                                "number",
+                                "boolean",
+                                "object",
+                                "arrayString",
+                                "arrayNumber",
+                                "arrayBoolean",
+                                "arrayObject",
+                                "arrayAny",
+                                "any",
+                                "chatHistory",
+                                "datasetQuote",
+                                "dynamic",
+                                "selectApp",
+                                "selectDataset"
+                            ],
+                            "showDescription": false,
+                            "showDefaultValue": true
+                        },
+                        "value": [
+                            "pluginInput",
+                            "count"
+                        ]
+                    }
+                ],
+                "outputs": [
+                    {
+                        "id": "error",
+                        "key": "error",
+                        "label": "workflow:request_error",
+                        "description": "HTTP请求错误信息，成功时返回空",
+                        "valueType": "object",
+                        "type": "static"
+                    },
+                    {
+                        "id": "httpRawResponse",
+                        "key": "httpRawResponse",
+                        "required": true,
+                        "label": "workflow:raw_response",
+                        "description": "HTTP请求的原始响应。只能接受字符串或JSON类型响应数据。",
+                        "valueType": "any",
+                        "type": "static"
+                    },
+                    {
+                        "id": "system_addOutputParam",
+                        "key": "system_addOutputParam",
+                        "type": "dynamic",
+                        "valueType": "dynamic",
+                        "label": "",
+                        "editField": {
+                            "key": true,
+                            "valueType": true
+                        }
+                    }
+                ]
+            }
+        ],
+        "edges": [
+            {
+                "source": "pluginInput",
+                "target": "nyA6oA8mF1iW",
+                "sourceHandle": "pluginInput-source-right",
+                "targetHandle": "nyA6oA8mF1iW-target-left"
+            },
+            {
+                "source": "nyA6oA8mF1iW",
+                "target": "pluginOutput",
+                "sourceHandle": "nyA6oA8mF1iW-source-right",
+                "targetHandle": "pluginOutput-target-left"
+            }
+        ]
+    },
+    "chatConfig": {}
+}

packages/plugins/src/databaseConnection/template.json

@@ -1,6 +1,5 @@
 {
   "author": "silencezhang",
-  "version": "4811",
   "name": "数据库连接",
   "avatar": "core/workflow/template/datasource",
   "intro": "可连接常用数据库，并执行sql",

packages/plugins/src/delay/template.json

@@ -1,6 +1,5 @@
 {
   "author": "collin",
-  "version": "4817",
   "name": "流程等待",
   "avatar": "core/workflow/template/sleep",
   "intro": "让工作流等待指定时间后运行",

packages/plugins/src/drawing/baseChart/template.json

@@ -1,6 +1,5 @@
 {
   "author": "silencezhang",
-  "version": "4817",
   "name": "基础图表",
   "avatar": "core/workflow/template/baseChart",
   "intro": "根据数据生成图表，可根据chartType生成柱状图，折线图，饼图",

packages/plugins/src/drawing/template.json

@@ -1,6 +1,5 @@
 {
   "author": "silencezhang",
-  "version": "486",
   "name": "BI图表功能",
   "avatar": "core/workflow/template/BI",
   "intro": "BI图表功能，可以生成一些常用的图表，如饼图，柱状图，折线图等",

packages/plugins/src/duckduckgo/search/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "486",
   "name": "DuckDuckGo 网络搜索",
   "avatar": "core/workflow/template/duckduckgo",
   "intro": "使用 DuckDuckGo 进行网络搜索",

packages/plugins/src/duckduckgo/searchImg/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "486",
   "name": "DuckDuckGo 图片搜索",
   "avatar": "core/workflow/template/duckduckgo",
   "intro": "使用 DuckDuckGo 进行图片搜索",

packages/plugins/src/duckduckgo/searchNews/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "486",
   "name": "DuckDuckGo 新闻检索",
   "avatar": "core/workflow/template/duckduckgo",
   "intro": "使用 DuckDuckGo 进行新闻检索",

packages/plugins/src/duckduckgo/searchVideo/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "486",
   "name": "DuckDuckGo 视频搜索",
   "avatar": "core/workflow/template/duckduckgo",
   "intro": "使用 DuckDuckGo 进行视频搜索",

packages/plugins/src/duckduckgo/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "486",
   "name": "DuckDuckGo服务",
   "avatar": "core/workflow/template/duckduckgo",
   "intro": "DuckDuckGo 服务，包含网络搜索、图片搜索、新闻搜索等。",

packages/plugins/src/feishu/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "488",
   "name": "飞书 webhook",
   "avatar": "core/app/templates/plugin-feishu",
   "intro": "向飞书机器人发起 webhook 请求。",

packages/plugins/src/fetchUrl/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "486",
   "name": "网页内容抓取",
   "avatar": "core/workflow/template/fetchUrl",
   "intro": "可获取一个网页链接内容，并以 Markdown 格式输出，仅支持获取静态网站。",

packages/plugins/src/getTime/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "481",
   "templateType": "tools",
   "name": "获取当前时间",
   "avatar": "core/workflow/template/getTime",

packages/plugins/src/google/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "4811",
   "name": "Google搜索",
   "avatar": "core/workflow/template/google",
   "intro": "在google中搜索。",

packages/plugins/src/mathExprVal/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "486",
   "name": "数学公式执行",
   "avatar": "core/workflow/template/mathCall",
   "intro": "用于执行数学表达式的工具，通过 js 的 expr-eval 库运行表达式并返回结果。",

packages/plugins/src/searchXNG/template.json

@@ -1,6 +1,5 @@
 {
   "author": "",
-  "version": "4816",
   "name": "Search XNG 搜索",
   "avatar": "core/workflow/template/searxng",
   "intro": "使用 Search XNG 服务进行搜索。",