aigc-2024-03-21 AIGC-FastGPT-本地知识库问答系统

相关文档:

接入 ChatGLM2-6B | FastGPT (fastai.site)

相关步骤:

FastGPT配置文件及OneAPI程序：
百度网盘 请输入提取码
提取码：wuhe

创建fastgpt目录：mkdir fastgpt

切换到fastgpt目录：cd fastgpt

下载docker-compose文件：curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml

下载config文件：curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

docker-compose文件github：https://github.com/labring/FastGPT/blob/main/files/deploy/fastgpt/docker-compose.yml

config文件github：https://github.com/labring/FastGPT/blob/main/projects/app/data/config.json

切换fastgpt目录：cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得替换为你自己的用户名

拉取镜像：docker-compose pull

在后台运行容器：docker-compose up -d

FastGPT的页面：http://localhost:3020/

登录用户名为root，密码为docker-compose文件里DEFAULT_ROOT_PSW，默认密码1234

ChatGLM3官方的一键包链接：百度网盘 请输入提取码
提取码：glut

用docker部署m3e模型，默认用CPU运行：
docker run -d -p 6008:6008 --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
使用GPU运行：
docker run -d -p 6008:6008 --gpus all --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
原镜像：
docker run -d -p 6200:6008 --name=m3e-large-api stawky/m3e-large-api:latest

查看被系统保留的端口：
netsh int ipv4 show excludedport tcp
保留端口给程序使用：
netsh int ipv4 add excludedportrange protocol=tcp startport=<起始端口> numberofports=<排除端口数量>

测试m3e的api：
curl --location --request POST 'https://localhost:6008/v1/embeddings' \
--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
--header 'Content-Type: application/json' \
--data-raw '{
"model": "m3e",
"input": ["laf是什么"]
}'
localhost需要替换成你的ip地址，ip地址可以在你连接的网络的属性里查看，或者在cmd里使用：ipconfig查看WLAN或者以太网那一栏。注意，ip地址要填ipv4的地址，不要填成ipv6的地址

OneAPI网站：http://localhost:3000/

OneAPI网页后，使用root用户和默认密码123456登录

chatglm3的Base URL：http://localhost:8000 localhost修改为你的本地ip地址

m3e的Base URL：http://localhost:6008 localhost记得修改为你的本地ip地址

m3e密钥：sk-aaabbbcccdddeeefffggghhhiiijjjkkk

docker-compose文件修改OPENAI_BASE_URL：http://localhost:3000/v1 localhost记得替换为你的本地ip地址

docker-compose文件修改CHAT_API_KEY：填入从OneAPI令牌复制的key

修改config文件ChatModels：
{
"model": "chatglm3",
"name": "chatglm3",
"maxContext": 4000,
"maxResponse": 4000,
"quoteMaxToken": 2000,
"maxTemperature": 1,
"vision": false,
"defaultSystemChatPrompt": ""
},
ChatGLM3-6B支持的上下文长度为8k，你可以将maxContext和maxResponse改为8000
可以在defaultSystemChatPrompt里设置你的系统默认提示词

修改config文件QAModels：
{
"model": "chatglm3",
"name": "chatglm3",
"maxContext": 4000,
"maxResponse": 4000,
"price": 0
}

修改config文件VectorModels：
{
"model": "m3e",
"name": "m3e",
"price": 0.1,
"defaultToken": 500,
"maxToken": 1800
}
QAModels和VectorModels都添加好后，记得在括号的前面加个英文逗号，不然config文件无法生效

重新更新配置文件，依次输入命令：
cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得换成你的Ubuntu用户名
docker-compose pull
docker-compose up -d

进入FastGPT网页：http://localhost:3020/
登录用户名为root，密码为docker-compose文件里DEFAULT_ROOT_PSW，默认密码1234