LLM 集成的应用：NAS下搭建FastGpt，一个基于LLM
本内容来源于@什么值得买APP，观点仅代表作者本人 ｜作者：熊猫不是猫QAQ
前言fastGPT是一个基于LLM大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过Flow可视化进行工作流编排，从而实现复杂的问答场景！该项目为群有提供，且他自己部署了一个，用着我感觉还不错，而且官方也有体验版本可以使用。感兴趣可以去看看：https://fastgpt.run/
部署FastGPT提供了docker-compose，所以我们可以直接用它官方项目的文件做到快速部署。官方两份不同的文档，分别提供了非host版本与host版本。根据自己情况选择使用。
fastGPT
这里我选择的为非host版本，需要检查一下端口，更改为自己不冲突端口就可以了。代码如下：
# 非 host 版本, 不使用本机代理
version: '3.3'
services:
pg:
image: ankane/pgvector:v0.4.2 # git
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.4.2 # 阿里云
container_name: pg
restart: always
ports: # 生产环境建议不要暴露
- 5432:5432
networks:
- fastgpt
environment:
# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
- POSTGRES_USER=username
- POSTGRES_PASSWORD=password
- POSTGRES_DB=postgres
volumes:
- ./pg/data:/var/lib/postgresql/data
mongo:
image: mongo:5.0.18
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
container_name: mongo
restart: always
ports: # 生产环境建议不要暴露
- 27017:27017
networks:
- fastgpt
environment:
# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
- MONGO_INITDB_root_USERNAME=username
- MONGO_INITDB_ROOT_PASSWORD=password
volumes:
- ./mongo/data:/data/db
fastgpt:
container_name: fastgpt
# image: c121914yu/fast-gpt:latest # docker hub
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云
ports:
- 3000:3000
networks:
- fastgpt
depends_on:
- mongo
- pg
restart: always
environment:
# root 密码，用户名为: root
- DEFAULT_ROOT_PSW=1234
# 中转地址，如果是用官方号，不需要管
- OPENAI_BASE_URL=https://api.openai.com/v1
- CHAT_API_KEY=sk-xxxx
- DB_MAX_LINK=5 # database max link
- TOKEN_KEY=any
- ROOT_KEY=root_key
# mongo 配置，不需要改
- MONGODB_URI=mongodb://username:password@mongo:27017/?authSource=admin
- MONGODB_NAME=fastgpt
# pg配置.
- PG_HOST=pg
- PG_PORT=5432
- PG_USER=username
- PG_PASSWORD=password
- PG_DB_NAME=postgres
networks:
fastgpt:
其中涉及到了一些文件，我们需要提前创建好，在docker-compose文件中也有写，根据提示创建即可，也可以直接参考我的设置。
目录树
最后我们打开群晖的ssh端口，并用ssh工具连接到群晖，cd到fastGPT目录后输入命令：docker-compose up -d便可以启动项目了(需要注意文件格式，切换到utf-8）。
启动项目
启动成功之后会出现如下的界面，此时就能在docker UI中看到三个容器了。
项目启动成功
体验浏览器输入http://nasip 端口号就能看到项目界面了，此时我们点击右上角的登录就可以了。
主界面
如果你没有更改默认配置，那么用户名便是root，密码为1234。
示例
使用需要配置好openAI才行，简单模式下也可以用，但是采用的是基础库，没有3.5以及4.0这么智能。
体验
至于更多功能，可以自行去体验哦。熊猫对于GPT一类的都不是很感兴趣。
总结工具是个好工具，不过知识库需要搭建好，同时GPT的收费看似很低，日常用下来后你会发现用起来很快，无形中就没了。所以我还是选择bingAI吧！
以上便是本期的全部内容了，原创不易，不妨点赞收藏，最后也希望能得到你的关注，咱们下期见！
点赞收藏关注