使用指南#

本教程为您提供了关于如何使用DB-GPT的使用指南。

安装#

请按照以下步骤安装DB-GPT

1. Hardware Requirements#

由于我们的项目有能力达到85%以上的ChatGPT性能，所以对硬件有一定的要求。但总体来说，我们在消费级的显卡上即可完成项目的部署使用，具体部署的硬件说明如下:

GPU

显存大小

显存大小

RTX 4090

24 GB

可以流畅的进行对话推理，无卡顿

RTX 3090

24 GB

可以流畅进行对话推理，有卡顿感，但好于V100

V100

16 GB

可以进行对话推理，有明显卡顿

2. Install#

1.This project relies on a local MySQL database service, which you need to install locally. We recommend using Docker for installation.

$ docker run --name=mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=aa12345678 -dit mysql:latest

  1. 准备db-gpt server sql脚本

$ mysql -h127.0.0.1 -uroot -paa12345678 < ./assets/schema/knowledge_management.sql

向量数据库我们默认使用的是Chroma内存数据库，所以无需特殊安装，如果有需要连接其他的同学，可以按照我们的教程进行安装配置。整个DB-GPT的安装过程，我们使用的是miniconda3的虚拟环境。创建虚拟环境，并安装python依赖包

python>=3.10
conda create -n dbgpt_env python=3.10
conda activate dbgpt_env
pip install -r requirements.txt

使用知识库管理功能之前

python -m spacy download zh_core_web_sm

环境安装完成后，我们必须在DB-GPT项目中创建一个新文件夹”models”，然后我们可以把从huggingface下载的所有模型放到这个目录下。

小技巧

Notice make sure you have install git-lfs

git clone https://huggingface.co/Tribbiani/vicuna-13b 
git clone https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
git clone https://huggingface.co/THUDM/chatglm2-6b

模型文件很大，需要很长时间才能下载。在下载过程中，让我们配置.env文件，它需要从。env.template中复制和创建。

小技巧

cp .env.template .env

您可以在.env文件中配置基本参数，例如将LLM_MODEL设置为要使用的模型。

3. Run#

关于基础模型, 可以根据Vicuna 合成教程进行合成。

如果此步有困难的同学，也可以直接使用此链接上的模型进行替代。

在.env文件设置向量数据库环境变量，eg:VECTOR_STORE_TYPE=Chroma, 目前我们支持了 Chroma and Milvus(version >2.1)

1.Run db-gpt server

$ python pilot/server/dbgpt_server.py

Open http://localhost:5000 with your browser to see the product.

如果你想访问外部的大模型服务，1.需要在.env文件设置模型名和外部模型服务地址。2.使用light模式启动服务

$ python pilot/server/dbgpt_server.py --light

如果你想了解DB-GPT前端服务，访问https://github.com/csunny/DB-GPT/tree/new-page-framework/datacenter