LangChain開(kāi)發(fā)環(huán)境準(zhǔn)備-AI大模型私有部署的技術(shù)指南

LangChain開(kāi)發(fā)環(huán)境準(zhǔn)備AI大模型私有部署的技術(shù)指南

今天開(kāi)始小智將開(kāi)啟系列AI應(yīng)用開(kāi)發(fā)課程，主要基于LangChain框架基于實(shí)戰(zhàn)項(xiàng)目手把手教大家如何將AI這一新時(shí)代的基礎(chǔ)設(shè)施應(yīng)用到自己開(kāi)發(fā)應(yīng)用中來(lái)。歡迎大家持續(xù)關(guān)注

當(dāng)下在AI應(yīng)用開(kāi)發(fā)領(lǐng)域，LangChain框架可以說(shuō)是唯一選擇。然而，上手學(xué)習(xí)的小伙伴們大多被攔在了第一步，沒(méi)有可供使用的AI大模型底座，沒(méi)有可供實(shí)驗(yàn)的環(huán)境進(jìn)行實(shí)操。而各大廠商比如OpenAI提供的API需要付費(fèi)不說(shuō)，從注冊(cè)、開(kāi)通到使用都有諸多的不便和限制。

因此，如何在本地或者私有網(wǎng)絡(luò)中部署和使用AI大模型，成為了一個(gè)亟待解決的挑戰(zhàn)。本文將以Baichuan213BChat4bits為例，介紹如何進(jìn)行AI大模型私有部署,用于LangChain開(kāi)發(fā)實(shí)驗(yàn)實(shí)操。本次課程提綱如下，今天主要降大模型部署的部分。

基礎(chǔ)環(huán)境

環(huán)境配置與安裝1.python 3.8及以上版本，官網(wǎng)安裝即可  地址：https://www.python.org/2.pytorch 1.12及以上版本，推薦2.0及以上版本，官網(wǎng)安裝即可  地址：https://pytorch.org/getstarted/locally/3.建議使用CUDA 11.4及以上，根據(jù)顯卡匹配英偉達(dá)推薦驅(qū)動(dòng)進(jìn)行暗轉(zhuǎn)  地址：https://developer.nvidia.com/cuda1140downloadarchive4.建議使用linux環(huán)境安裝，本文示例基于linux環(huán)境演示5.假定以下動(dòng)作執(zhí)行的當(dāng)前目錄為/aidev

模型下載

要在LangChain開(kāi)發(fā)環(huán)境中部署AI大模型，首先需要下載模型文件和配置文件。Baichuan213BChat4bits模型已經(jīng)上傳到了huggingface這個(gè)知名的AI模型庫(kù)中，我們可以通過(guò)以下步驟來(lái)下載它：

從huggingface上下載模型及配置文件

1. 模型下載鏈接如下

https://huggingface.co/baichuaninc/Baichuan213BChat4bits

2. 在模型頁(yè)面中，點(diǎn)擊右上角的Download按鈕，選擇Download files選項(xiàng)。

3. linux系統(tǒng)可以直接通過(guò)以下腳本下載

aptget y install qq aria2aria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/config.json d /content/baichuaninc/Baichuan213BChat4bits o config.jsonaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/configuration_baichuan.py d /content/baichuaninc/Baichuan213BChat4bits o configuration_baichuan.pyaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/generation_config.json d /content/baichuaninc/Baichuan213BChat4bits o generation_config.jsonaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/generation_utils.py d /content/baichuaninc/Baichuan213BChat4bits o generation_utils.pyaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/handler.py d /content/baichuaninc/Baichuan213BChat4bits o handler.pyaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/modeling_baichuan.py d /content/baichuaninc/Baichuan213BChat4bits o modeling_baichuan.pyaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/resolve/main/pytorch_model.bin d /content/baichuaninc/Baichuan213BChat4bits o pytorch_model.binaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/quantizer.py d /content/baichuaninc/Baichuan213BChat4bits o quantizer.pyaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/requirements.txt d /content/baichuaninc/Baichuan213BChat4bits o requirements.txtaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/special_tokens_map.json d /content/baichuaninc/Baichuan213BChat4bits o special_tokens_map.jsonaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/tokenization_baichuan.py d /content/baichuaninc/Baichuan213BChat4bits o tokenization_baichuan.pyaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/resolve/main/tokenizer.model d /content/baichuaninc/Baichuan213BChat4bits o tokenizer.modelaria2c consoleloglevel=error c x 16 s 16 k 1M https://huggingface.co/baichuaninc/Baichuan213BChat4bits/raw/main/tokenizer_config.json d /content/baichuaninc/Baichuan213BChat4bits o tokenizer_config.json

基礎(chǔ)依賴(lài)安裝

下載好模型文件和配置文件后，主目錄為/aidev，文件目錄為baichuaninc/Baichuan213BChat4bits（備注后續(xù)啟動(dòng)模型會(huì)默認(rèn)加載此目錄，請(qǐng)按此命名），我們還需要安裝一些基礎(chǔ)的依賴(lài)庫(kù)，以便于在LangChain開(kāi)發(fā)環(huán)境中運(yùn)行模型。我們可以通過(guò)以下步驟來(lái)安裝：

pip安裝模型運(yùn)行的依賴(lài)，requirment.txt文件pip install r baichuaninc/Baichuan213BChat4bits/requirements.txt

這樣就完成了基礎(chǔ)依賴(lài)庫(kù)的安裝。

模型測(cè)試

安裝好基礎(chǔ)依賴(lài)庫(kù)后，我們可以先測(cè)試一下模型是否能夠正常運(yùn)行。我們可以通過(guò)以下步驟來(lái)測(cè)試：

基于官方示例，創(chuàng)建模型對(duì)象，并調(diào)用對(duì)話方法

1. 在當(dāng)前目錄即/aidev中創(chuàng)建一個(gè)名為app.py的文件，并輸入以下內(nèi)容：

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizerfrom transformers.generation.utils import GenerationConfigtokenizer = AutoTokenizer.from_pretrained(&34;baichuaninc/Baichuan213BChat4bits&34;, use_fast=False, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained(&34;baichuaninc/Baichuan213BChat4bits&34;, device_map=&34;auto&34;, torch_dtype=torch.bfloat16, trust_remote_code=True)model.generation_config = GenerationConfig.from_pretrained(&34;baichuaninc/Baichuan213BChat4bits&34;)messages = []messages.append({&34;role&34;: &34;user&34;, &34;content&34;: &34;解釋一下“溫故而知新”&34;})response = model.chat(tokenizer, messages)print(response)

2. 啟用測(cè)試

python app.py

運(yùn)行效果如下圖所示

基于FastAPI創(chuàng)建模型訪問(wèn)接口示例

測(cè)試好模型后，我們已經(jīng)掌握了與大模型對(duì)話的入口，可以進(jìn)一步基于FastAPI創(chuàng)建一個(gè)模型訪問(wèn)接口，這樣就可以讓外部的應(yīng)用或者用戶(hù)通過(guò)網(wǎng)絡(luò)來(lái)調(diào)用我們部署在LangChain開(kāi)發(fā)環(huán)境中的AI大模型。我們可以通過(guò)以下步驟來(lái)創(chuàng)建：

1. 安裝uvicorn

pip install uvicorn

2. 在當(dāng)前目錄即/aidev中創(chuàng)建一個(gè)名為api.py的文件，并輸入以下內(nèi)容：

from fastapi import FastAPIfrom fastapi import HTTPExceptionfrom pydantic import BaseModelimport torchfrom transformers import AutoModelForCausalLM, AutoTokenizerfrom transformers.generation.utils import GenerationConfigtokenizer = AutoTokenizer.from_pretrained(&34;baichuaninc/Baichuan213BChat4bits&34;, use_fast=False, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained(&34;baichuaninc/Baichuan213BChat4bits&34;, device_map=&34;auto&34;, torch_dtype=torch.bfloat16, trust_remote_code=True)model.generation_config = GenerationConfig.from_pretrained(&34;baichuaninc/Baichuan213BChat4bits&34;)app = FastAPI() This defines the data json format expected for the endpoint, change as neededclass RequestItem(BaseModel):    message: str@app.post(&34;/generate/&34;)async def generate_text(request_item: RequestItem):    try:         在這里處理接收到的 JSON 請(qǐng)求        reqStr = request_item.message        messages = []        messages.append({&34;role&34;: &34;user&34;, &34;content&34;: reqStr})        response = model.chat(tokenizer,messages)        return {&34;generated_text&34;: response}    except Exception as e:        raise HTTPException(status_code=500, detail=str(e))

3. 啟動(dòng)接口

uvicorn app:app host 0.0.0.0 port 8000 > server.log 2>&1 &

4. 使用測(cè)試如下圖所示

總結(jié)

本文介紹了如何在LangChain開(kāi)發(fā)環(huán)境中準(zhǔn)備AI大模型私有部署的技術(shù)指南，以Baichuan213BChat4bits為例，分別介紹了模型下載、基礎(chǔ)依賴(lài)安裝、模型測(cè)試和基于FastAPI創(chuàng)建模型訪問(wèn)接口的步驟和代碼。當(dāng)然只是簡(jiǎn)單的提供對(duì)話接口的話，還無(wú)法將大模型接入langchain的開(kāi)發(fā)流程中。

點(diǎn)擊鏈接獲取一份GPT至強(qiáng)筆記:「鏈接」

下一節(jié)課我將講解如何基于Baichuan213BChat4bits，提供符合langchain接入標(biāo)準(zhǔn)的openaiapi接口，請(qǐng)大家持續(xù)關(guān)注。