Qwen-VL-Chat大模型本地部署教程

安装 conda 环境

如果是安卓端这里安装 ARM64 架构 conda 

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh 

bash Miniconda3-latest-Linux-aarch64.sh -b 

有些安卓平板可以会出现“"$CONDA_EXEC" constructor --prefix "$PREFIX" --extract-conda-pkgs” 

可以改安装 Miniforge3:各版本下载链接集合:https://conda-forge.org/miniforge/ 注意选择 aarch64 

wget https://github.com/conda-forge/miniforge/releases/download/24.1.2-0/Miniforge3-24.1.2-0-Linux-aarch64.sh 

bash Miniforge3-24.1.2-0-Linux-aarch64.sh -b 


如果是服务器端这里安装 conda 

cd /home/malata/Downloads

wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh 

bash Miniconda3-latest-Linux-x86_64.sh -b然后执行: 

/root/miniconda3/bin/conda init (例如:/home/malata/miniconda3/bin/conda init)

(注意 conda 的安装路径) 

然后输入:bash 

出现如:(base)root@localhost: 表示 OK; 

备注:conda deactivate 这条命令会退出当前激活的 Conda 环境,包括 base 环境。


#设置安装源为国内 

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ 

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ 


#创建目录

mkdir qwen-vl 

cd  qwen-vl 

#conda创建qwen-vl

conda create -n qwen-vl python=3.10

conda activate qwen-vl

#安装环境

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=11.8 -c pytorch -c nvidia(GPU版)

conda install pytorch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 cpuonly -c pytorch(CPU版)

#下载源码

git clone  https://github.com/QwenLM/Qwen-VL.git

cd  Qwen-VL

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install modelscope -U  -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 运行web_demo 0.0.0.0设置其它主机访问,也可以在文件编辑server-name设置default为0.0.0.0

python web_demo_mm.py --server-name 0.0.0.0(会下载模型,时间比较久)

#启动成功访问

http://127.0.0.1:8000 



分享一个国内免费使用GPT4.0的AI智能问答工具:智答专家。支持AI文本、作图、语音、Sora视频。无需魔法,亲测有效,点击访问

标签:Qwen-VL-Cha
来源:智答专家
发布时间:2024-10-28 17:39