xiangcai.eth

發布於 2024-04-27到 Mirror 閱讀

Heurist miner快速部署图文指南

1.配置需求

     Heurist测试网提供两种积分:waifu point和Llama point。waifu point是通过运行词生图的sd模型获得的。Llama point是通过运行llm大语言模型获得的。在运行模型时,显卡型号没有限制,但显存是硬性门槛,需求显存越大的模型获得分数的系数也会更高。

     下图为目前支持的llm模型,sd模型只有启用或排除sdxl两种模式,启用sdxl需要12G显存,排除sdxl模型目前我测试下来8G显存就可以跑

模型硬件需求

2.在gpu租赁平台运行miner

教程分为在租赁平台上运行和windows本地运行两个部分

2.1 在租赁平台上运行llm与sd

     显卡租赁平台提供了运行的基础环境,因此门槛也是最低的,我这边以VAST平台作为演示,可以使用虚拟货币充值。演示使用3090 24g显存作为示例,因为性价比较高,还能同时运行llm与sd(同时运行也可能导致任务超时而拿不到积分)。

https://cloud.vast.ai/?ref_id=85950&template_id=e4c5e88bc289f4eecb0c955c4fe7430d

使用以上链接的模板,硬盘选择100G(3090双跑大概需要60g硬盘)

左边模板应该和图片一样,然后选择显卡租赁(地区选US的最佳,CN的不要选,下载网速最好选快点的,因为模型有几十g要下载)

接下来启动实例

如果启动后显示不安全,就点击高级然后选择继续访问。进入jupyter之后,启动新的终端

首先我们安装llm,终端执行命令

sudo apt update && sudo apt upgrade -y && sudo apt install python3-venv screen jq bc -y && sudo git clone https://github.com/heurist-network/miner-release.git && cd miner-release && sudo chmod +x llm-miner-starter.sh && screen -S llm-miner

该命令会安装一些前置依赖并启动一个新的终端

然后使用以下命令来编辑我们的地址

echo "MINER_ID_0=你的地址-备注" > .env

例如 echo "MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090" > .env

接下来我们运行llm启动脚本

./llm-miner-starter.sh 模型名字


具体模型名字根据前面配置需求去修改,我这是3090,所以我执行的是

./llm-miner-starter.sh dolphin-2.9-llama3-8b

脚本一开始会下载模型,最后显示如上输出miner就正常运行了

我们键入 ctrl+a+d 使程序后台运行

使用 screen -r llm-miner 可以重新回到程序

2.2 同时运行sd

这一段的前提是已经运行了llm-miner

我们先将llm程序置于后台运行,ctrl+a+d

执行以下命令,创建一个新的终端

screen -S sd-miner


在新终端内执行

conda create -n sd-venv python=3.11 -y --quiet  && conda activate sd-venv && pip install -r requirements.txt && python sd-miner-v1.2.0.py --log-level DEBUG --auto-confirm yes --exclude-sdxl 


同样程序会先下载模型,最后看到如下图所示则代表sd-miner已成功运行

同样我们键入 ctrl+a+d 使程序后台运行

screen -r sd-miner 可以重新回到程序

2.3 单独运行sd-miner

例如你租了3060 12G显存的显卡,只想单独运行sd-miner

模板用的和前面的是一样的

进入终端执行

mkdir -p ~/miniconda3 && wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh && bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 && rm -rf ~/miniconda3/miniconda.sh && ~/miniconda3/bin/conda init bash && source /root/.bashrc && git clone https://github.com/heurist-network/miner-release && conda create -n sd-venv python=3.11 -y --quiet && conda activate sd-venv && cd miner-release && pip install -r requirements.txt

设置账号

echo "MINER_ID_0=你的地址-备注" > .env
例如 echo "MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090" > .env

最后启动sd程序

python sd-miner-v1.2.0.py --log-level DEBUG --auto-confirm yes

3. windows本地运行sd-miner

根据自己显卡型号安装最新版的N卡驱动

https://www.nvidia.cn/geforce/drivers/

根据自己系统版本下载并安装12.1的cuda驱动

https://developer.nvidia.com/cuda-12-1-0-download-archive?target_os=Windows&target_arch=x86_64

下载并安装miniconda

https://docs.anaconda.com/free/miniconda/index.html

下载最新的miner-release

https://github.com/heurist-network/miner-release/archive/refs/heads/main.zip

解压完miner-release我们先将.env.example重命名为.env,并且修改里面的id

MINER_ID_0=你的地址-备注

例如MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090

接着用管理员打开conda的控制台

使用cd+你miner-release的目录路径进入文件夹

接着依次执行以下命令

conda create -n sd python=3.11 -y --quiet

conda activate sd

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install -U huggingface_hub chardet -i https://pypi.tuna.tsinghua.edu.cn/simple

setx HF_ENDPOINT "https://hf-mirror.com"

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia -y

如果你的显存大于等于12G则运行
python sd-miner-v1.2.0.py --log-level DEBUG --auto-confirm yes
否则运行
python sd-miner-v1.2.0.py --log-level DEBUG --auto-confirm yes --exclude-sdxl 

看到下图则代表运行成功

3.1 本地运行llm-miner

运行llm需要liunx系统,所以windows必须使用wsl才能运行llm程序

因为不同系统版本与设置会导致wsl各种各样的报错

所以这边只给个思路参考

我用的是wsl2 Ubuntu-22.04 ,先根据上面sd里的 把显卡驱动和cuda驱动安装上

然后根据官方的llm安装流程就能跑起来

https://github.com/heurist-network/miner-release/tree/main

如果不认cuda,可以尝试安装wsl版的cuda,不要去安装liunx的驱动和cuda 会导致不认显卡

https://developer.nvidia.com/cuda-12-1-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=runfile_local

具体问题可以在dc内询问