网页版推理教程

网页推理

pip install -U streamlit

首先通过以上命令安装streamlit，然后通过下面命令启动网页以便访问，'/path/to/model'需要改成你的权重下载路径。
V1版本：

streamlit run deploy/web_streamlit_for_v1.py /path/to/model --theme.base="dark"

Instruct版本 （支持自定义system prompt)

streamlit run deploy/web_streamlit_for_instruct.py /path/to/model --theme.base="dark"

在线云镜像网页体验：https://www.suanyun.cn/console/share?uuid=b1ba51908f8a4bd1af37148765c293ee

Instruct DPO版 （支持自定义system prompt，喜欢使用有趣语言风格和表情回复)

streamlit run deploy/web_streamlit_for_instruct_v2.py /path/to/model --theme.base="dark"