本文作者郝铠锋，Yi User Group Prompt 专家。发布本文时，编辑针对本文进行了不改变原意的编辑。

本文写作背景为作者在参加 Second State 与 Yi User Group 联合发起的春节 Prompt 比赛。活动详情请点击Yi 起过大年—春节 Prompt 比赛开始啦|李开复博士亲笔签名书籍、K3机械键盘、免费算力！

在使用 LlamaEdge[1] 在 Openbayes 上运行 Yi-34B-Chat 过程中有一些容易出错的点，我尽量写地详细一些，同时也介绍了我所使用的结构化 Prompt，文末附赠 Prompt 技巧。

准备工作

首先，打开 Openbayes 网站，注册openbayes。注册后应该会赠送三个小时的4090 算力，可以用来部署 Yi-34B-Chat 模型。

注：输入龙年大吉可额外获得10小时的 4090 算力。详情请点击文章 如何使用 OpenBayes 上的免费算力运行 Yi-34B | 内附福利

部署完成后，使用支付宝进行实名认证（注意，一定要支付宝认证，不然在创建 webui 的时候，会显示会通不过ssl认证）。

认证页面可以点击右上角头像，然后点击账号设置，就能看到实名认证。

开始部署

准备好之后打开页面:

这个页面提供了使用 LlamaEdge 部署 Yi 模型的环境。请书签该页面，过一会儿需要来这里粘贴命令。

准备完成后，点击克隆，会出现如下页面。

若页面没问题，直接选择“下一步：选择算力”。

这里可以看到，博主自己还剩1小时18分的4090算力。

选择好之后，直接点击“审核并执行”。出现下一步页面，选择“继续执行”。

可以看到，系统在为模型分配资源了。

分配完成之后，看到开始计时，这时使用 jupyter 打开工作空间。

我们进入启动页，并打开一个“终端”。

记得刚才需要书签的页面吧？回去复制命令安装 WasmEdge ，或者直接在这里复制命令行：

curl -sSf  | bash -s -- --plugin wasi_nn-ggml

如果该步骤出错，请初始化命令行工具：

bayes gear init

安装成功后，输入下面的命令行，切换资源目录

source /root/.bashrc

然后输入以下指令与大模型通过 CLI 交互：

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-chat.wasm -p chatml -r '<|im_end|>' -c 1024

可以看到服务启动了。此时输入我们的结构化prompt：

Role: 春节祝酒词唱词人\Background:\春节是中国传统节日，人们在这一天欢聚一堂，共庆团圆。作为春节祝酒词唱词人，你的使命是以七言诗句四句体的形式创作押韵的祝酒词，为庆祝活动增添欢乐氛围。\Attention:\确保每句歌词都能够押韵，保持韵律和节奏的流畅。\注重节日氛围的营造，让歌词充满喜庆和温暖的祝福。\Profile:\Author: Kevin Hall\Version: 1.0\Language: 中文\Description: 你是一名擅长创作七言诗句的春节祝酒词唱词人，具有丰富的诗词创作经验和出色的表达能力。\Skills:\准确把握七言诗的格律和韵律，能够创作出流畅押韵的祝酒词。\擅长运用传统节日元素和文化符号，创作富有节日氛围的歌词内容。\具备出色的朗诵和演唱能力，能够生动地演绎祝酒词，吸引听众的注意力。\Goals:\创作一首七言诗句四句体的押韵祝酒词，表达对节日的祝福和美好的愿望。\通过歌唱，为庆祝活动增添喜庆氛围，让听众感受到节日的欢乐和温馨。\Constrains:\确保每句歌词都符合七言诗的格律和押韵要求，保持整体的诗歌美感。\歌词内容应当贴合春节庆祝的主题，避免内容过于抽象或不相关的元素。\Workflow:\首先，构思祝酒词的主题和内容，确定歌词的基本框架。\创作每句歌词，确保每句都能够押韵，表达节日祝福和美好愿望。\完成歌词的创作后，进行反复修改和调整，确保歌词的流畅和完整。\练习歌词的朗诵和演唱，注重表达技巧和情感表达。\在庆祝活动上演唱歌词，与听众共享节日的喜庆和温馨。\Suggestions:\在创作歌词时，可以参考一些经典的春节祝酒词，融入自己的创意和个性。\注意歌词的情感表达和节奏感，让听众能够感受到你对节日的热爱和祝福。\在演唱时，注重节奏感和情感表达，让歌曲更具感染力和吸引力。\OutputFormat:\请输出一首七言诗句四句体的押韵祝酒词，歌曲风格自定，保持节日氛围和表达技巧。\Initialization:\作为春节祝酒词唱词人，你的任务是创作并演唱押韵的祝酒词，为庆祝活动增添欢乐气氛。在开始创作前，请确保你已准备好，并对创作任务有充分的理解。

说明：此处\为分行不断句，在 CLI 界面使用回车会导致模型识别为多语句。当需要使用多行 prompt 时，需要在回车的地方加入该符号。

prompt 效果图

说明：当你打字删除后，在命令行中会出现错误（已向官方反应，如果有问题请在文档打好字复制，不要去命令行删除）。此时，你需要重新使用指令启动服务。

选择 webui 方式

按 crtl+c 终止当前 cli 交互方式。然后输入下面的指令启动 webui 服务：

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-api-server.wasm -p chatml -r '<|im_end|>' -c 1024

可以看到服务已经启动了。

我们使用自己的本地（对，是自己的电脑）打开 cmd 进行服务映射。

使用以下指令：

ssh -vNL 8080:localhost:8080 root@ssh.openbayes.com -p32420

说明：具体的地址和端口号在这里查看，密码也在这里。格式为 ：ssh -vNL 8080:localhost:8080 root@ssh.openbayes.com -p端口号（其实直接复制SSH访问 这个文本框也可以，但是需要注意端口号）

完成后可以在我们的本地浏览器（自己的电脑浏览器）打开8080端口查看：

接下来输入我们的结构化prompt来尝试：（UI界面不需要使用\来回车）

Role: 对联高手Background:对联是中国传统文化中的重要组成部分，常用于各种庆祝活动和节日场合。作为对联高手，你的使命是根据给定的上联或横批，创作出完整的一副对联。完整的对联包含三部分，分别是上联、下联和横批。Workflow:接收输入的上联或横批。判断输入字数。根据字数生成对应的下联和横批，或者生成上联和下联。输出生成的对联。OutputFormat:示例：上联：上天言好事下联：回宫降吉祥横批：一家之主Suggestions:如果收到5、7或9个字的上联，请在创作下联时考虑平仄、押韵等要素，生成下联和横批。如果收到4个字的横批，请根据横批的意境和内涵创作出与之相配的上联和下联。上联和下联一般为7个字。横批一般为四个字。

可以查看一下我们的效果图：

如果有对结构化prompt感兴趣，可以查看拙作：

简明prompt提示词工程快速上手[2]

原文链接：

参考资料

[1]

LlamaEdge:

[2]

简明prompt提示词工程快速上手:

关于 WasmEdge

WasmEdge 是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。目前是 CNCF 沙箱项目。WasmEdge 被应用在 SaaS、云原生，service mesh、边缘计算、边缘云、微服务、流数据处理、LLM 推理等领域。

GitHub：

官网：

‍‍Discord 群：

文档：

关于 Yi

Yi 系列模型是零一万物发布的开源大模型，包括聊天、基座和多模态模型。其中，Yi-34B 以黑马姿态取得了多项 SOTA 国际最佳性能指标，成为全球开源大模型中英文能力“双料冠军”（数据截止至 2023 年 11 月）；Yi-34B-Chat 在多项权威评测榜单中，中英文能力仅次于 GPT-4（数据截止至 2023 年 12 月）；Yi-VL 模型在英文权威评测 MMMU 榜单中，性能仅次于 GPT4-V（数据截止至 2024 年 1 月）。

GitHub：

官网：

微信群：加群主好友（微信号：RichardLLQ），验证后进微信群

文档：