2024年1月，我研究在本地部署ChatGLM3-6B语言模型，基本部署成功，可以进行对话。

下面介绍一下ChatGLM3-6B特点、部署过程和应用前景。

模型简介：

该模型在2023年下旬问世，是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型，训练数据截止2022年。该模型在语义、数学、推理、代码、知识等不同方面具有在 10B 以下的基础模型中最强的性能。支持多轮对话、原生调用、代码执行、Agent 任务、32K长文本对话等复杂场景。FP16最高精度需要13GB显存，中等量化INT8需要8GB显存，低精度INT4需要6GB显存。

测试概述：

我是在RTX4070显卡（12G显存）上运行INT8量化的，总体感觉对话质量不错，ChatGLM3-6B在中等INT8量化下，回复质量总体上接近2023年中旬的文心一言3.5。

经过测试，ChatGLM3-6B与2023年中旬的文心一言3.5相比，在回复的事实性更优，逻辑性略逊，文学性和情商略逊，数学相近（小学程度的题），生成代码相近（初学者程度的题）。ChatGLM3-6B具有根据用户要求，在特定输入下输出特定内容的能力（可编程）。

网页运行ChatGLM3-6B后，对于简单问题，模型在1~2s内可以给出完整回复。对于需要思考的复杂问题，模型在5~20s内能给出完整回复。

部署过程：

Windows下部署过程：首先，下载安装Python312，Conda，PyTorch，pycharm-community，anaconda3，Git，Streamlit等软件，搭建Python人工智能编程环境。然后，下载ChatGLM3依赖文件包，下载ChatGLM3-6B模型（约12GB），修改依赖包内的启动程序代码，通过INT8量化加载。最后，用Streamlit构建的网页运行对话模型。具体过程需在网上搜相关内容，参照进行，对于第一次本地部署语言模型的人来说会遇到很多麻烦，解决问题的过程也是学习的过程。

应用前景：

该模型可以在Windows环境下，通过Python搭建前后端接口程序，实现复杂功能。例如，角色扮演+实时语音对话；机器人根据人的顶层命令，自己分解细化任务，执行任务过程中自行处理干扰等异常情况。ChatGLM3-6B可以在填写问卷进行登记后亦允许免费商业使用，意味着许多设备可以在付出4千~1万元的硬件成本下，获得离线运行、本地大语言模型的支持，实现许多以往难以实现的效果或功能，例如让服务型机器人像一个真人管家、保姆那样和主人对话，并且能控制各种电器、输出各种动作。大模型相当于一个人大脑中的潜意识，程序员和工程师通过编写Python程序，把输入的信息与大模型相连，并且构建出人造的“虚假显意识”，就为机器人提供了完整的大脑功能，让机器人像真人那样对外界输入做出反应。

#大模型##ChatGLM3##人工智能##chat GPT#