使用 Openvino 部署本地AI大模型

bin • 2024-06-10 • 科技潮流 • 356 阅读

前阵子微软在Build大会上推出了Copilot+ PC，用户可使用文本、语音、图像和视频跟Windows交互，PC在体验上又实现一次巨大的升级。

一、前言

最近接触到AI的信息比较多，自己按耐不住爱折腾的心，便在MTL的电脑上部署了两个AI模型，一个是普通的聊天模型，另一个则是文生图模型，这里记录一下。
在PC上跑大模型是比较消耗算力的，主要依赖于GPU和NPU，所以普通配置的电脑就不要想跑大模型了。
Intel的平台跑大模型最好配合Intel开发的OpenVino框架，它有助于优化和部署AI推理。此框架Intel是开源，可直接在Github下载到，地址：https://github.com/openvinotoolkit，在笔记本部署体验AI，可以下载这个项目：https://github.com/openvinotoolkit/openvino_notebooks

二、部署

Stable Diffusion

Github文档写得很详细：https://github.com/openvinotoolkit/openvino_notebooks/wiki/Windows，一步一步做就可以了。1-8是配置环境，9是启动一个例子，比如我想要部署一个文生图模型，那就执行：
jupyter lab notebooks/stable-diffusion-text-to-image/stable-diffusion-text-to-image.ipynb
此时会建立一个本地的服务器，然后调用浏览器访问此服务器。

将页面往下翻，找到Configue Inference Pipiline，把Value改为GPU，这样生图会快一些。如果设置的CPU，生成一张图要等好几分钟。我设置过NPU，但是一直失败，跑不过，不知是什么原因。

由于第一次接触jupyter，刚开始不知道怎么进行下去。后面查了下，.ipynb文件类型原来是可以直接执行的，只需点击左上角，Run => Run All Cells 即可按照文档中的程序一步一步执行下去。

此过程会下载依赖包和模型文件，文件较大，需要等待一段时间。这里有个非常关键的地方，那就是网络，最好开代理。Intel的文档中，虽然有写了可以设置国内的镜像，但不好用，设置了也有可能失败。
成功之后，你会在页面底下看到几个输入框界面，此时便可以在Text处输入提示词了，如 A Cat，大概十几秒便可生成一张图片。也可以点击本地的链接，可以单独打开一个页面。这个模型看起来不支持中文，如果用中文提示词，图是胡乱生成的。

Qwen-1.5-7B

openvino_notebooks这个项目提供了非常多的例子，其中有一个llm-chatbot，支持大部分开源的大语言模型。国外的模型尽管可以支持中文，但是聊着聊着会变成英文，也有中英混合的情况，所以最好选择阿里的Qwen项目，对中文的支持比较完善。Qwen分为几个版本，我选择的是参数量比较大的qwen-1.5-7B版本，但是部署这个一直没有成功，后面去github找了一下，发现有个项目有相关脚本和教程，地址：https://github.com/OpenVINO-dev-contest/Qwen2.openvino/blob/main/README_zh.md。
教程用的是Qwen1.5-0.5B-Chat，我改成了qwen-1.5-7B，在转换模型的时候，内存占用居然达到了62G，幸好我的机器内存是64G的，刚好可以转换成功。教程最后的启动参数使用的是CPU，需要改为GPU，否则非常慢。
部署成功后可以在控制台看到此界面，便可以进行聊天了。

三、总结

整个部署的过程还是非常简单的，照着文档写的步骤很容易搭建成功，最大的障碍其实是网络问题。如果有NV的显卡，可以直接使用开源项目Jan（https://github.com/janhq/jan）提供的Chat客户端，一键下载部署，非常方便。

版权声明：
作者：bin
链接：https://ay123.net/mystudy/trend/1795/
来源：爱影博客
文章版权归作者所有，未经允许请勿转载。

THE END
分享
二维码
海报
使用 Openvino 部署本地AI大模型
前阵子微软在Build大会上推出了Copilot+ PC，用户可使用文本、语音、图像和视频跟Windows交互，PC在体验上又实现一次巨大的升级。 一、前言 最近接触到AI……
<<上一篇
下一篇>>
文章目录
关闭
目 录