众所周知,我们已经有很多免费的大模型工具可以用,比如:
文心一言:https://yiyan.baidu.com/
通义千问:https://tongyi.aliyun.com/qianwen/
kimi:https://kimi.moonshot.cn/
以及众多手机APP:豆包、腾讯元宝、kimi、文心一言…
但那些都是别人的,我还想要自己的,因为——
🚀 数据隐私:在自己个人电脑上安装和使用大模型,数据不离开自己电脑,保护个人隐私;
🌐 离线访问:随时随地使用,不联网也可以正常使用;
📚 学习研究:深入理解大模型运行机制,体验新技术,满足好奇心;
💰 永久免费:部署好了就是自己的,以后都不用花钱,也不用看广告。
下边是我今天在自己电脑上装的大模型,问答结果还不错。
所以,我们开始吧!过程很简单,总共分三步,耗时取决于网速。
**🔧 第一步:安装管理工具Ollama
**
**🌐 第二步:部署 Ollama 的访问页面
**
📚 第三步:安装大语言模型
这样,就可以和自己的大模型对话了!下面是详细的操作步骤。
一、安装管理工具****Ollama
Ollama是一款大模型管理工具,官网:https://ollama.com/
安装Ollama可以方便我们使用包括Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。
支持的大语言模型列表可见:https://ollama.com/library
访问官网:https://ollama.com/
下载安装程序(支持 Windows/MacOS/Linux)
下载完成之后,找到安装文件双击(在浏览器的下载列表,或直接到下载文件夹找到OllamaSetup.exe)。
点击“Install”
Ollama安装程序自动运行,中间没有其他操作(这里无法选择“存放大模型的文件夹”,后边会在系统设置里更改)。
程序安装完成之后,会在桌面右下角弹出提示,代表安装成功。
可以在右下角查看Ollama的图标,不过这个图标只代表程序运行了,没有办法启动它的界面,我们需要另外给Ollama安装一个访问界面。
先打开一个文件夹,在左侧列表,右键点击“此电脑”,点击属性。
在“系统信息”页面,点击“高级系统设置”,在弹出的“系统属性”窗口中,点击“环境变量”。
在“环境变量”窗口中,点击“系统变量”的“新建”按钮。
填写如下内容:
**变量名:OLLAMA_MODELS
**
**变量值:**D:OllamaModels(也可以是其他文件夹,后续用于存放下载的大模型文件,预留比较大的空间,至少留几个G吧)
重启Ollama,先右键点击桌面右下角Ollama图标退出。
再在开始菜单处找到Ollama,打开
访问相应文件夹,看是否已经创建成功
**
**
*二、**部署 Ollama 的访问页面*
*
*
**
**
访问git网站,地址:https://git-scm.com/,点击Downloads。
**
**
支持 Windows/MacOS/Linux,点击相应操作系统类型。
根据自己电脑的实际情况,选择安装包文件,点击下载。
下载完成之后,找到安装文件双击(在浏览器的下载列表,或直接到下载文件夹找到Git-2.45.2-64-bit.exe)。
点击“Next”
其他页面按默认选择即可,选择默认编辑器这页,选择一下记事本,即“Use Notepad as Git’s default editor”,然后一直点“Next”直到安装完成。
**
**
访问Node网站,地址:https://git-scm.com/,点击下载Node.js。
下载完成之后,找到安装文件双击(在浏览器的下载列表,或直接到下载文件夹找到node-v20.15.1-x64.msi)。
点击“Next”
在选择安装路径处,设置相应的安装文件夹,点击“Next”直到完成。
**
**
首先复制以下文本(ollama-webui代码):
打开想要存储Ollama界面程序的文件夹(我选了D盘),在空白处右键,点击“在终端中打开”。
在窗口中,点击右键
填入剪切板中复制好的内容,点击回车,开始下载代码。
显示如下内容,代表下载完成
如图,继续输入相应内容:
-
切换代码的目录:
-
设置 Node.js 工具包镜像源:
-
安装 Node.js 依赖的工具包:npm install
-
启动 Web 可视化界面:npm run dev
显示如下内容,代表设置成功
打开浏览器,输入:http://localhost:3000/,进入Ollama访问页面。
**
****
**三、安装大语言模型****
**
****
🌈安装****qwen2大模型
**
**
在开始菜单输入“cmd”打开命令提示符窗口,输入:ollama pull qwen2:0.5b,点击回车。代表从 Ollama 远程仓库下载(或更新)qwen2大模型的0.5b参数规格大模型文件到刚才设置的存储模型文件的文件夹。
可在窗口中查看下载进度
显示“success”代表下载成功
****
******
🌈安装****glm4大模型
- 文章在“select a model”右侧,点击设置小图标;
- 在“Settings”弹窗中,点击“Models”;
- 在“Pull a model”输入框,输入glm4:9b
- 点击下载按钮
在当前页面查看下载进度
下载成功后,会显示“success”提示
****四、和自己的大模型对话******
两个大模型都下载成功了,现在可以选择他们来进行对话了。
各问它们一个“怎么能2个月减20斤?”的问题,谁的回答更好呢?
**🌈**qwen2大模型的*回答*
**🌈**glm4*大模型的回答*
END
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。