Mac mini m4本地跑大模型(ollama + llama + ComfyUI + Stable Diffusion | flux)

   日期:2024-12-26     作者:yindufu1       评论:0    移动:http://w.yusign.com/mobile/news/5280.html
核心提示:针对绘画大模型的使用做进一步的详细操作(flux1dev) 见篇节(绘画大模型) 更新了基础的chat大模型和
  • 针对绘画大模型的使用做进一步的详细操作(flux1dev
    见篇节(绘画大模型
  • 更新了基础的chat大模型和绘画大模型的基础环境搭建。

如果只是玩玩的话可以,llama3回复非常迅速,也非常有灵性,但是真实性非常差!请不要让他帮你干生产力工作。

https://ollama.com/
点击启动访问:http://localhost:11434

代表已经运行起来了

Mac机身内存寸土寸金,外置硬盘盒将大模型安装到里面也可以运行,下面是修改ollama模型路径的方法

  • 官方说设置环境变量就可以了,但是在macOS上我试了好像没什么作用,包括设置访问权限chmod等都没用。
  • 这里说我的解决方案

默认ollama会放到根目录:.ollama文件夹下,打开终端运行

  • 创建符号链接
 
 

你的外置硬盘盒里面就有模型了(如果你之前在默认文件夹下载好了,则把两个文件夹拷贝到硬盘盒文件夹下就可以了
下载好之后在终端命令窗口里面问它就可以对话了

macOS安装docker后运行下方命令就可以打开浏览器访问了

 

http://localhost:3000就可以看到页面了,设置密码后注意保存

如果你想玩,这个是推荐的,可以随意的画画画

首先安装ComfyUI,去GitHub下载一个最新版本,用python跑起来就可以了,界面是工作流这种

  • 从releases下载好,解压进入根目录
  • 创建python虚拟目录
     
  • 执行安装

    项目中一般会有这个依赖文件

  • 启动:访问8188就可以了
  • Mac mini m4(16+256G
  • 外置硬盘盒:pm981a(2T)
  • flux是黑森林工作室的绘画大模型,效果非常惊艳,细节性有显著优势,这是官网可以去瞅瞅
  • 其中官方flux有三个版本:pro,dev,schnel(效果递减,占用资源递减
    而pro是商用的,开源的只有后面两个dev和schnel。
  • 针对官方的flux有衍生出多个开源版本就是其中的一个(dev和schnel),我们使用这个。

flux(GGUF)

安装插件和下载模型flux(GGUF)
  1. 下载 Flux GGUF dev 模型 或 Flux GGUF schnell 模型 并将模型文件放置在 目录下
  2. 下载 t5-v1_1-xxl-encoder-gguf,并将模型文件放置在 目录下
  3. 下载 clip_l.safetensors 并将模型文件放置在 目录下
  4. 下载 ae.safetensors 并将模型文件放置在 目录下,建议重命名为
  5. 安装 ComfyUI-GGUF 插件,
  • 首先下载ComfyUI-manager(这是所有的插件管理者
  • 将解压后的文件夹复制到 comfyui/custom_nodes 的插件目录下
  • 重启 ComfyUI ,查看插件是否安装完成
    然后点击右上角的图标,再点击Custom nodes Manager ->搜索 GGUF安装即可

这是我下载的版本:GGUF(Q8[12GB],t5(Q8[5GB])
注意:需要魔法网络(如果没有可以联系我,1元一份

GGUF 版本 Flux.1 工作流示例

flux-1-dev-gguf-example.json

文件太大,放文章上方资源区域了,免费的。

     本文地址:http://w.yusign.com/news/5280.html    述古往 http://w.yusign.com/static/ , 查看更多
 
特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

举报收藏 0打赏 0评论 0
 
更多>同类资讯
0相关评论

相关文章
最新文章
推荐文章
推荐图文
资讯
点击排行
{
网站首页  |  关于我们  |  联系方式  |  用户协议  |  隐私政策  |  版权声明  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号