MLX 在 Mac 上部署本地 LLM

苹果官方专门为M系列芯片,开发的开源机器学习框架 https://github.com/ml-explore/mlx 跑MLX格式的大模型文件

由于背靠苹果官方优化,会比llama.cpp快不少

推荐使用第三方开发的桌面应用 LMStudio

https://lmstudio.ai

安装后在 设置 通用 登录项与扩展 把 LMStudio 的开机自启关掉

至于应用的使用都是图形化的很简单,配置 server 配置都是图形化的

卸载时,注意删除应用后,把 ~/ 下的 .lmstudio 开头的隐藏文件夹删掉