有款工具，能让普通电脑跑起本地大模型。
名字叫 Strata。
它不是云端服务，整个模型都放在自己机器上。
断网也能用。
它此前主推的模型，块头并不小。
1250 亿参数，每跑一步只叫醒其中 60 亿。
最近这款工具连着更新了两回。
一回补上了 Mac。
一回换了个更小的模型。
本地跑这类AI工具的门槛，又往下压了一截。
Strata 官方更新的宣传图，画面上写着「现已支持 macOS」和「新增 35B 大模型」，底下一行小字标出全平台。
哪些机器跑得动
先说最实际的，什么样的机器能跑。
英伟达那边比较宽松，RTX 20 系列到 50 系列都在支持列表里。
四代卡一个没落下。
AMD 那边要挑型号。
RX 6000 系列到 9000 系列里，只有一部分能跑。
英特尔的 Arc 显卡，官方标的是实验性支持。
苹果的 M1 到 M5 芯片也一样。
有支持，但别指望太稳。
实验性支持的意思是能用，官方不保证稳定。
官方给的底线是 12GB 显存。
显存不够，模型连加载这一步都过不去。
老一点的卡也不是不能跑。
卡是真的卡。
另外，新加的那个小模型，暂时只支持英伟达和 AMD。
英特尔的显卡和苹果电脑版，都还用不上。
需要多大内存
显存只是第一道关。
官方建议 12GB 显存配 32GB 内存。
内存这条线，其实比显卡还硬。
只有 12GB 显存的机器，最好挑低量化的版本。
这个思路说白了就是拿精度换体积。
显存越大，能缓存的参数越多，跑起来也越快。
作者也是刚给机器加了 8GB 显存，才把它跑起来。
各档量化的内存要求，官方都写在发布说明里了。
小的那款分三档。
最低一档要 32GB 内存，体积也小，适合入门。
中间一档要 44GB，换来的是更高精度。
最高一档要 52GB，精度拉满，吃资源也最多。
大的那款分五档，从 48GB 起步。
官方推荐的是速度最快的那一档。
往上到 64GB，质量更好，速度稍慢。
最高一档要 96GB 以上，才更接近原始模型。
挑哪一档，看手里有多少内存，再看能接受多慢。
宁可先挑低一档，也别一上来就盯着最高档。
两款模型差在哪
接着看两款模型本身的差别。
它们用的都是混合专家架构。
意思就是模型里有很多个专家，问一句只叫醒其中几个。
真正拉开距离的是参数规模。
参数越大，推理越准，对硬件的要求也越高。
小模型总参数约 350 亿，每次只激活 30 亿。
另一个是 1250 亿参数，激活 60 亿。
一个轻，一个重。
小的那款，复杂推理要弱一些。
日常AI对话和文字处理，它够用。
AI编程这类活，它适合日常那些需求。
真正复杂的任务，还是大模型更稳。
资源占用上，小模型更省。
内存和显存都省。
两款都支持多词元预测，也就是一次猜好几个词元。
词元就是模型处理文字的最小单位。
官方还给了加速实测。
在同一张专业显卡上，普通推理每秒出 83 个词元。
打开多词元预测之后，每秒跳到 161 个。
快了差不多九成四。
这个提升不算小。
每秒出多少个词元，是本地推理最直观的速度指标。
Mac 也能跑了
从 0.1.44 版本开始，Strata 加上了原生 Metal 后端。
苹果 M1 到 M5 的芯片都能跑。
系统要求 macOS 15 或更新。
不过这一版还是实验性的。
限制有几条。
只支持单个并发请求。
上下文最长只验证到 32K。
新的小模型也没适配苹果电脑。
换句话说，苹果电脑版现在只能跑那个大模型。
装法有点折腾。
得先在苹果电脑上把代码克隆下来。
再跑一遍安装脚本。
脚本会从源码把推理引擎编译出来。
官方给了两组参考数据。
一台 Mac mini M4 配 32GB 内存，每秒出 8 到 14 个词元。
一台 Mac M5 Max 配 128GB，每秒 95 到 103 个词元。
机器越贵，速度越快。
内存最低还是 32GB。
想省心一点，还是等它不再标注实验性。
硬盘也得留够。
模型文件本身就不小。
小的那款最低一档是 22.4GB，配 32GB 内存。
中间一档 31.8GB，配 44GB 内存。
最高一档 36.9GB，配 52GB 内存。
大的那款从 66.4GB 开始。
接下来几档是 68GB 和 75.8GB。
再往上到 83.6GB。
最大的一档 93.7GB，配 96GB 内存刚好。
文件越大，精度越高，占的空间也越多。
图省事的话，照官方推荐的那一档来就行。
作者自己跑的是 68GB 那档。
硬盘上占了 100GB 出头。
作者机器上的模型文件夹属性截图，显示 13,417 个文件、1,225 个文件夹，一共占用 106 GB。
仓库挂在 GitHub 上。
安装这件事，其实可以直接交给 AI 去做。
把仓库地址和它的安装说明丢过去，让它自己动手。
也可以下载源码，手动跑脚本。
Windows 上双击一个批处理文件。
Linux 和 macOS 上跑安装脚本。
照着提示往下走就行。
装好之后会自动弹出浏览器，直接就能对话。
装好之后弹出的聊天界面，地址是 127.0.0.1:8080，输入框提示 Ask anything。
模型还能拿给别的应用调用。
接入其他工具的说明页，写着 Connect your tools，只要兼容 OpenAI 或 Anthropic 接口的客户端都能连，base URL 是 http://127.0.0.1:8080/v1。
快去试试吧。
有问题可以去留言讨论。
不过等它跑起来，系统内存也差不多见底了。
想跑得舒服一点，还是得先加内存。
