本地跑的那个助手,拿了 a16z 和 Anthropic 的钱

10 月 19 日,智东西报道了一家刚满 8 个月的公司。

Conway,做智能体的美国创企。

它拿出第一款个人助手。

名字叫 Underdog。

同时把投资人也说了。

Anthropic 牵头的投资联合体在里面。

a16z 也在。

还有几位来自谷歌和 OpenAI 的人。

创始人在 X 上公布融资

这家公司给的定位很直白。

说它是目前隐私性最强的 Muse 竞品。

Muse 是 Meta 推的个人助手。

9 月 8 日上线。

十天就超过 ChatGPT。

美国应用商店免费总榜第一。

它会自己拆目标,自己往下做。

办公、生活都管。每个用户分一台云端虚拟机。

任务在后台一直跑。

这股风很快吹开了。

OpenAI 上了 Dot。马斯克放出 Grok Bot。Manus 出了 2.0。

国内几家大厂都被曝在做。

字节和腾讯也在其中。

Underdog 干的活差不多。

区别只有一条。

它整个跑在用户自己的设备上。

断网也照用。

这一点把两类产品分开了。

云端那套靠的是厂商的服务器。

日历自动排日程

Conway 今年 2 月成立。

方向是能自己跑的智能体框架。

眼下这款产品还在邀测。没有公开发布。

创始人叫 Sigil Wen。

00 后,大学肄业,自学出身。

17 岁那年他一个人搬到硅谷。

先在一间创客公寓住了 11 个月。

邻居全是后来出名的人。

那间公寓里有 Karpathy。

也有 Midjourney 和 Anthropic 的联创。

那么,一个才八个月的公司。

凭什么让硅谷下注。

Sigil Wen 本人

先说卖点。

它的核心只有一条,全部跑在本地。

数据不出这台机器。

断网也照样能替你判断。

现在有 Mac 和 Windows 测试版。

安卓和 iOS 排在后面。

装好之后,它接你的邮件和日历。

看邮件、排日程,记会议。语音输入和网上跑腿。还有私人的 iMessage。

这些活它都接。

从上线到现在,功能一直在加。

本地出图改图,设备端支付。

还有一键导入会议记录。

10 月 12 日,本地免费的生图开了。

底座是千问的两个图像模型。

一个求快,一个求细。

官方演示里,你说一句话它就画。

也能给参考图,只改局部,或者换背景。

画完留在本机。

这条线对普通人的意义在这儿。

AI工具 多放到云上,多一步上传。

这一步省不掉。

AI对话 也一样,字要先过一遍。

绕不开。

AI编程 更敏感,代码不好外传。

本地跑起来,这些话就留在本机。

这也解释了它为什么敢叫隐私最强。

数据不出门,模型也不出门。

代价是算力只有你手上这一台。

后面会讲它怎么补这块。

还有一个细节,图像能力是免费给的。

登月图演示

同一天上线的还有会议记录。

通话一结束,摘要和待办就出来了。

录音和文字都没出过这台机器。

会议记录界面

10 月 14 日,它和 Stripe 打通了付款。

这是第一个跑在设备端的智能体支付。

本地浏览器里拿到一张一次性的卡。

金额算得很准。

最后一步等你点头。

设备端付款页

再往前一步,团队想让它替你买东西。

个人上下文攒在本机,事情直接办掉。

这两件事靠什么撑。

一个更轻的模型,一个自研推理引擎。

引擎叫 Husky。

模型有两只。Woof 4B 图快。Saluki 27B 图聪明。

后者已经开源。

权重压得很小。

这也是它能塞进笔记本的原因。

模型小不等于笨,得看怎么微调。

两只模型分工。

一个管响应,一个管难题。

这条路线和堆参数相反。

开源模型页面

它是在千问 3.8 27B 上微调的。

权重体积只有全精度版的七分之一。

性能留下 96%。

工具调用这一项,比原版还强。

体积对比图

他对媒体说过,日常的活它都能干。

比如查一趟购物,或者解一道数学题。

成本太低,所以不打算收订阅费。

另一根柱子是 Husky。

没有它,这台机器跑不动 27B。

官方数字是这样的。

MacBook 上开 Husky Flash。

小模型每秒最多吐 730 个词元。

苹果那套开源框架叫 MLX。

它比苹果那套快 4.5 倍。

同样权重下,响应快 5 倍。

延迟对比

团队拿 16 类提示词做了对比。

Husky 每一类都更快。

不是只在某一类上占便宜。

吞吐柱状图

原因在调度。

改图时它一步并行校验 8 个词元。

开销只有单个词元的 1.5 倍。

大部分回复本来就躺在上下文里。

生成文本靠流水线。

当前这步在算,下一步已经在编码提交。

显卡不用等主机喂数据。

内核示意

他说,和同类引擎比,它搬的数据更少。

技术之外,赚钱的方式也不一样。

初期免费,永远不投广告。

一笔收入是从交易里抽成。

用户经 Stripe 付的每一单。

它抽一点点。

像银行卡的交换费。

这么走,就不用采数据,也不用挖数据。

同行多半不是这样。

常见做法是允许收集,再卖给广告主。

或者拿去训下一个模型。

投资人名单摊开的时候,能看出分量。

金额没公布。

a16z 在。

它家的联合体也在。

个人名单更长。

名单上有那家支付公司的联创。

有做前端框架那家的创始人。

有被叫作推理之父的那位研究员。

还有开源模型社区的那位联创。

谷歌那边也来了产品经理。

这笔钱不好拿。

投资人看的是路线能不能走通。

名单里有人多年不碰消费级产品。

他们愿意进来说明一件事。

本地跑助手被当成了正经方向。

不是极客玩具。

抽成的前提,是有人真的用它付款。

对一个八个月的公司来说,这份名单不寻常。

它说明的不是产品已经成。

而是方向被人认了。

硅谷押注的往往是路线,不是当下的完成度。

他的推文下面,一排人发来祝贺。

评论区祝贺

这么大的支持,跟他自己的经历有关。

个人主页写着,2003 年生。

宾大管理与技术双学位项目,肄业。

17 岁到硅谷,先认识的是一群还没成名的人。

那 11 个月里,同住的还有几个人。

后来他们都出了名。

还有几家公司的研究员。

2023 年之后,他的项目开始一件件刷屏。

9 月,他在苹果手表上跑通 GPT-2。

手表上直接生成文字。

到 30 个词元就撑不住了。

后来他还在另一家公司把语音识别装进了 iPhone。

这些事都不大。

但都跑在别人没试过的设备上。

圈子里的人后来都成了独角兽的缔造者。

时间差换不来学历,换得来判断。

他做的东西有个共同点。

都喜欢往小设备上塞。

手表和手机,一步一步往上走。

一个还没上大学的人,靠这个进了圈子。

手表跑模型

它第一次公开亮相是今年 2 月。

他当时说,团队做出了第一个自动机。

能自我生存,也能自我进化。

不需要人插手,它自己复制自己。

他给这件事起了个名字。

叫 Web 4.0 超级智能生命。

自动机能自己立项做产品。

能在预测市场下单。

能注册域名,在服务器上部署服务。

能写传得开的帖子。

能给供应商发邮件搭电商渠道。

也能打电话让企业建站。

只要还付得起成本,它就一直转。

Web 4.0 宣言

不过这款产品上线后,评价是两极的。

一边是关注。刚推出时他在 X 上说,注册的智能体破了 1.8 万个。

到今天,那个开源项目攒了 7300 星。

另一边是质疑。

以太坊创始人公开讲过,这个方向偏了。

在他看来,把人机之间的反馈链拉长。

对世界不是好事。

一家支付公司的首席信息官说得更具体。

智能体能不能经济自主,得看模型稳不稳。

记忆和规划跟不跟得上。

这几样现在都不稳,撑不起无人值守。

这一轮个人智能体的竞赛,主流还是云端虚拟机。

任务在厂商服务器里一直跑。

可一旦高频循环,反复读写个人文件。

词元开销和数据上传的风险就冒头。

本地离线方案的空间,就是这么出来的。

代价也明摆着。

本地算力有限,模型规模和复杂任务都会被压住。

它想做的,是把记忆和权限留在本机。还有任务闭环。

眼下它的性能还比不过 Muse 和 Dot。

但它至少证明了一件事。

智能体放在本地是能跑的。

这条路还长。

来源:Conway 和 TechCrunch

Grok会员中转站 微信:douhanq