跑过大模型推理的人，多半撞过显存这堵墙。
算力够用，显存不够，服务照样起不来。
卡再好，摆不下也是白搭。
真正的吃显存大户，是键值缓存。
模型是一个词一个词往下写的。
写下一个词，它得回头看前面所有的词。
注意力该落在哪些位置，全靠这些历史词算出来。
这些历史词会被投影成键和值，参与后面的计算。
[……]显存浪费从 70% 降到 4%，大模型推理靠的是一套分页
分类： 经验动态
累计 43 亿，这家公司不碰模型也不碰芯片
国内的人工智能基础设施赛道，刚落地一笔大额融资。
无问芯穹完成 C 轮，融资额 23 亿元。
加上前面几轮，它累计拿到 43 亿元。
单轮和累计，两个数字都刷新了国内同行的纪录。
有外媒提到，这家公司正在筹备 IPO。
2023 年成立到现在，它从清华园里走出来，站到了资本市场的灯下。
身后有国资机[……]
AI 办公大战，盯上了企业的人力预算
去年，Shopify 的 CEO 立了一条规矩。
团队想增加人手，得先说明为什么这事 AI 做不了。
这条要求当时吵了一阵。
有人觉得，这是科技公司拥抱 AI 的正常做法。
也有人担心，它会变成企业少招人的借口。
它没否认员工的价值。
只是把招聘的顺序换了一下。
以前业务忙不过来，可以申请加人。
[……]一秒吐出 490 个字，智谱又偷偷放出一个高速模型
AI 从会画图走到会造世界，字节把生成做进了三维空间
好家伙，字节把生成式 AI 玩成了开放世界。
一句提示词丢进去，模型当场搓出一个房间。
镜头压得很低，像小人站在地板上抬头看。
键盘鼠标一顿操作，人就能骑着纸飞机在里头自由飞。
想去哪就去哪。
想要个勺子，随手就能凭空造一个。
造完还能顺着勺柄往上爬。
更离谱的是任意门。
屋里推开门，一步跨进外[……]
10 亿到账，这家上海大模型公司想让机器边干活边聊天
上海一家做大模型的公司，刚拿到一笔大钱。
10 月 12 日，模思智能宣布完成 Pre-A 轮融资。
金额超过 10 亿元。
这钱不小。
领投方是华控基金。
跟投的还有国开科创，上海科创基金，新微资本等机构。
元禾控股这些老股东，也继续加注。
这是它今年第二次官宣融资。
一年两轮。
今年 3 月，它[……]
AI 把证明写完了，数学家的价值得重新说一遍
菲尔兹奖得主陶哲轩的博客，最近成了数学界最热闹的地方。
他的评论区里，挤满了顶尖数学家和物理学家。
还有一批 AI 圈的大佬。
他们吵的是同一件事。
数学，往后还要不要人来研究。
导火索是几天里连着发生的几件事。
先是一段视频。
视频里，陶哲轩罕见地皱起了眉。
他说，我们必须放缓 AI。
现在的速度[……]
模型想动手做事，靠的是一层接口加一份说明
大模型最擅长的事，是写字。
它能答，能编，也能总结。
可它自己不会联网，不会查库，也不会跑一段代码。
想让模型动手做事，中间得有人搭一层接口。
这层接口用一个词概括，就是工具。
工具把外部能力包成模型能看懂的函数。
模型负责说要不要用，用哪个，传什么参数。
真正去执行的，还是我们自己写的代码。
搞懂[……]
智能体的活干没干成，光看调用记录看不出来
做智能体开发的人，大多把评估当成拖后腿的杂活。
工具已经上线，演示也跑通了，活看着能干。
何必再搭一套正式的评估机制。
这么想，往往就走偏了。
越早把评估建起来的团队，后面迭代反倒越快。
模型换了，提示词改了，工具动了，效果都能被量出来。
不用靠感觉拍板。
省心得多。
这篇文章讲的，就是给自己的 M[……]
把算力中心送上太空，马斯克又带火一条冷赛道
一年前，做太空算力的公司找投资，常常吃到冷眼。
这不能怪投资人冷淡。把算力中心搬到太空，听上去太像科幻小说。它想做的事其实很实在。
用太空里永不落山的阳光发电。再用真空辐射散热。
地面数据中心最头疼的电力问题，就有机会绕开。
“当时我们内部也觉得，这不就是骗人吗。”一位投资人回忆。
那时市场冷到什么[……]
