ARTICLE DETAIL / 01 深度阅读

从事实、背景与趋势出发,整理一份更值得慢下来阅读的内容。

READ
WITH
FOCUS
当前位置 C7娱乐(C7 GAME)官网 - 电竞之外,还有更多好玩的事 新闻动态 3210亿参数塞进单张显卡,26 token每秒跑起来了
FEATURED REPORT

3210亿参数塞进单张显卡,26 token每秒跑起来了

本文由c7娱乐官网整理发布:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

about image

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

更多体育热点,关注c7娱乐官网。

返回资讯列表
分享这篇内容让更多人看到有价值的信息
TRENDING NOW / 03

热点内容

编辑团队正在关注的内容方向。

向太回应“买地都写在郭碧婷个人名下”:很喜欢郭碧婷,她花钱比我还谨慎,守得住财,靠得住;提醒向佐别有二心

向太回应“买地都写在郭碧婷个人名下”:很喜欢郭碧婷,她花钱比我还谨慎,守得住财,靠得住;提醒向佐别有二心

向太陈岚最近在社交平台上发了一段话,回应她为什么全款买地都写在郭碧婷个人名下。 她说得很直白:第一,她喜欢郭碧婷,认可这个媳妇,知道她守得住财,“她比我花钱还谨慎,觉得靠得住”;第二,是提醒向佐别有二心,珍惜家庭,守护妻儿;第三,是为了孙子孙女在一个完整的家庭里成长。 这话乍一听是豪门婆媳的八卦,可你要是把里面那层“婆婆经”剥出来,会发现它讲的其实是一个特别朴素的道理,跟钱多钱少没太大关系。 第一

马卡:费尔明8球在身,仍盼西班牙首球

马卡:费尔明8球在身,仍盼西班牙首球

《马卡报》报道,费尔明希望取得自己的国家队首球。 费尔明在大都会球场用两粒标志性的进球帮助巴塞罗那守住榜首。两球都极具他个人风格,属于后插上的中场进球。本赛季他的进球数升到8个,上赛季他也是以8球收官。 这名巴萨球员状态正佳,已经延续了整个赛季。费尔明是巴塞罗那领跑西甲、并在欧冠中占据有利位置争取跻身前八的三叉戟之一。除了8球,他还有7次助攻。与他并肩的是拉菲尼亚(19球3助攻)和亚马尔(13球1

2199 元的华为,当年被笑“智商税”,如今回头看这波真不亏?

2199 元的华为,当年被笑“智商税”,如今回头看这波真不亏?

各位大兄弟,今天我不想聊什么新机 你当年要是买它,评论区能把你喷退网 此处,需要把时间拨回 2019 年 8 月 21 日 ,不然真的没法谈,是什么手机呢?很明显就是 nova5i Pro,其实我也知道这是老古董,但谈肯定要谈,因为我是兴趣党!当年这个手机价格是2199 2199 元 这个数,放 2019 年,就像现在有人说“我花两千多买了个副厂平板,此处老油条立马上线,键盘更快。因为手机圈舆论本

穷得心安理得,比穷更可怕。 23岁姑娘没工作,拖男友一起窝出租屋。一歇就是大半年,男友也辞了职。两人只能天天吃泡面,担心怀孕

穷得心安理得,比穷更可怕。 23岁姑娘没工作,拖男友一起窝出租屋。一歇就是大半年,男友也辞了职。两人只能天天吃泡面,担心怀孕

23岁女孩放弃工作,和男友蜗居出租屋,整日睡觉刷手机,两个人一起慢慢躺平。原本男友月薪3800,劝女孩找份轻松工作,女孩一句太累,打算只歇两个月,没想到一拖就是大半年。 事态的发展超出预期,男友也选择辞职。二人整日并排躺卧,日常靠泡面果腹,寒冬裹着羽绒服,连电热毯都舍不得添置。类似的生存状态,在不少年轻人身上真实存在。 有网友留言很扎心:“很多人不是天生想躺,是求职屡屡碰壁,挫败感堆积,索性躲进出

刘欢去世后,妻子只信两人:一个替她护夫,一个替他守门

刘欢去世后,妻子只信两人:一个替她护夫,一个替他守门

刘欢走了,他妻子卢璐在朋友圈里写下“我永远的爱,永远的痛”,短短几个字,让人心里一沉。一位陪着音乐家走完人生最后一程的女性,在失去挚爱后,真正能托付心事的朋友,掰着手指头数得过来:一个是窦文涛,一个是水均益。 这事听起来有点意外。毕竟刘欢在圈子里人缘不差,追悼会那天,那英、吉克隽逸、袁娅维这些大明星都发文哀悼。真到了需要有人站出来说话的时候,卢璐偏偏挑了这两位媒体人。 先说窦文涛。2013年那会儿