第57章 孙博的能力(第3/6 页)
最新都市言情小说:
鉴宝狂少、
人生重置:官场我做主、
草根沉浮:金融才子的野望、
十年纠缠:脑癌晚期,我选择了放手!、
都市官场:仕途巅峰,从公务员开始、
隐妻、
订婚当天,她将自己送给了白月光、
以婚谋爱:疯批大佬黏她上瘾、
离开豪门后,假千金轰动全球、
被退婚后,四千金都想要嫁给我、
绝代医王、
绝世龙神:九个嫂嫂又美又飒、
官途纵横、
权力巅峰:我就是靠山、
妻女死祭,渣总在陪白月光孩子庆生、
笔试第一,你让我从乡镇基层做起?、
重回高考前,我治好了恋爱脑、
陪嫁丫鬟爬床后,偏执王爷不装了、
顶级赘婿、
道之初境、
“长期的话,倒不是有上限,真要有魄力不计成本无限制的去堆积算力,理论上是真的能够获得无限制的性能提升的。
“但也仅仅只是理论上,这里边有一个巨大的问题,根据我的研究,它的增长不是线性的。
“我大约计算过,实际的增长曲线就不说了,很复杂,但大约可以简化为这个函数:y=c·log(e)·(x+1)。
“这里边y指的是性能,x你们就姑且理解为算力堆积的基本单位,大约趋势如下图。”
就算是对数学再不懂的人,看到这个公式也该看出来了,因为这个函数的曲线到最后,几乎就是一条平平的横线。
也就是说,当显卡堆积达到一定规模之后,无论你再怎么增加硬件,性能增加的也十分有限了。
这么说着,孙博还举例道:“以现在的gpt4为例,如果想要一个2倍gpt4参数的大模型,对算力的需求大约会是多少呢?
“我计算过,大约需要十几倍。而且公式计算的只是理论效果,而更大规模的集群,片间互联的损失肯定也会更大,实际效果只会更差。”
孙博很是热情,只要不涉及他自己工作的机密和核心,只要他在的时候,那几乎是有问必答的。
本章未完,点击下一页继续。