原标题:chatgpt到底需要多少算力?未来的gpt-4还有指数型上升
欢迎来到“股友领航者”,每日分享精彩热点板块。
2月15日,chatgpt概念再度大涨,其中算力方向关注度最高,神州数码、浪潮信息、华胜天成等多个服务器产业链公司涨停。
据中信建投研报数据,此前用于ai训练的算力增长符合摩尔定律,大约每20个月翻一番;深度学习的出现加速了性能的扩展,用于ai训练的算力大约每6个月翻一番;而目前大规模模型出现,其训练算力是原来的10到100倍。
财通证券分析称,算力的瓶颈其实并不体现在算力的绝对大小,而在于实现该算力的成本,那chatgpt到底需要花多少钱?
训练成本及推理成本
chatgpt成本主要可以拆分成训练和推理两个阶段。
据海通证券研报,训练阶段成本方面,援引open ai测算,自2012年起,全球头部ai模型训练算力需求每3-4个月翻一番,每年头部训练模型所需算力增长幅度高达10倍,而chatgpt训练阶段总算力消耗约为3640 pf-days(即1petaflop/s效率跑3640天)。据普超资本微信公众号,gpt-3训练成本预计在500万美元/次。
国信证券测算称,训练阶段每个token的训练成本约为6n(推理成本为2n),由于每年训练成本都在快速下降,此处引用oneflow的测算结果,在公有云中训练open ai的gpt-3模型需花费训练成本约140万美元,google的palm模型需花费训练成本约1120万美元。
推理成本方面,国信证券称为满足当前用户访问产生的推理成本,自建idc初始投入约在4亿美元,租用云服务每日成本约28万美元。
根据similarweb的数据,23年1月份当前chatgpt日活约1300万人,每人平均1000字左右的问题,因此合计产生约130亿字(173.3亿个token),假设24小时平均分配任务,需要的a100 gpu数量为173.3亿*2*3000亿/(20%*24小时*3600秒)=601.75 petaflop/s,由于访问流量存在峰值,假定访问峰值是一天均值的5倍,因此共需要602台dgx a100服务器能够满足当前的访问量。
运营阶段,海通证券预计chatgpt年gpu/cpu需求空间分别在7000万美元及778万美元。
根据cctv4微信公众号,截至23年1月,chatgpt积累了1亿月活跃用户。假设后续稳定运营时期,总访问量维持在2000万次左右,咨询量以8个问题计算,总咨询量在1.6亿次。单个字大约在a100 gpu上消耗350ms,因此总gpu运行小时约为466667小时。因此,对gpu/cpu单日同时运转的耗用量分别为19444/4861个。对应现有价格及替换周期假设,我们预计运营阶段,chatgpt年gpu/cpu需求空间分别在7000万美元及778万美元。
结合bing以及未来gpt-4可能出现指数级上升
国信证券称,当前chatgpt模型无法访问外部知识,仅依靠模型参数进行计算;如果将chatgpt与搜索功能结合,如bing等搜索引擎,其对算力资源的消耗将成数倍增长。
业内人士“小熊跑的快”最新文章测算称,对于未来gpt-4的预测,主要基于两个情景的预测:
1)参数百倍增长的需求——1个是gpt-4,参数的100倍增长
假设到gpt-4,100w亿个参数,在不使用h100或者优化架构的假设下,那单日访问算力要求就是6万台a100,多少钱呢?仅给英伟达的算力投入就是120亿美金!
如果用h100,援引黄仁勋“在ai任务上,h100的fp8精度算力是a100上fp16的六倍”;单价假设是a100服务器的1.7倍(单片h100,4w美金,单片a1002.4万美金),即33.8w美金,为了维持gpt-4的运行,单日也需要1万台h100服务器,一次投入成本33.8亿美金。
2)访问量的百倍增长需求
现在一切的假设都是基于1300万日活,一个人1000字的问题(10个问题,一个100字)进行假设,按照它的线性曲线,突破到日活1亿,如果应用终端好,突破到10亿也很快,它同样面临百倍算力提升的需求。
行业有望点燃基础设施需求
太平样证券指出,chatgpt用户数快速增长,从应用到算力,将点燃基础设施需求。
民生证券指出,chatgpt引领ai发展大潮,背后需要算力的快速提升,算力行业的发展已经是大势所趋,ai服务器、ai芯片等领域将迎来重要的发展机遇。
据太平洋证券研报,ai服务器方面,根据idc最新发布的《中国加速计算市场(2021年下半年)跟踪报告》,2021年全年中国ai服务器市场规模达350.3亿元,同比增长68.6%。
市场格局方面,浪潮信息、宁畅、新华三、华为、安擎位居前五,占据了82.6%的市场份额。其中浪潮ai服务器市场占有率达52.4%,连续5年(2017–2021年)市场份额超过50%。
特别声明:本文来源自网络整理发布,如有侵权,请联系删除!内容仅供参考,不作为投资建议。股市有风险,炒股需谨慎!返回搜狐,查看更多
责任编辑: