沈向洋：大模型对算力需求每年增长四倍以上，合成数据催生百亿创业风口

界面新闻记者 | 陈振芳

界面新闻编辑 | 文姝琪

“从长远的角度来看，人类社会发展每次巨大跃迁都是由技术创新带来的。工业时代的全球GDP年均增速约为1%-2%，信息时代增速为3%-4%，人工智能时代，这个数字会是多少？”

11月22日，IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋在2024 IDEA大会上表达了上述观点。他强调，随着AI的各项能力逼近、甚至超越人类，AI治理已成亟待全球共同面对的议题。

当天，粤港澳大湾区数字经济研究院（下称IDEA研究院）发布DINO-X目标检测视觉大模型，该模型作为GroundingDINO系列升级之作，在多项能力上得到提升。

在检测能力上，无需用户提示即可检测万物，无论是常见物体还是罕见的长尾物体（出现频率低但种类繁多的物体）都能精准识别并给出类别。

得益于超1亿高质量样本的大规模数据集多样化训练，DINO-X对未知场景和新物体适应性强，泛化能力出色，在实际应用场景中更具灵活性。

在探讨AI发展脉络时，沈向洋提及算力、算法与数据层面变化。算力上，摩尔定律指出每18个月算力需求增长一倍，而当下大模型对算力需求每年增长四倍以上，过去十年英伟达市值大幅攀升300倍与算力需求剧增紧密相关，十年间算力需求增长约100万倍。

算法层面，2017年Transformer架构面世后，AI、深度学习、大模型多沿此路线发展，OpenAI的O1系列带来算法突破思路，改变过往单纯预训练预测“下一个token”模式，融入类似人思考、推理的后训练、后推理过程。

数据方面，“缺数据”已经成为大模型行业内的共识之一。随着GPT系列发展，数据需求激增。沈向洋透露，距离GPT3面世已经过去三年，当时OpenAI用了2T数据，1万亿Token。GPT4用了12T数据，训练用了20T数据，“事实上，互联网上洗干净的数据大概是20万亿。”

沈向洋认为，GPT5预计需200T数据规模，合成数据可以给大模型提供更为丰富的训练材料，还有望催生未来百亿美金级别的创业机遇。

“互联网上已经找不到那么多的数据，未来需要更多高质量的合成数据训练未来的模型。”他举例称，1万亿的数据约等于500万本书，20万张高清照片，抑或500万篇论文。人类历史上的书籍大概是21亿Tokens，微博有38亿Tokens，Facebook大概拥有140TTokens的数据。

当下互联网数据存量告急，社交媒体数据质量欠佳，合成数据受重视，且私域数据利用存在安全孤岛问题。对此，IDEA研究院通过IDEADataMaker用加密方式利用私域数据生成新语料、语境图谱。