大模型商业化难题待解,帮企业提升数据质量会是一个新方向吗?

糜茜桃 健康 2024-11-29 2 0

界面新闻记者 | 肖芳

界面新闻编辑 | 宋佳楠

“百模大战”爆发一年后,大模型虽然在智能办公金融和教育领域有了一些落地应用,但商业化落地难问题并没有完全得到解决

近日,猎户星空发布了一款自主研发的大模型Orion-MoE8×7B,试图去探索一些能够破解上述难题的新方向。

Orion-MoE8×7B大模型拥有8×70亿参数,采用了生成式混合专家的设计,支持中文、英语、日语、韩语等多种语言与同规模参数级别的基座大模型对比Orion-MoE8×7B大模型在推理速度方面展现出一定优势

猎户星空首席科学家韩堃对界面新闻表示,很多时候大模型用来聊天体验还不错,但要放到比较严肃的任务型或企业级技术应用中,效果总是不好,核心的原因就在于数据。“用更好的数据赋能大模型,其在应用中才能真正发挥价值。”

近年来,随着AI大模型进入爆发增长期,算力、算法、数据成为发展的关键三要素。相比于算法和算力,在大模型的商业闭环中,数据会直接影响其在垂直行业落地的效果。

猎户星空董事长傅盛解释背后原因,称算力供应商都是一致差距限于各家公司购买GPU规模不同算法基本差不多大模型能力就是数据,之前并没有捅破这层窗户纸”

而该公司新发布大模型Orion-MoE8×7B正是看准了市场高质量训练数据需求。其研发基础模型同时联合猎豹移动旗下聚云科技共同推出大模型数据服务产品AI数据宝AirDS大模型应用需求企业提供数据收集、清洗、标注、提示词工程以及评估等服务

这相当于猎户星空研发基础模型应用帮助其他大模型落地需求企业提升训练数据质量这项服务本身有望Orion-MoE8×7B大模型实现商业化落地

界面新闻了解目前大模型训练数据标注主要还是依靠人工。但大模型训练需要数据量非常人工标注或者数据清理速度往往难以跟上市场需求成本也相当如果通过大模型海量数据进行筛选、清理、去重就能实现降本提效

不可否认,目前大模型在数据处理上还不能完全替代人工,在一些对数据质量要求比较高或者难度比较大场景人工进行精细的标注和筛选更为合适

一位大模型技术人士告诉界面新闻未来数据服务应该AI+人工结合的方式AI大模型价值数据规模快速提升上来如果数据质量非常数据量不够大模型训练仍然出现瓶颈

这意味着通过大模型进行数据处理市场需求大大增加,那些具备对外开放数据能力厂商也将得到更多的发展机会

版权声明

本文仅代表作者观点,不代表百度立场。
本文系作者授权百度百家发表,未经许可,不得转载。

分享:

扫一扫在手机阅读、分享本文

评论