雅意2.0大模型发布,国产大模型迭代新趋势
科技观察 | 2023-12-17 16:15:30原创
李姝蒙 汤代禄 来源:大众新闻客户端
国产AI大模型自年初3月上线以来,经历了9月的开放注册,正在持续迭代,逐步呈现出不少新趋势。12月15日,中科闻歌雅意2.0大模型发布,呈现出自主化、产品化、聚焦化、开放化等新趋势。
一是自主化。雅意2.0拥有数据、模型和应用的完全自主知识产权。基于240TB多源基础数据和1000余道数据清洗训练而成,是少数从头进行预训练的国产原生大模型。模型采用的数据集覆盖10多个领域、8万个信源、13种编程器语言。同时,雅意2.0将模型的词表扩充,以更好支持多语言能力。相较于1.0版本,雅意2.0大模型主要提升了数据能力、预训练能力、实时联网问答能力、领域知识问答能力、多语言内容理解能力及生态构建能力等。除此以外,雅意2.0使用国产华为昇腾GPU,它拥有大量的CUDA核心和张量核心,可以高效地执行深度学习和机器学习任务。
二是产品化。基于雅意2.0打造了YAYI-UIE 信息抽取大模型,并升级迭代了YAYI-Chat、YAYI-File 等模型产品。
YAYI-Chat(大模型MaaS服务平台):拥有从海量数据和大规模知识中理解、学习和生成的能力,能够与人、数据库、离线文档、在线网页等多种数据形态交互,可与用户实现多轮对话,实时理解复杂的信息。
YAYI-UIE(复杂信息抽取工具箱):基于雅意2.0的信息抽取大模型,可实现中英双语的统一信息抽取框架,它可以从自然语言文本中抽取出特定的事件或事实信息,完成实体、关系、事件信息抽取集成,帮助我们将海量内容自动分类、提取和重构。
YAYI-File(非结构数据智能化处理):是对大规模、快速产生的,并且来源多样的非结构化数据进行处理和分析的过程。遵循分级分类的管理思想,通过平台化、智能化和安全化的管理方法,构建出完整的非结构化文档数据管理体系。支持用户创建和管理自己的知识库,提供基于单文档或多文档的智能解析、智能检索、智能问答、答案溯源等功能。
三是聚焦化。聚焦专业领域,发力行业应用。雅意2.0持续增强媒体、金融、中医等领域的专业能力。
媒体大模型具有新闻写作方向推荐、大纲总结、标题助手、联网事实新闻写作、一键一图读懂等功能。媒体大模型可以学习到新闻写作的规律和技巧,从而生成具有一定质量的新闻稿件。对于媒体行业来说,还可以使用可对社交媒体、网络论坛等渠道的舆论进行实时监测和分析,帮助新闻机构及时发现热点事件和潜在风险的舆论大模型。两种大模型结合使用,不仅可以减轻记者的工作负担,还可以让新闻报道更加安全、及时、全面。
金融大模型支持多模态财报问答、一键合同关键条款解析入库、协议履约监控预警、报告审核合规比稿等功能。金融大模型可以自动完成一些繁琐的工作,如数据分析、风险评估等,从而提高工作效率。金融大模型的应用将推动金融行业的数字化、智能化转型。
中医大模型的四大能力为知症、知病、治未病、养生保健。用户与大模型对话,使用自然语言描述病情,模型能够根据中文医学知识库构建问答数据,并进行指令微调训练,从而提供中医问答服务。
四是开放化。中科闻歌开源了雅意2.0使用的部分高质量与训练数据,共500G约100B Tokens(语句单位),还开源了信息抽取指令数据集,覆盖包括通用、安全、金融、生物等数十种领域场景的百万级指令数据。同时,雅意2.0全系列模型也将开源,支持免费申请商用,包括YAYI 30B预训练模型、YAYI Chat 30B对话模型、YAYI UIE信息抽取模型。
开源地址:https://github.com/wenge-research/YaYi
(大众新闻客户端 李姝蒙 汤代禄)
责任编辑:李姝蒙