在发布大模型这件事儿上,华为的“画风”显得不太一样。
对C端消费者而言,往往期待在科技巨头们的大模型发布会上看到直观的演示——或是流畅解答各种问题,或是数秒生成多种风格文案,或是轻松求解数学难题,如果再能够春花秋月地赋诗作词一首,赢得满场掌声和喝彩也并非难事。
然而,如果对华为盘古大模型抱有类似的期待,难免会“失望而归”。
就在今天(7月7日),盘古大模型 3.0于华为云开发者大会上重磅亮相。在这场发布会上,与会者反复听到的关键词是“行业”、“行业”、还是“行业”。
正如华为常务董事&华为云CEO张平安在开场演讲时所说:“ 自OpenAI 发布ChatGPT之后,全球掀起了一股大模型研发热潮。据不完全统计,全球有名有姓的大模型已经多达数百个,仅中国上半年就发布了80多个AI大模型。这些大模型都有非常好的对话能力,非常好的文案生成能力,甚至还会写诗作画。那么很多人就问华为——既然华为2021年就有大模型了,为什么今年上半年几乎听不到一丁点消息呢?”
“我想告诉大家的是,华为盘古大模型不会写诗,只会做事!盘古大模型是要扎根行业,为各个行业带来价值!我们一直坚持的方向就是 AI for Industry,所以盘古大模型不会作诗,他也没有时间作诗,因为他要深入到各行各业里头去!因为他要让 AI 来赋予千行百业价值!”
盘古大模型,为行业而生!
在发布会现场,我们依然也能看到精彩的实机演示,不过这些也都是关于千行百业的落地应用!
盘古大模型,为行业而生
没有多余废话,张平安开门见山地在“AI重塑千行百业”的主题演讲中,一口气介绍了盘古大模型在矿山、铁路、气象、金融、制造等多个行业的应用。
盘古for矿山
我国是一个煤矿高产国,拥有大概 4400 处煤矿,每年产煤 45.6 亿吨煤,但我国煤矿的数字化、智能化程度较低。为了产出 45.6 亿吨的煤,需要280万的煤矿工人,他们几乎可以说是中国工人里工作最艰苦的群体之一。而盘古大模型就是要助力煤矿行业的智能化,让更多煤矿工人能够在地面办公室进行煤矿的采煤作业。
发布会现场的大屏上展示了一个煤矿的综采面,一台40多米长的采煤机正在井下持续作业。以前也有一些技术手段,比如通过监控摄像头来监控井下的作业状况,但由于现场大量的粉尘影响了画面的清晰度,最终还是需要煤矿工人亲自下井进行及时巡检。
如今,盘古大模型能够将100多路视频集中在一起,形成如下图所示的巨幅画面,由于采用了投尘的算法,使得即使在尘土遮挡下也能清晰看到画面。
由此,管理人员可以非常容易地识别出采掘过程中大块的岩石造成的卡堵问题,使得地面工作人员不用下井就能看的全、看得清、看得准,从而在地面进行煤机的操控作业。
基于盘古矿山大模型,云鼎科技和华为达成深度合作,开发了 21 个场景化应用,覆盖了7 大业务系统。目前,盘古矿山大模型已经在全国 8 个矿井里规模使用,覆盖了煤矿的综采、掘进、机电、运输、通风、洗选等流程下的 1000 多个细分场景,目标是让更多的煤矿工人在地面上作业,不仅使其工作环境更加舒适,而且可以极大减少安全事故。
盘古for铁路
矿山说完,再来看看铁路行业。中国总共拥有超过 100 万辆货车,每年跑在铁路上的运输货物量高达近五十亿吨,怎么保障这些货车的安全运行?这也是盘古大模型大显身手的地方,它要跑到铁路上来服务于货车的安全运行。
在传统的货运铁路巡检中,TFDS(货车运行故障动态图像检测)系统作为5T检测技术的重要组成部分,通过高速拍摄的“电子眼”,动态采集列车车底配件、车体侧部等部位图像,以判别货运列车是否存在故障。而这些图像照片会被送到检测员前面,需要检测员在屏幕上一张一张地看。
以平均每天过站1000辆的一个枢纽站为例,系统将采集400万张图像,需要260个有经验的检测员采用四班倒的工作节奏,一屏一屏的看,防止漏掉任何故障图像,每一屏至少要看 8 秒,因此这些检测员的工作强度极大,责任也很重。
而在部署了盘古大模型之后,一双盘古眼就能看完所有的图片,然后再将有潜在故障的图片送到检测员手里,使得需要列车检测员看的图片从 400 万张锐减到20万张,极大降低了检测员的工作量,提升了其工作效率。
如今,盘古铁路大模型可以对跑在铁路上的 67 种货车的 430 多种故障进行检测,故障检测漏检率为0,检测效率提升了 20 倍。
盘古for气象
在气象领域,全球每年大约会生成 80 个台风,平均有 7 个台风会经过我国或登陆我国,这将对沿海城市造成极大的影响。所以盘古气象大模型就是要提前精准地预测台风路径,从而助力更好的防灾减灾。
如果我们想用传统方法来预测一个10 天的台风的路径,需要3000台高性能服务器花费4-5个小时来完成相应的计算。现在基于预训练的盘古大模型,通过 AI 推理的方式,只需要在单台服务器上 10 秒内就可以给出更精确的预测。
据悉,基于近40年的全球气象数据,华为云盘古气象大模型在中长期确定性预报上超越当前最强的数值预报方法(欧洲气象中心的IFS系统),是业内首个精度超过传统数值预报方法的全球AI气象预测模型。平均预报误差降低了10%-15%,速度提升10000倍以上,实现秒级全球气象预报。
今年5月,台风“玛娃”走向受到广泛关注。中央气象台表示,华为云盘古大模型在“玛娃”的路径预报中表现优异,提前五天预报出其将在台湾岛东部海域转向路径。
这种实力也得到了科技界的认可。就在昨日(7月6日),国际顶级学术期刊《自然》(Nature)杂志正刊发表了华为云盘古大模型研发团队研究成果——《三维神经网络用于精准中期全球天气预报》(《Accurate medium-range global weather forecasting with 3D neural networks》)。这是近年来中国科技公司首篇作为唯一署名单位发表的《自然》正刊论文。
华为云盘古气象大模型研究成果在《Nature》正刊发表
《自然》审稿人对该成果给予高度评价:“华为云盘古气象大模型让人们重新审视气象预报模型的未来,模型的开放将推动该领域的发展。”
盘古for制造
再来看看制造业,众所周知,制造业的产线效率极为关键,盘古大模型也走进了华为的制造生产线,为其产线制定最优的排产计划。
据张平安介绍,在没有大模型之前,依靠个人经验,华为的单产线器件分配计划往往需要花3小时才能做齐。如今,盘古全局统筹的最优规划,使得1分钟就可以做出未来三天的生产计划。
值得一提的是,在后续的演讲环节,华为云EI服务产品部部长尤鹏还为大家带来了令人印象深刻的现场演示。
在传统制造行业中,不管是生产、供应还是交付,都存在大量的决策优化问题,比如说生产的排程、运力的规划等等,其实传统的求解过程是非常复杂的,需要非常多的业务专家、数学专家、编程专家来把一个运筹优化的问题变成一个求解问题。
而在现场演示中,尤鹏展示了一个器件分配的场景——假设计划员收到了一个器件分配的需求,如下图所示,其关键在于把两种核心器件分配到三个逆变器的生产计划当中,寻求最优化的成本控制。
只需将这段自然语言拷贝到盘古制造大模型里,大模型能够立即识别出这是一个建模需求,然后将其转换一个标准的数学建模语言。
当计划员确认完这个数学建模是准确的之后,就可以直接调用天筹 AI 求解器来求解。通过盘古大模型和天筹 AI 求解器的结合,可以大幅降低求解的门槛,让决策优化快速找到最优的解答。
盘古for政务
另一个让笔者印象深刻的现场演示在于盘古大模型在政务领域的应用。
华为盘古大模型政务场景应用演示 - 西瓜视频 (ixigua.com)
据尤鹏介绍,盘古政务大模型能够准确地理解民众的咨询意图,改变传统一网通办的模式,把老百姓的话语转化为政府办事的语言,让城市更加有温度,更加有爱。
就在发布会当天,华为联合深圳市福田区政务局上线了基于盘古政务大模型的福田政务智慧助手小福。
假设你是一个来福田投资的企业负责人,可以直接向小福询问:福田区有哪些招商政策?对新落户的企业有哪些优惠?政策对象有哪些群体?
小福的回答如下所示,其回答了福田区正在推行的产业发展政策,解答了对新落户企业的具体优惠措施,最后还说到了招商引资对象涵盖的机构和个人。
除了一网通办,城市治理是另一个典型场景。基于政务大模型已有的 100 多种视觉场景,盘古政务大模型可以实现对城市各类事件的秒级发现。
如下图所示,这里有一张图片,我们可以向盘古询问:假设现在是上午8点,根据深圳市的交通规定,画面中是否有禁止通讯的交通工具?
盘古大模型很快识别出了违规的大型货车,并提供了交通规则的判断依据——也就是在每天7-24 时这个时间段内,大型货车是有违规嫌疑的。
多模态大模型对话的能力能够像人一样,除了识别图片中的物体之外,还可以结合的语义进行理解,实现全场景的识别。
除了以上场景,张平安和尤鹏还在演讲中阐述了盘古大模型在金融、软件开发、数字内容生产等领域的应用。更进一步,盘古大模型+具身智能,还能让机器人具备自然语义理解和全域感知引导的自主智能。
总而言之,华为希望盘古大模型希望让每个人,每个企业,每个行业都拥有自己的专家助手,让工作更高效、更轻松。
盘古大模型的三层架构
在秀完行业肌肉之后,张平安宣布华为云盘古大模型3. 0正式发布。盘古就是要重塑千行百业,盘古大模型3. 0就是一个完全面向行业的大模型系列!
具体而言,该大模型系列包含三层架构:
第一层L0层是盘古的5个基础大模型,包括盘古自然语言大模型、盘古多模态大模型、盘古视觉大模型、盘古预测大模型、盘古科学计算大模型,它们提供满足行业场景的多种技能。
盘古3.0为客户提供100亿参数、380亿参数、710亿参数和1000亿参数的系列化基础大模型,匹配客户不同场景、不同时延、不同响应速度的行业多样化需求。同时提供全新能力集,包括NLP大模型的知识问答、文案生成、代码生成,以及多模态大模型的图像生成、图像理解等能力,这些技能都可以供客户和伙伴企业直接调用。无论多大参数规模的大模型,盘古提供一致的能力集。
第二层L1层是N个行业大模型,既可以提供使用行业公开数据训练的行业通用大模型,包括政务、金融、制造、矿山、气象等;也可以基于行业客户的自有数据,在盘古的L0和L1上,为客户训练自己的专有大模型。
第三层L2层是为客户提供更多细化场景的模型,它更加专注于某个具体的应用场景或特定业务,为客户提供开箱即用的模型服务。
盘古大模型采用完全的分层解耦设计,可以快速适配、快速满足行业的多变需求。客户既可以为自己的大模型加载独立的数据集,也可以单独升级基础模型,也可以单独升级能力集。
在L0和L1大模型的基础上,华为云还为客户提供了大模型行业开发套件,通过对客户自有数据的二次训练,客户就可以拥有自己的专属行业大模型。同时,根据客户不同的数据安全与合规诉求,盘古大模型还提供了公用云、大模型云专区、混合云多样化的部署形态。
据介绍,盘古可以一己之力做到网络搜索、请教专家、参考案例、查阅书籍等,让每个开发者都拥有一个自己的编程助手,甚至还可以实现一句对话代码生成、一个按键用例测试、一次点击自动注释、一条指令智能部署,极大地简化了开发的流程。
我们知道,AI能够创造的价值绚丽而美好,但对开发者而言,方案落地产业的过程却绝非一个“苦”字可以形容。
在过去分散化的模型研发模式下,单一的AI应用场景下的多个任务都需要由多个模型支撑完成,每一个模型建设都需要算法开发、数据处理、模型训练与调优过程。
这种传统的AI开发模式就如同“小作坊”——试想一下,如果每家企业在进行研发时,都需要自己从头造轮子,那整个社会的工业化从何说起?从工业体系的逻辑上看,解决这一问题的核心就是提升AI开发前置工作的标准化程度,将不同开发者所需模型的公约部分提前训练好,即工业化中的零件化、标准化和流程化。
在探索AI工业化的过程中,预训练大模型逐渐成为了行业认可的方案。其逻辑是提前将知识、数据、训练成果沉淀到一个模型中,然后将这个基础释放到产业,再由不同行业、不同企业的开发者在此基础上进行二次开发和微调。
华为云盘古大模型的三层架构,正是为“预训练+下游微调”的开发模式提供了支撑。预训练大模型增强了人工智能的通用性、泛化性,随后大模型负责向小模型输出模型能力,小模型更精确地处理自己“擅长”的任务,基于大模型通过零样本或小样本精调,就可实现在多种任务上的较好效果。
大模型“预训练+下游微调”的模式带来了新的标准化AI研发范式,开发者无需针对每一个场景重复开发AI模型,实现AI模型在更统一、简单的方式下规模化生产。
这是从“作坊模式”向“工厂模式”的进化,是AI产业的“工业革命”!
盘古大模型是怎样炼成的?
在了解了盘古大模型在千行百业的能力之后,你是否会好奇——盘古大模型是如何从通用大模型练成行业大模型的?
据华为云人工智能领域首席科学家田奇介绍,当前通用的大模型落地行业存在三大挑战:
第一个挑战,大模型通用性强,但专业性弱。落地行业需要具备专业知识,明白行业的工作流程,给出专业准确的回答。
第二个挑战,大模型知识居多,但技能不足。目前通用大模型多为通用语言大模型,而企业场景复杂,需要模型能说、会看、能想、会算。
第三个挑战,数据是企业的核心资产之一,大模型可以有效地存储和挖掘知识,但训练和使用大模型需要保证企业数据的安全合规。
为了应对这些挑战,如上文所述,华为把盘古大模型的结构分为三层。
其中,L0基础大模型已经存储了大量知识,但如何将这些知识灵活地加以运用,以解决实际问题,就需要名师加以引导。
在L0功能的构建阶段,华为通过有监督、精调技术和强化学习来对模型进行引导,让模型在其收集的5000多万条高质量题库上进行大量的练习,掌握了上百种的能力。
读了万卷书,也有了名师指导,接下来就要进入行万里路的阶段。行万里路就是将模型应用到具体的行业中,学习各种专业知识,在行业工作流程中进行大量的锤炼,从而得到各个行业大模型。这一阶段,华为将与合作伙伴共建,沉淀行业know-how,解决企业实际的生产问题。
在盘古大模型 的L0功能层,华为做了上百种能力,比如语言模型的事实问答、文案生成等能力;视觉模型的检测、分割、三维重建等能力;多模态模型的文生图能力;科学计算的偏微分、基于方程求解、分子属性预测等能力;以及模型编排和插件调用等高阶能力。
华为深耕行业,让盘古大模型从知到行,有四大关键举措。
第一个关键举措是沉淀行业知识。盘古学习了十多个行业的公开数据,涵盖金融、政务、气象、医疗健康、互联网、教育、汽车、零售等。更为重要的是,华为有30多年行业经验的积累。近年来,其也成立了10多个军团深耕行业,深入了解了400多个业务场景,帮助大模型具备行业知识,熟悉行业机理。
第二个关键举措是淬炼行业技能。即结合专家和行业数字环境的反馈进行强化学习,以达到符合行业应用的最佳结果。
第三个关键举措是对话专业工具。除了人与机器的对话,在行业应用中,和华为更多地解决的是机器与工具的对话,以此将大模型与业务系统进行融合,产生对话与交流,让大模型能够调用大量的行业资产和工具
第四个关键举措是保证安全合规。盘古提供公有云、混合云、大模型专区这三种模式,保证安全的部署,同时建立长效机制,确保大模型安全。合规包括数据集来源和使用合规数据,全生命周期安全构建完整的数据标注以及审核机制,构建模型合规使用的政策,确保大模型的使用边界。
写在最后
任何一门技术突破都需要以产业赋能为技术指引,对于大模型而言,如果在消费场景处在追赶国外的境况,不妨直接从产业侧出发,依托中国本身具备的庞大业态寻求突围机会。
在华为看来,人工智能要面向千行百业走深向实,创造更大的价值。当前,AI for Industry,使能行业,以及AI for Science,助力科研是关键方向。
古有盘古开天地,今有盘古纵四海。当其他大模型还在吟诗作画、讲段子、抖机灵的时候,盘古大模型下矿井、上铁路、深入网点、走进车间,赋能千行百业的创新,这就是华为云一直以来所秉持的核心价值理念。
华为云坚定的表示——未来我们也将一如既往的秉持这个理念,用盘古大模型赋能千行百业。