• 媒体品牌
    爱范儿
    关注明日产品的数字潮牌
    APPSO
    先进工具,先知先行,AIGC 的灵感指南
    董车会
    造车新时代,明日出行家
    玩物志
    探索城市新生活方式,做你的明日生活指南
  • 知晓云
  • 制糖工厂
    扫描小程序码,了解更多

在网络大模型时代会问问题,在未来会是一种核心能力,否则网络大模型跟你沟通的效率会降低。但恰恰是端侧大模型对你理解最深,帮你把背后的潜藏意识跟云侧大模型沟通,可能是效率最佳的。

—— 荣耀 CEO 赵明

大声

2023-10-27 03:51

2023 骁龙峰会发布了很多新的芯片,但主题却只有一个:AI。而这次峰会关于 AI 也有一个关键词:端侧大模型。

所谓端侧大模型是和云侧大模型相对应,完全运行在本地,无需联网,在飞行模式下也能使用,但相应的,端侧大模型的参数规模要比云侧大模型小一两个量级,需要的算力也少很多。一般而言,端侧大模型比较流行的参数规模为 70 亿,而目前最热的 GPT-3.5 的参数规模为 1750 亿。

在骁龙峰会上,荣耀终端有限公司 CEO 赵明宣布即将推出的荣耀 Magic6 将搭载骁龙 8 Gen 3 移动平台,支持 70 亿参数的 AI 端侧大模型,并首次向外界展示了荣耀手机端侧 AI 大模型的部分功能。

与云侧 AI 大模型不同,荣耀端侧 AI 大模型基于个人化理解和感知来完成场景化任务闭环。其优势在于可以更好的学习用户个人数据,且个人数据不出端、不上云,隐私信息更安全,是个人化的智慧生命体。同时在端侧积累个人知识库,可迁移、可继承、可成长。随着端侧 AI 对用户个人数据和习惯的学习成长,能够带来更深入的意图理解和更加个性化的复杂场景服务。

此次荣耀与高通的合作主要围绕性能、功耗和用户隐私等方面进行联合创新,推动了 AI 大模型在端侧的更好部署。在性能方面,双方联合优化端侧 AI 大模型的推理性能,充分释放端侧 NPU 算力;在功耗方面,联合优化端侧 NPU 调度,让大模型应用流畅又省电;最后,在隐私安全方面,双方联合优化端侧 AI 大模型应用的数据通路防护,保障用户隐私绝对安全。

荣耀 CEO 在峰会现场展示了包括智慧成片和灵动胶囊在内的端侧 AI 能力,以及 MagicRing 信任环所带来的的升级功能,如摄像头跨设备分享、APP 跨设备拖拽等功能等。荣耀智慧成片功能就和端侧大模型能力有关,可以根据用户偏好和关键节点对图库里的图片、视频进行智能检测、筛选,并主动匹配音乐字幕,一键即可成片。

于是问题就来了,为什么在云侧大模型以及这么火,应用如此多的时候,高通和荣耀还要研发和推广端侧大模型?

赵明在会后的采访中,向爱范儿等媒体解释了这个问题:

我认为端侧大模型和云端网络大模型是协同的,不是互斥。各自都有各自的局限性,各自都有各自的优势,它不是互相取代的。

 

在端侧由于 AI 算力问题可能做到了 10 亿到 100 亿参数。今天荣耀在算力上是做的最好的,他也就在这个范围内。网络大模型云计算的能力可以做到 100-1000 亿,甚至更高,这种能力是两者的差距。

 

网络大模型核心在通用、公用知识,你让他写篇科幻小说是可以的,但你让它写过去十年的年终报告,看看趋势是什么,你要不把过去十年工作情况上传过去,它是写不出报告的,因为涉及用户隐私和安全的问题。端侧是不出端的,是个人独有的 AI 处理能力,它反倒可以帮助你。过去你写的工作报告或者心路历程,小孩子成长的轨迹,都可以帮助你分析,因为是你个人的数据,在个人手机上可以完成。

 

所以,未来一定是端侧大模型帮我们更好地跟网络模型进行沟通,或者是说你把端侧大模型做好了会提升网络大模型的使用效率。即使提问,你问网络一个问题,它会有无穷多的问题在等着你。在网络大模型时代会问问题,在未来会是一种核心能力,否则网络大模型跟你沟通的效率会降低。

 

但恰恰是端侧大模型对你理解最深,可以把一些基本的信息交互网络侧,帮你保护个人数据隐私,它帮你把背后的潜藏意识跟云侧大模型沟通,可能效率最佳的,帮助你平衡端侧和网络侧给你提供的服务。这种认知和发展方向,荣耀相当长时间内思想都比较领先的。这是过去相当长时间内我们坚持发展手机 AI、平台级 AI 能力的原因。

另外,端侧大模型还有一个优势就是成本低,因为运算完全在本地的芯片上,不会消耗服务器算力,成本只有手机电量,但是云侧大模型的成本就是肉眼可见的了,Open AI CEO 曾经表示,ChatGPT 问答一次的成本为数美分,约人民币 o.5 元,虽然后续成本有所降低,但每次问答背后都是钱在支撑,再往后算,还有电力消耗,冷却水消耗和碳排放等等。

这些成本也是赵明认为端侧大模型大有可为的原因之一,赵明说:

每个人现在用网络大模型干的最多的事儿,是对话类的,问一些稀奇古怪的问题,或者写份武侠小说,写份报告。但它跟你的连接和关系比较弱。更多是专家,给你个专家系统,问询、问答式的。

 

真正帮助我们更好管理自己的事情的时候还是要靠端侧 AI 能力,未来一定是端侧大模型和网络侧的大模型相结合。混合式 AI,未来能够真正解决我们的问题。今天有很多垂域网络大模型,未来这些都是荣耀的合作伙伴。做端侧 AI 并不排斥云侧,我们是合作伙伴的关系。因为每个人只做自己力所能及的最强的一部分,但很多 AI 算力应该在手机侧做,效率更高。

 

比如说,你随便问一个问题,可以看一下网络大模型背后消耗多少能源,消耗多少算力,实际上来讲很多是不经济的,甚至某种程度上是不需要动用网络大模型方案的。未来一定是各自分工,今天还没有谁说网络大模型已经是盈利的,还是因为算力的消耗还是太多了。

同时,赵明也表示,目前荣耀已经和很多云侧大模型供应商进行沟通,酝酿端云大模型互补的落地:

现在行业当中有太多云侧大模型了,我们跟很多家都在谈,以后可能未必只接一家,因为网络大模型,那是别人的能力,你反正提供一个接口,互相之间的这种合作就可以了,我们不排斥,我们一直说坚持荣耀的端侧大模型,比如说大语言模型也好,通用的语言模型也好,或者随意大模型的合作,我们都不排斥的,我们是一个非常开放合作的态度。

虽然说荣耀自研的 70 亿参数端侧大模型会首发在 Magic6 上,并且明年年中的时候,荣耀也会发布搭在高通骁龙 X Elite 平台的笔记本产品,骁龙 X Elite 也有很强的算力,支持更大规模的端侧大模型,前不久英特尔也展示基于 X86 芯片运行的 PC 端侧大模型,这也预示着一种可能性:荣耀自研的端侧大模型,可否运行在其他设备上?

赵明也肯定了这种猜想:

我们首先还是会用在手机上面,我们是真正做到了 70 亿,这是我们自己开发的,从端侧大模型未来演进发展来看,当然它各个方面还有很大的提升,但是你要想一下,手机是在一个很有限的空间内,对吧?它是在有限的电池,有限的散热和有限存储环境下支持 70 亿,你就想象一下其中这么多约束条件,它一定是最难的。

 

笔记本我可以加一个风扇是吧?我可以有很大的散热器,电池的容量也可以更大,其实它是一个不同的逻辑和体系,但是我说我们平台级 AI,一定是最具挑战性的,最难的其实还是在手机上。反倒你在手机上具备了这个能力之后,当然未来我们可以把它平移到 PC 上面,或是 X86 PC 上面,这对于我们来说都是一个相对来说比较简单的事情。

在 2023 年收尾阶段,我们可能看到一系列的新机将接入各种大模型,端侧也好,云侧也好,我们使用手机的方式也会因此改变,进而是 PC,甚至是其他的产品上,大模型都会参与其中,人机交互的变革大幕也就此拉开。

登录,参与讨论前请先登录

评论在审核通过后将对所有人可见

正在加载中

在命运的塑料大棚里,每棵被喷了过多农药的白菜心中,都曾经有一个成为无公害有机蔬菜的梦想。

通过新世代车型,我们期望展示未来汽车行业三大核心领域的系统实施——电动、清晰聚焦可持续和全数字化。这也意味着宝马将在设计、技术和理念三个维度全面步入未来。

查看全文 —— 宝马集团董事长齐普策

英特尔已经向业界提供了 500 万片酷睿 Ultra 核心,其中 40% 供给中国市场。

查看全文 —— 英特尔执行副总裁兼客户端计算事业部总经理 Michelle Johnston Holthaus

AI 的确是最近我们公司讨论非常频繁的一个重点话题,现在 AI 每一天的进展是天翻地覆的,可能每过一段时间基本上都有一个跨越式升级,对于手机硬件厂商来说,一定是接下来科技方向的重中之重,不管是开源,还是大模型诞生,手机的应用一定会发生很多变化。

查看全文 —— 真我全球副总裁 徐起

中国用户对于户外生活方式的热情给予我们很大启发,我们发现中国自然环境中蕴藏的能量与色彩实实在在影响着主流文化审美。

查看全文 —— 福特中国设计中心色彩材质设计经理 Jeffrey Liu

从前年开始我们在做 AI Helpful,就是要让智能设备有用、好用。

查看全文 —— 云米科技创始人、CEO 陈小平