# 手机端侧大模型，越大越好？

- 作者：刘学文
- 发布时间：2024-10-17 10:00
- 原文：https://www.ifanr.com/dasheng/1605177

![](https://s3.ifanr.com/wp-content/uploads/2024/11/V-1.jpg)

自去年下半年开始，在手机端侧运行大模型提升手机的 AI 体验成为每家手机厂商都在尝试的事情，同时这也是一个充满挑战的事情，因为手机的存储、内存和算力都并非无限，所以这就成了一个权衡的艺术：大模型要足够有用，同时参数规模又不能太大，否则端侧的算力和内存吃不消。

一般而言，以去年发布的天玑 9300 和骁龙 8 Gen3 为例，其 AI 算力支撑一个 13B 的端侧大模型已是上限，此时内存占用也很可能达到 8GB 之多，几乎相当于一个顶级旗舰机内存的一半。

因而诸多手机厂商会就会尝试各种参数规模的端侧大模型，在今年 vivo 开发者大会上，vivo 就发布了一个 3B 的大模型，而在此之前，vivo 还发布过 1B 、7B 和 13B 的模型。vivo AI 系统中心高级总监熊官敬这么解释其中的逻辑：

> 当时做端的核心逻辑是这样的，我们思考用户人眼的阅读速度边界大概是 10-20 个字每秒，我们当时从极限性能和芯片算力水平来看，13B 可以做到人眼阅读不卡，这是我们去年上 7B 和 13B 的逻辑，它满足人的需求。但我们上线之后，一方面我们倾听用户反馈，我们又做了成千上百次的测试，我们测在各种不同负载状况下，用户体验是否真的好，它的内存占用、发热情况、各种场景下的负载情况。
> 
> 在这个背景下，我们又看我们的模型基于自研的模型算法结构设计能力，我们把它做小，能力能不能损失很小。

简言之，无论是云端大模型还是端侧大模型，都经历了一个从扩大规模，到追求质量的过程。这就是 vivo 推出蓝心端侧大模型 3B 的背景。

vivo 介绍说，在对话写作、摘要总结、信息抽取等能力上，蓝心 3B 可以越级比肩行业 7B-9B 模型。相比蓝心 7B，蓝心 3B 极致性能提升 300%，平衡模式下功耗优化达 46%，极致出词速度可以达到 80 字 /s，系统功耗仅 450mA，内存占用仅 1.4GB。

熊官敬继续解释说：

> 我们在去年 11 月底 12 月初定下今年一整年的目标，我们要做一个行业最好的 3B，这个好不仅仅是模型好，它看到了我们的榜单 3B 模型 PK 之前的 6B 和 7B 都没问题，它是整体的体验好，效果好，性能好，内存好，功耗好，我们是一个全面的体验，从去年的尺寸回归到体验的本源思考的核心关键，到最后我们发现，6 月苹果发布的 3B，这是用户导向和设计驱动的不谋而合。
> 
> 我们从尺寸极致的探索到今天追求极致的用户体验，我们经历了一年的转变做 3B，今天才可以在通话、录音、输入法各个地方都敢用，去年没法儿在这个地方用，只能在蓝心小 V 用，输入法很多时候和其他场景叠加，我们经历了从技术追求极致到回归用户平衡体验的思考，选择了在行业上看起来怎么越做越回去了，尺寸还变小了（的方式），其实逻辑是我们回归到用户体验。

同时，手机 AI 体验的变化，远不仅仅是端侧模型的大小，还有星火燎原之势：

vivo 副总裁周围说：

> 我们做手机，从 2011 年做到现在已经 14 年，到现在没有发生过任何变化的需求，为什么我们还会集合（vivo AI 研究院） 2000 多人没日没夜干一年，因为我们对这个需求之下的理解和认知已经发生了变化，比如说以前我们做一个蓝心小 V 更多是问答和知识供给，是闲聊为主的功能，但是今年的蓝心小 V 完全不一样，我拖一个地址（手机）就知道你拖了一个地址，上面就会弹出几个选择，弹出一个标签，你可能要保存，弹出一个高德导航，你可能要去导航，你会发现还是长按或者拖拽一个东西，但是去年我们是无感的，今年我们有大模型去猜测你的意图，并且主动推测出你可能的选择。

体验的转变，底层还是技术的改变，当大模型可以在更多场景发挥作用，那么这些场景也就有了「智慧」，可以做到更加精准的意图识别。

再往上，就是 vivo 对于所谓的 AI OS 的整体理解。

![](https://s3.ifanr.com/wp-content/uploads/2024/11/V-2.jpg)

vivo OS 产品总监黄梓勋说：

> 大家都在讲 AI 手机或者 AI OS，各家的解读和理解不一样，我们的解读是不应该是手机这个形态或者操作系统这个形态有了更多的 AI 功能，还是回归用户的场景怎么通过新的技术加成，让他在这个场景下体验更好，效率更高。
> 
> 真正的痛点现在用户没有什么场景是缺的，也没有什么新的场景是他们需要满足的，更多是在原有的场景下给他带来更好的体验，它未必是一个痛点，但是新技术带来的新体验能够给用户带来更多的快乐感或者爽感。
> 
> 我们今天说用户用了这个新的功能或者新的产品会不会回不去，当他用了蓝心小 V 或者 AI 写作的工具，在他日常的笔记编辑、话术回复时，当有一天没有这个功能时，他会觉得不习惯，这就说明在新技术或者新应用的落地上，真正给用户带来新的体验的加成。

在现有的手机操作系统格局下，所谓 AI OS 不是重构和颠覆，不是 iOS 和 Android 对塞班系统的外在式颠覆，而是一种忒修斯之船式的改变，也许明年的手机系统看起来和前年的大差不差，但内在已经千差万别，交互方式也逐渐改变。

不过有一点可以确定，那就是 AI 手机和 AI OS 是一个面向未来的概念，而非当下手机已经成熟的形态，讲不讲这个概念，其实并不影响 vivo 在此的投入，周围说：

> 从去年到今年我们欣喜地看到，AI 手机这个概念已经催熟了，我们看到各种广告的投放，大家都在说 AI 手机，vivo 说 AI 手机比较少，同行都在说，这是一个好事，让普通大众也知道手机里面有 AI 的功能，让大家充满期待。
> 
> 我们也看到行业里面对AI手机有各自的表达，有的直接说我是做 AI 手机，做什么不重要，或者我做各个场景下的智慧服务，这都是 AI 可以做的事情。我们去年的大模型和今年的大模型也经过了一个剧烈的演进，去年我们说大模型只有一种模型，就是语言大模型，最多加一个 AIGC 的大模型，今年的大模型有声音了，有多模态了，去年的大模型和今年的大模型连内容都完全颠覆了，所以我们欣喜地看到，大模型在手机的应用也会发生巨大的变化。
> 
> 如果长远来看，我是乐观的，我可以看到 3 年之后的比如说芯片的定义可能就会出来，它的定义可能是我们参与的，我们也知道 PhoneGPT、大模型在三年之后能做成什么样的，所以我们可以看到 2026 年和 2027 年的样子，我是比较乐观的。

经历了去年的狂热和今年上半年的体验落差之后，现在大众对于 AI 手机和 AI OS 的期待也冷静许多，这反而是一件好事，技术、体验和产业的成熟的过程需要比想象中更长的时间。

就像 2013 年国内才开始商用的 4G，直到好多年后，才有了全民短视频时代那样。