百度文心一言首次亮相!还对标不了 ChatGPT,但别急着失望

公司

2023-03-16 17:20

最近 AI 真是火得没边了。

OpenAI 靠着 ChatGPT 实力吸睛,Google 带着 Bard 紧随其后,就在昨天,GPT-4 模型又抢尽风头。你方唱罢我登场的 AI 领域,今天,轮到了百度了。

就在今天下午,备受期待的百度文心一言如期而至。不过在发布会一开场,百度 CEO 李彦宏先给大家打了一剂预防针:

从某种意义上说百度为此(发布文心一言)已经准备了多年,我们十几年前就开始投入 AI 研究,2019 年就推出了文心大语言模型,今天的文心一言是过去多年努力的延续。

但也不能说我们完全 ready 了,文心一言要对标 ChatGPT、甚至是对标 GPT-4 的门槛是很高的,全球大厂还没有一个做出来的,百度是第一个。我自己测试感觉还是有很多不完美的地方。

姗姗来迟的文心一言表现如何?和 ChatGPT 的差距有多少?能满足市场对中文大语言模型的需求吗?我们对它做了一次全方位解析。

申请内测网站我们也一并放出来 👉 https://cloud.baidu.com/survey_summit/wenxin.html?track=C816552

新一代大语言模型、生成式 AI 产品文心一言,能做什么?

五大要点:

  • 文学创作;
  • 商业文案的创作;
  • 数理逻辑的推算;
  • 中文的理解;
  • 多模态生成。

针对这五大场景,李彦宏分别进行了演示。值得一提的是,这些演示并非现场操作,而是录播。

首先是文心一言的文学创作能力,李彦宏连续对文心一言提出了与《三体》相关的若干问题。

首先从演示视频看来,文心一言的回答速度很快,比 ChatGPT 快很多,另外出来的内容都挺不错的,后面我们也会把相同的问题扔给 ChatGPT 和必应 Chat,看看三者之间的区别。

▲动图未加速

针对商业文案创作,李彦宏向文心一言提问:

如果要成立一个用大模型服务中小企业数字化升级的科技服务公司,可以起个什么公司名?

以下是它的问答。

别说,还挺像样的。

还能用它生成新闻稿,可以说是把 AI 从头用到脚,很符合这家公司的定位。

在数理逻辑推演环节,百度问了个鸡兔同笼的问题,文心一言先是发现了题目出错,后来换了个题目,它就能准确回答出来。

文心一言发布前,已经有人猜测这个语言模型会比 OpenAI、Google、微软做得更好,因此百度也在这部分炫了个技,文心一言不仅准确回答了成语「洛阳纸贵」的含义,还对背后的金融现象进行了解释,最后还用这个成语写了首藏头诗。

李彦宏在现场也提到,中文是文心一言的优势,反过来说,对英文素材的解析则成了它的劣势。

最后介绍了文心一言的多模态生成能力,画图、写长文、根据文字生成短视频内容,它都一一完成,这是 ChatGPT 所不具备的能力。

▲还能用生成方言语音

李彦宏还提到,百家号已经在利用文心一言的多模态生成能力,把文字内容视频化。

会后,首批用户通过百度提供的内测码,可以抢先体验到文心一言,我们已经提交内测申请,未来将在第一时间给大家带来体验内容。

在这之前,我们把会上演示的几个场景,分别喂给了 ChatGPT(3.5 版)和 Bing Chat,看看他们输出的结果如何。

对比 ChatGPT&Bing Chat,文心一言体验如何?

演示过程中,李彦宏多次强调百度在中文语言的处理上,处于独一无二的位置。

相比 ChatGPT 和 Bing Chat,现在的最大的不同点在于多模态生成,即可以通过语言生成海报、语音甚至视频内容。

发布会演示中,李彦宏展示了使用文心一言生成活动海报、方言语音,并根据提问内容生成与活动相关的视频。不过生成视频的成本较高,现阶段尚未对所有用户开放。

图片、视频的生成能力确实让我们眼前一亮,李彦宏也表示,「多模态生成式 AI 是一个明确的发展趋势」。

除了这一特色功能,我们也很好奇其他能力相比 ChatGPT、Bing Chat 孰强孰弱,所以就用发布会中演示的内容去询问了 ChatGPT(3.5 版)以及 Bing Chat。先说结论:文心一言在中文领域的表现,确实要优于 ChatGPT、Bing Chat 这两个前辈。

首先是关于《三体》的提问,Bing Chat 和文心一言均能正确回答作者是谁、来自哪里的问题,而 ChatGPT 则把刘慈欣的籍贯错标成了山东。

有趣的是,Bing Chat 的信息来源是百度百科。

而在关于 2023 年初上演的《三体》电视剧版演员的问题中,信息库停留在 2021 年的 ChatGPT 再次吃瘪,表示《三体》电视剧暂未开拍,而 Bing Chat 则在豆瓣中找到了答案。

在商业文案创作方面,三者均可以给出它们的看法,ChatGPT 还贴心的附上了英文名,方便我们进行步入国际市场。

而 Bing Chat 则在第一次询问时识别错了问题含义,没有给我准确的公司名,而是提供了如何起一个公司名的解决方案。

至于三家起的名字哪个更好,就留给大家评判了。

不论是 ChatGPT 还是 Bing Chat,它们在做数学题时并不能让我们完全放心,不过百度发布会中提到的鸡兔同笼问题并没有难倒二者,均准确的做出了解答。

相比之下,我更喜欢 Bing Chat 的解读,它更像是一位循循善诱的老师,而文心一言的回答则有点像课后的参考答案。

中文理解方面,文心一言的优势就体现出来了。

在询问「当时洛阳的纸到底有多贵」时,ChatGPT 误以为我询问的是唐代的物价,告诉我洛阳的纸一点都不贵,Bing Chat 识别上没有问题,但也没有给出准确数据。

而文心一言给出两三千文的价格,至少与我搜索得到的数据是一致的。

相信你也注意到了,且不说写的内容如何,ChatGPT 和 Bing Chat 都没有理解什么是藏头诗,相比下来,百度文心一言的表现确实出色。

当然,这样的比较对 ChatGPT 和 Bing Chat 是不公平的,毕竟我们还没有正式体验到文心一言,只是与发布会演示比较而已。获得测试机会后,我们会第一时间体验文心一言,表现如何到时再见分晓。

李彦宏在发布会中也提到,虽然中文方面优势明显,但文心一言针对英文语种、代码场景的训练还不够多,表现也不够好,相信接下来百度会迅速提升。

脚踏实地,仰望星空

毫无疑问,文心一言的发布对于中文互联网来说是个标志性的事件。

正如李彦宏开场时所言,百度是首个做出可以对标 ChatGPT 的产品的大厂,实现了中文语言大模型 AI 生成式产品从无到有的突破。

但另一方面,我们也需要正确看待文心一言与 ChatGPT 之间的差距。

我们今天所说的 ChatGPT,或者其背后的 GPT-4 语言模型,是一个花了 5 年时间、经历了 4 次迭代,完成了从量变到质变过程。想让文心一言在这么短的时间内实现赶超,几乎是不可能的事情。

从今天的发布会来看,文心一言并不是人们预期中那样具有革命性的产品,而更像是对百度 AI 技术储备的一次中期考验,展现百度也有追逐最先进人工智能产品的研发能力。

面向公众开放后,文心一言可以通过用户们大量的搜索请求进行学习和改进,从而提升处理相应问题的准确性和速度。在 ChatGPT 上,我们已经见识过 AI 语言模型进化的速度。

如果你也期待见到一个真正的「中文版 ChatGPT」,不妨再给文心一言时间和耐心。士别三日,当刮目相看,对于 AI 模型更是如此。

本文由陆新宇、王志劭、黄智健共同完成

登录,参与讨论前请先登录

评论在审核通过后将对所有人可见

正在加载中