# 最后封印解除！Bing 抢先 ChatGPT 支持识图功能，不仅能看懂梗图、写网页，还能「看病」 - 作者：黄智健 - 发布时间：2023-06-13 14:49 - 分类：产品 - 原文：https://www.ifanr.com/1552155 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/41425ed0-ea2d-11ed-b7cf-9a9259ffcc41.cf_.jpg) 还记得今年 3 月 OpenAI 在发布 GPT-4 时提到的多模态功能吗？ ![](https://s3.ifanr.com/wp-content/uploads/2023/06/screenshot00-62.png) ▲ GPT-4 回答 Demo，由机器翻译 GPT-4 支持图片输入，可以看懂梗图、看懂物理题，还能看懂论文，一经发布便震惊了所有人，这也是 GPT-4 相较 GPT-3.5 最大的升级点。 只可惜，OpenAI 表示图像输入功能仍然是研究预览阶段，还不能向公众公开。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/bing-allows-visual-inputs-now-v0-nnllr7dcn55b1.png) ▲ 新增了一个识图图标 图片来自：Reddit 然而，近日 Reddit 有网友发现，自己的 Bing Chat 账号悄悄新增了一个上传图片的入口，把图片上传上去后，Bing Chat 竟然会识图回答！ 此前微软曾透露 Bing Chat 使用的正是 GPT-4 模型，并在上个月的大更新日志中有提到会为 Bing 加入多模态支持，综合来看，Bing Chat 很可能正在逐步开发向用户开放识图功能测试。 该网友对 Bing Chat 做了大量测试，让我们一起看看「长了眼睛」的 Bing Chat 有多厉害吧。 首先是 GPT-4 最让人拍案叫绝的看梗图功能。GPT-4 不仅可以理解图片里的内容，还能像人类一样分析出梗图的笑点在哪里。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/screenshot00-61.png) 例如这张梗图中，GPT-4 可以看出图片想要表达用过时的 VGA 形状的接口给 iPhone 充电是一件很荒谬的事，引入发笑。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/372c2e10-be9f-4918-a77e-54c4fee9497c.jpeg) ▲ 由机器翻译 网友给 Bing Chat 上传了同样的梗图做测试，奇怪的事情发生了：Bing Chat 并没有认出这是 VGA 接口，因此它也「get」不到其中的笑点，不过 Bing Chat 还是一五一十地把照片解读了出来，甚至还能说出线缆的品牌，并给出更详细的资料。 这也许是 Bing Chat 偶然的误差，也可能是微软在实际应用 GPT-4 做了更多的限制调整导致回答偏差。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/057c076f-b6c0-4ee7-ba31-4b2e2461b3a7.jpeg) 网友再上传了另一幅关于机器学习的梗图漫画，这次 Bing Chat 就能比较准确地答出图中的内容和笑点。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/5eec36e6-11e4-444f-8969-57251a7bf68a.jpeg) Bing Chat 对另一张在汽车上烫衣服的梗图分析也同样到位。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/24685c80-ffff-4f23-a0a6-aa4837f926ce.jpeg) ▲ 此处翻译有误，原文为：Diddy Kong, Pyra, Pikachu, Zero Suit Samus, Donkey Kong, Sonic the Hedgehog, Ness, Cloud Strife, and Incineroar Bing Chat 识图的精度有多高呢？他上传了一张《任天堂大乱斗》游戏的角色图，同一张图上有排列着非常多的角色，要求 Bing Chat 一一认出所有的角色。 结果是，Bing Chat 在 12 个角色中认出了 7 个，看来二次元问题对它来说还是有点难度。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/experimenting-with-bing-ais-visual-input-part-2-more-info-v0-zv08l6cxob5b1.png) OpenAI 在发布时还展示了一个拍手绘图就能编程网页的案例，该网友也手画了一张图考考 Bing。 让我们跳过冗长的代码环节，直接看看这个网页跑起来的效果。可以看出，基础的网页雏形还是搭出来了。 识图功能的加入给 Bing Chat 增添非常多的用途，毕竟现实中很多内容（例如公式、图表）很难用文字表达清楚，这时候直接一张图甩给 AI 就能得到回答。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/7e621107-8fc0-4f8c-b255-c995fb1fc93d.jpeg) 例如让它解释一下染色体在减数分裂时交叉互换的过程。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/c71ba13d-3e90-430d-8c22-1add9d869cc6.jpeg) 让它扮演生物老师，分析一下肾元过滤的工作原理。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/718040ea-aee8-4c01-a252-178d49f3488c.jpeg) ![](https://s3.ifanr.com/wp-content/uploads/2023/06/1edd7cc7-c2aa-45c8-90fc-1931d4f1aef0.jpeg) 甚至可以让它充当网络医生，简单诊断一下皮肤症。 此前，ChatGPT 由于出色的文字理解和表达能力，已经被人们开发出了学外语、练口语的功能。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/8644e9a6-e2eb-4d7d-84d4-3be817f72417-1.jpeg) 再加入视觉识别后，Bing Chat 甚至可以担任一个初高中乃至大学老师的角色，帮助学生解答复杂的数理化问题，如果未来能把识图功能推广开来的话，这也许在一定程度上可以解决教育资源不均衡的问题。 用户还可以用它做基础的医疗诊断，节约就医所需要的金钱和时间，体现出 AI 普惠大众的价值。 当然，Bing Chat 虽然能基本看懂现实世界的内容，但它的回答终究只能作为参考，不可以当做专业意见。 所以要完全向公众开放识图功能的话，微软还需要做大量的限制和调试，才能确保公众不会因为误信 AI 的回答而出现安全问题。 ![](https://s3.ifanr.com/wp-content/uploads/2023/06/41425ed0-ea2d-11ed-b7cf-9a9259ffcc41.cf_.jpg) 在短期内，Bing Chat 识图应该还只是少部分用户才可以使用的测试性功能，如果你感兴趣的话，可以立刻登录一下你的微软账号，看看在 Bing Chat 的聊天栏上是否多了一个图片的图标。 目前 Bing Chat 面向所有微软账户开放，快来开盲盒看看你有没有收到测试资格吧 ⬇️ https://www.bing.com/new