不久前，GPT-4悄然收到一波更新。
有些朋友可能在社交媒体平台上看过类似的视频，ChatGPT 模仿Scumbag 的言论。
他充满活力的声音和独特的ABC口音，一开口，陌生人就以为是吴彦祖在打电话。
除了使用语音与ChatGPT沟通之外，新升级的GPT-4V在图像方面也非常擅长。
微软还发布了长达166 页的“GPT-4V 用户指南”，重点提供如何使用GPT-4V 的分步说明。
内容很长，但可以概括如下：
GPT-4V在图像识别、理解和推理方面具有强大的能力。
因此，审稿人也以“教材”为参考参加了GPT-4V开卷考试。
最重要的是，最基本的图像识别一定不会错。
让我们从一个连小学生都会做的问题开始：通过看图片来识别物体。
人工智能的答案非常相似，可以识别出差评者试图抓住的许多要点。
但对于GPT-4V 这当然并不困难。我还找到了一张桂林漓江的风景照片。
这张照片里有山或水。我们能否仅根据这个GPT 来确定我们所处的位置？
没想到，那些给差评的人真的被打脸了。
虽然知道这里是桂林，但这丫头也认得丽江。
但毕竟桂林山水甲天下，被认可或许也不足为奇。 于是差评君就带出了一个让无数男人脸红欲罢不能的女人，名叫——劳伽玛。
但没想到的是，AI很快就给AI圈子里的所有人上了一堂道德课。
“抱歉，这张照片包含真人照片，我的人工智能无法分析。”
嗯，我只能说，这个问题肯定是不了解规则造成的。
在差评人打码了老干妈之后，GPT-4很快就向大家展示了它的真正实力。
AI不仅认出了老干妈，还简单介绍了品牌。
根据微软提供的“说明”，
GPT-4V也只是图像识别的冰山一角。
于是坏评论家很快就趁热打出“老干妈”，并提出了一个相当困难的问题：“如果你顺时针转动盖子会发生什么？”
说实话，我对GPT-4V 的回答感到震惊。
很明显
AI能够理解瓶盖上的英文和箭头方向，并理解瓶盖必须逆时针旋转然后顺时针拧紧才能打开的逻辑。
看来这个GPT-4V真的有两个刷子。
为什么不增加难度并看看会发生什么？
根据微软的论文：
GPT-4V 还表现出了对一些X 射线和病理报告的出色理解。
这张照片是一名手部骨折的患者的X 光片。让人工智能扮演医生的角色，看看它是否有效。
敬请期待。您不仅可以看到骨骼的结构，还可以看到哪里有损坏或移位。
不过医学也是一个进入门槛比较高的领域，所以咨询了医生朋友，发现GPT-4V有点不爽。
这张X射线图像的上半部分并不像AI所说的那样是正常的骨骼结构，而是骨折的畸形愈合。
于是我给他发了一张我智齿的照片。
如果一个爆裂的分析告诉你人工智能不具备口服药物的基本知识，我不这么认为。
然而，当我给他另一张间质性肺炎患者的CT图像时，他断然拒绝了。
既然我们不打算去看医生，那我们就改变一下心态，请GPT-4V 向我们解释一下恶意的网络表情包。
比如这个经典的《2015》（500的一半）。
如果你有慧眼，你就会知道这张照片的有趣之处。
有趣的是，GPT-4V一开始并没有立即做出回应。
然而，只要提到“吴白同音字”，就会得到不同的结果。
上次Google Bard 更新其图像功能时，我也尝试了这张照片，但它没有给我预期的结果。
只能说OpenAI终于出现了一个能听懂这个笑话的AI。
经过这样的测试，负面评论者认为GPT-4V在图像识别和理解方面没有大问题，但尚不清楚其逻辑推理能力是否能够承受。
于是，差评者改变了方法，测试了GPT-4V的图像推理能力。
与往常一样，我们首先通过查看照片并猜测时间来做一些简单的事情。
目前还没有准确估计这是黄昏期，但从分析来看，也是合理的。
更离谱的是，你甚至可以要求GPT-4V用两张照片写一个故事。
像这样。
真的，一开始只是一张图片，剩下的都是AI编辑的。
但这一次，正当我以为GPT-4V真的杀死了一切的时候，公务员考试题又回来了。
另请参阅这个问题。正确答案是D。
然而AI给出的答案是B，很难解释分析。
逻辑在哪里？规则在哪里？
根据参考答案中的答案，例如，水平看9个方格时，第一行第一个网格图形的对称轴和第二个网格图形的对称轴应该等于第三个网格图形的对称轴网格。求解对称轴的数量。
AI似乎很难参加编辑考试。
不仅如此，在后续的测试过程中，审稿人还发现了GPT-4V 的诸多bug。
像观察这样简单的事情就会告诉你灰狼的肚子就是它的爪子。
直到后来，在我的不断“催促”下，GPT-4V才勉强回答了四个不同的问题，但仍然无法全部回答。
林碧姬的《新蜀山剑侠》据说是《霸王别姬》。
我不在乎这是不是《霸王别姬》，但我认为段小柔不是张国荣扮演的（他是张丰毅扮演的）。
不管怎样，经过这次测试，负面评论者认为GPT-4V 的性能几乎可以打到85 分。
虽然存在不少小问题，但不可否认的是，即使推出了GPT-4V，OpenAI 一贯的“一路领先”风格也得以保持。
微软的论文描述了GPT-4V 的许多功能，包括对照片中的人物进行注释、对一系列照片进行排序，以及根据实际提到的照片中人物的状态来预测接下来会发生什么。
不过，我们不打算在这里一一测试。对于许多有真人的照片，GPT-4V 根本不理睬我，AI 仍然说：“抱歉，我帮不了你。”
因此，我有合理的怀疑，微软用于测试的GPT-4V很可能是内部测试版本。
如果我们也获得内测版本，我认为我们可以在这次测试中开发出一些更有趣的东西。
但说实话，这个GPT-4V影响还是很大的。
旧的ChatGPT 很强大，但仅限于一个维度。当前的GPT-4V 是多维的，包含文本、音频和图像。
紧接着GPT-4V发布后，开源多模态大型模型LLaVA也赶着发布了LLaVA-1.5的升级版本。 LLaVA-1.5 还可以处理视觉任务，并声称直接与GPT-4V 进行基准测试。
我认为未来六个月主要车型升级的方向将是多式联运。
然而，快速部署大型多模式模型可能并不那么容易。
一是跨模态协调问题。
例如，如果文本中的“狗”对应于图像中的“狗”，那么问题就在于如何将图像像素转换为文本，而图像与文本之间的转换只有两种模式。
尽管人工智能的现状看起来很强大，但模式之间的转换和协调是工业界和学术界值得长期研究的课题。
如果对齐问题处理不好，再多的关于大型模型的知识也不会被浪费。
另一个问题是幻觉。
幻觉可以被认为是大牌模特在胡言乱语。
例如，在上述测试中，GPT-4V将林青霞误认为是张国荣。在我提出问题后，GPT-4V承认了错误，但仍然没有修复它。
即使糟糕的批评者认为幻觉问题是无法克服的，人工智能真正的生产力突破仍然遥不可及。
然而，这台GPT-4V永远是AI走向下一个战场的开始。
此外，GPT-4V实际上在去年年初就已经进行了训练，并于今年3月开始了早期内部测试。
所以我们可能不知道OpenAI中隐藏着什么。
ChatGPT 发布短短一年时间，AI 已经带来了很多惊喜。我也很期待看到AI未来会带来什么“大炸弹”更新。
本文和图片来自网络，不代表火豚游戏立场，如若侵权请联系我们删除：https://www.huotun.com/game/564294.html