可识别图片的AI工具MiniGPT-4,开源免费,实现了GPT4尚未开放的功能

浏览:1287次阅读
没有评论

我们曾经见识过 GPT-4 的多模态功能,简直惊为天人。特别是,它能够通过简洁的草稿图纸创建一个完整的网站,让我们提前感受到了 GPT-4 的强大多模态模型功能。

关于 MiniGPT-4

现在,一个名为迷你 GPT-4 的项目在阿卜杜拉国王科技大几位博士的努力下开源了,提供了类似 GPT-4 的图像解析力,短短几天斩获千万关注。

可识别图片的AI工具MiniGPT-4,开源免费,实现了GPT4尚未开放的功能插图

那么它的能力如何呢?我们来看看官方的视频。它可以轻松识别一片叶子上的斑点,并判断出这片叶子生病了,还给出了解决方案。它能够看出一张仙人掌图片展示的场景,不可能发生在真实世界,因为仙人掌不会生长在这么冰冷的环境中。

它还能够为图片中的产品撰写广告词,以及给出美食的烹饪方法。更神奇的是,它甚至可以通过几行指令来创建整个网站。太令人惊叹了,我们一定要试试它!

MiniGPT- 4 使用方法

打开迷你 GPT-4 的 demo 页面:https://minigpt-4.github.io/

在左边窗口上传一张图片,比我上传这张,接着点击Upload&Start Chat

接着在右边 User 窗口写出指令,让他我帮我们描述一下这张图片,有什么有趣的地方?

可识别图片的AI工具MiniGPT-4,开源免费,实现了GPT4尚未开放的功能插图1

稍等一阵子之后,就给出了他的答案:

此图显示一只狗躺在地板上,爪子放在鞋里。狗的表情既好奇又顽皮,好像在想弄明白这只鞋是干什么用的。这个场景很有趣,因为它显示了狗顽皮的天性和对鞋子的好奇心。

可识别图片的AI工具MiniGPT-4,开源免费,实现了GPT4尚未开放的功能插图2

大部分描述内容是准确的,不过白衬衫和蓝色牛仔裤,你就会发现他对人类的着装确实不在行,他也可以支持中文。接着我们用一张图片让他写一个故事,他很快就写了出来。

可识别图片的AI工具MiniGPT-4,开源免费,实现了GPT4尚未开放的功能插图3

MiniGPT- 4 项目特点

  • 第一就是多模态,也就是能够读懂图片,在这个示例中呢,它可以回答图片是关于什么内容的,有多少种颜色,甚至能够说明这个图片,是属于什么风格的
  • 第二低成本仅仅用了 4 块的 A100,训练了仅仅 10 个小时,绝对称得上是迷你

总结

那根据 MiniGPT4 的实验结果表明,GPT4 的先进能力理论上可以归因于,它使用了更先进的大模型语言也就是说,未来在图像声音视频等等领域呢,基于这些大模型所制造出来的应用,实际的效果呢应该都不会太差。

这个项目也证实了,大语言模型在图像领域的可行性,接下来呢,相信应该会有不少的开发者跑步入场,将 GPT4 的能力进一步的,往音频视频等等领域延伸,让我们可以看到更多有趣,令人惊艳的 AI 应用程序,好了今天的分享呢就到这里。

正文完
 
评论(没有评论)
验证码