苹果相机主管谈AI:赋予普通用户“超能力”,但保持克制
苹果相机主管Jon McCormack表示,AI正在帮助解决相机软件中大量此前无法解决的问题,但苹果采取比竞争对手更克制的策略,避免“为AI而AI”。
如今的照片到底是什么?随着科技巨头将生成人工智能功能融入我们的手机和相机软件中,真实图像和非真实图像之间的界限继续模糊。例如,谷歌和三星的手机现在配备了一些功能,可以通过擦除人物、在镜头中移动人物,甚至向场景中添加新对象来大幅改变照片。
苹果正在通过在其照片应用程序中添加新的生成功能来参与这一行动,尽管该公司iPhone相机主管乔恩·麦科马克强调,苹果正在采取比其竞争对手更加谨慎的方法,并且不是“为了人工智能而进行人工智能”。
”在周一举行的年度全球开发者大会上,苹果展示了一些入侵iOS 27中照片应用程序的AI功能,这些功能将于今年晚些时候在iPhone上推出。
虽然iPhone的照片应用程序已经有了清理工具,可以让你删除图片中不需要的对象,但由于它可以访问苹果改进的人工智能模型,它在iOS 27中的表现会更好。但是,有两个新功能-称为扩展和空间重新帧-让您扩大周围的空间,您的照片或更改图像的角度,所有同时生成假像素。
相机“思考”应该有什么,然后把它画进去。麦科马克表示,人工智能现在正在帮助解决大量无法解决的问题,而且这些新功能是经过深思熟虑的。
“你不必知道如何在Photoshop或其他东西中做某事的所有细节-它给了普通人这些绝对的超级力量,”麦科马克说。不过,苹果不想让你用你的图片去疯狂地运行,并产生各种各样的伪造。(At至少在照片应用程序中没有;
应用程序商店提供了大量的工具来制作照片级的照片。照片应用程序生成的假像素仅限于背景中的内容。它不会改变主要对象面部的像素。例如,使用Clean Up,您无法删除图像中的主要主题。扩展功能仅起作用一次,并将图像扩展25倍-您无法保存、再次编辑图像并使用AI无限扩展它。
麦科马克还表示,苹果将在今年晚些时候集成Google DeepMind的SynthID技术,以添加一个隐形水印,表明这些图像已被生成人工智能更改。您共享照片的任何平台都可能能够将其标记为AI编辑。
(Just知道研究人员已经证明数字水印并不是万无一失的。)“照片是真实发生的事情,”麦科马克说。“我们真的相信真实的新闻报道这种想法--当你拍摄照片时,你正在创造这些回忆,你正在把你生活中的时刻放在一个可以回去的瓶子里。
对我们来说,创造工具来保持那一刻的神圣性是非常重要的。
”几年前我与谷歌Pixel相机部门的负责人交谈时也表达了类似的观点;然而,他强调了如何记住这张照片的重要性。谷歌在允许您更改图像以匹配您心中的内容方面要宽松得多。你记忆中的天是不是更蓝了?继续改变它。
麦科马克说,苹果的新工具更具限制性,专门用于解决您在捕获过程中可能没有意识到的合成问题。也许你没有看到那个难看的塑料袋在背景中滚动。也许你给你的孩子拍了一张照片,但拍得有点太高了。或者也许你把你的配偶框得太靠近边缘,想要更多的空间。
苹果相机和照片软件的产品经理德拉·赫夫(Della Huff)表示,团队花了时间训练人工智能模型,以最大限度地减少这些数字调整过程中可能出现的任何幻觉。“它不会创造任何不应该存在的东西,”赫夫说。
例如,如果您试图扩展街景,那么可能有一辆汽车停在您原始照片的边界之外,但Extend不会做出这样的假设并生成它。“模型的训练方式是,如果您不需要在那里创建东西,那么就不要进行最低限度的幻觉来实现用户要求模型的目标。
”但在我在iOS 27开发者测试版中使用Extend的一个例子中,我拍了一张坐在桌子旁的朋友的照片,然后试图将场景向右扩展一点。在背景中,一些人坐在桌子旁,但随着场景的扩展,照片应用程序又添加了几张桌子,上面摆满了假的人--现实生活中从未出现过的人--坐在桌子旁。
哈夫表示,该功能试图与现有的审美相匹配。如果背景中有人,但扩展在您扩展照片时没有添加其他人,那可能看起来很奇怪。“如果我们说规则是我们永远无法生成背景人类,那么该功能就会变得不那么有用,”她说。
值得记住苹果在主题演讲中提出的一点:这些新相机功能存在使用限制。苹果公司没有具体分享这些每日限制,但如果用户想要每天多次扩展、空间重建或清理照片,则需要订阅iCloud。苹果今年WWDC演示的一大主题是使用自然语言来完成任务。
您可以自然地与Siri对话--无需使用严格的命令--而且它会理解您的意图。在日历应用程序中,您可以描述事件,它会立即创建它,无需填写各个字段。您可以描述要在快捷方式应用程序中创建的快捷方式,而无需摆弄触发器和操作。
在Safari中,您可以说出存在的扩展。那么为什么你不能用自然语言编辑照片呢?这是谷歌去年在Google Photos上推出的功能。哈夫表示,新的Siri AI可以代表您进行一些修饰,苹果并不排除未来路线图上的任何可能性。
Siri无法使用新的人工智能功能进行编辑--这些功能是严格由人类控制的--但这部分是因为苹果认为这不是一种良好的用户体验。这些功能需要更多的力量;很难让Siri完成改变照片视角的过程。
“这方面还有很多开放性的内容,尤其是像空间重新框架这样的东西,这实际上是一个你需要表达的用户意图的事情,”赫夫说。说到Siri,iOS 27的另一个重大变化是Siri将被注入到相机应用程序中。
麦科马克表示,让iPhone相机通电纯粹是为了减少摩擦。Siri的视觉智能功能--通过使用计算机视觉来研究图像,就像Google Lens一样工作--目前通过摄像机控制按钮激活。但这是一个相机特定的功能,因此麦科马克表示,它存在于相机应用程序中是有道理的。
“它接受了这样一个想法,即相机实际上是很多东西,”他说。“这是一个纪念装置……这是一个记笔记装置……或者我只是好奇那棵植物是什么。
”苹果更谨慎的方法与其图像生成应用程序Image Playground相比可能会让人感觉不一致,该应用程序允许您通过文本提示(或通过从您自己的库中注入照片)创建人工智能生成的图像。
在iOS 27中,Image Playground默认会生成更逼真的图片,除非您指定特定的艺术风格。但麦科马克表示,人工智能的这些不同用途会根据它们在手机上居住的环境而感觉不同。如果您在“照片”应用程序中,用户希望知道他们位于一个安全的地方,记忆完好无损。
但在游乐场中,命名是故意的--“这是一个玩耍的地方。”“这两个用例都完全有效,”赫夫说。“我想改进这张照片。照片是发生的事情,我用相机拍摄了它,照片应用程序是我可以改进它的地方。但我也想创作