介绍双子座Omni
介绍双子座Omni去年,Nano Banana将Gemini的智能带入图像生成和编辑。从那时起,它帮助数百万人恢复旧照片、根据草图进行设计并以以前不可能的方式可视化想法。从一开始,我们就将双子座打造为原生多模式,现在我们正在迈出下一步。
我们正在推出双子座Omni,双子座的推理能力与创造能力相结合。Omni是我们的新模型,可以根据任何输入创建任何内容--从视频开始。通过Omni,您可以将图像、音频、视频和文本结合起来作为输入,并根据Gemini的现实世界知识生成高质量的视频。
您还可以通过对话轻松编辑视频。今天,我们推出了Omni家族中的第一款型号:Gemini Omni Flash,适用于Gemini应用程序、Google Flow和YouTube Shorts。
随着时间的推移,我们将支持图像和音频等输出模式。以下是Omni的一些特别之处:通过对话编辑您的视频Gemini Omni为您提供了一种更简单的方式来编辑视频-使用自然语言。每一条指令都建立在最后一条之上。
你的角色保持一致,物理学保持不变,场景记得之前发生的事情。改变你周围的世界。改变具体的事情,或者改变一切。您的视频成为您自己无法拍摄的内容的起点。提示:用气泡制作雕塑。重新想象行动。
拍摄一段您拍摄的视频,要求Omni改变正在发生的事情。编辑动作、添加新角色或对象,或将某个时刻转变为意想不到的事情。提示:当人触摸镜子时,让镜子像液体一样美丽地波纹,人的手臂就会变成反光镜材料。
提示:调暗房间内的灯光。将一个黑白棋盘房间放入一个玻璃球体中,该玻璃球体漂浮在手上方跟踪,其中包含握住球体的同一只手的回归表示,从而创建了无限的回归房间。摄像机慢慢靠近球体,形成视频循环。提示:公寓的灯光开始与音乐同步打开。
跨多个回合优化您的视频。更改环境、角度、风格甚至具体细节,而不会失去原始场景的线索。滚动旋转木马以查看编辑如何相互建立。提示:小提琴家演奏歌曲的视频。提示:将小提琴家运送到图像环境提示:让小提琴隐形提示:将摄像机角度更改为越过小提琴家的肩膀。
基于双子座的世界知识,将想法带入生活双子座Omni不仅构建看起来真实的场景,还对接下来应该发生的事情进行推理。它将对物理学的直观理解与双子座对历史、科学和文化背景的了解结合起来,弥合了从照片现实主义到有意义的故事讲述的差距。
用更准确的物理原理创建视觉效果。Omni对重力、动能和流体动力学等力有了更好的直观理解,使您能够创建更真实的场景。提示:弹珠在连锁反应式轨道上快速滚动,连续流畅拍摄。融合知识和创造力。Omni利用双子座的知识,以远远超出模式匹配的方式将语言、意象和意义联系起来。
提示:视频显示字母表中的项目。桌子上显示了一个以每个字母开头的不寻常物品(比如C的水豚、D的迪斯科地球仪和L的熔岩灯)。所有26个字母必须由26个项目代表,其中匹配的下三分之一显示该字母。一次只能使用一个物品,并且低三分之一。
每下三分之一看起来都必须像写在左下角纸片上的黑色记号笔。快速射击,每件物品大约9帧,24 FPS。最后一帧是一张纸条“THE End”。整个视频伴随着平静流畅的音乐。复杂的想法变得视觉化。Omni可以根据简短的提示创建引人注目的解释,生成分解更复杂想法的视觉效果。
提示:蛋白质折叠粘土解释器,一切都是粘土制成的,没有手,停止运动,准确根据任何输入组合创建视频引用任何东西。Omni将任何参考(图像、文本、视频或音频)转化为单个、有凝聚力的输出。
虽然音频启动仅支持语音引用,但我们很快就会推出其他类型的音频输入。提示:基于image_0的动态科幻电影风格视频。png。元素亮起,类似于video_0。mp4与audio_0的音乐节拍同步。
WAV提示:参考video-0中极端的摄像机运动、透视和失真,从video-0创建角色的正面全身行走循环,从现实电影开始,在行走循环期间快速风格转变为多种视觉风格。保留环境,只改变风格。硬切背景总是以天空为中心。
连续行走、连续音频和风格转变,与音频的节拍完美同步。电影,16:9。提示:添加与我触摸每片蕨类植物叶子时同步的竖琴声音。
将叶子结构改为所有类似半透明3D生物发光植物生命,生物发光萤火虫在它周围飞翔,当我玩耍时做出反应,与声音同步,微妙的散景景深动态照明,反射到房间的墙壁上,保持房间结构相同从你所拥有的开始。通过输入引用,您可以使用角色、场景或绘图的图像以符合您的视野的方式进行创建。
提示:想象一下,当我走路时,世界逐渐变成复古未来主义风格(颗粒状和喜怒无常,如图像-1)。使用音频播放复古未来派背景音乐。去10支的
提示:将其变成真实的镜头,仅使用绘图作为移动指南,不要在最终视频中显示绘图提示:将输入视频中的姿势和运动应用于此图像中提供的角色。将图像参考中的样式应用到新视频应用样式、运动或效果。通过使用输入引用定义视觉语言,或者仅使用自然语言描述它。
Omni混合输入引用以创建有凝聚力的剪辑。提示:编辑此内容,保持一切相同。添加滑板上的动画动作效果提示:将提供的视频中鲸鱼游泳的运动应用到提供的流体反射材料图像中。不要展示鲸鱼或水;相反,让这种反射移动材料形成一个类似鲸鱼游泳的形状。
用移动的白色光滑材料形状取代水使用您自己的数字化身创建视频我们致力于负责任地开发人工智能,我们制定了明确的政策来保护用户免受伤害并管理我们人工智能工具的使用。
首先,您可以使用Avatars用自己的声音创建视频,Avatars会创建您自己的数字版本,以便您可以生成看起来和听起来都像您的视频。除了化身功能之外,在编辑视频以更改音频和语音方面,我们仍在努力测试这一点,并更好地了解我们如何负责任地为用户提供这种功能。
使用Omni创建的所有视频都包含我们难以感知的SynthID数字水印。您可以通过Gemini应用程序、Chrome中的Gemini和Google搜索轻松验证视频是否是使用Gemini Omni生成的。
您可以在我们的博客文章中了解有关我们如何扩展内容透明度和验证工具的更多信息,以帮助您了解如何在网络上创建和编辑内容。立即尝试双子座Omni今天,我们推出了Omni家族的第一款型号- Gemini Omni Flash。
Gemini Omni Flash今天将通过Gemini应用程序和Google Flow向全球所有Google AI Plus、Pro和Ultra订阅者推出。从本周开始,它还将在YouTube Shorts和YouTube Create App上免费向用户推出。
在接下来的几周里,我们还将向开发人员推出它,