在近日举办的Adobe Max 创新大会上,Adobe宣布将把AI技术与Ps、lightroom等设计工具相结合,为用户带更多具有创造力的设计方法。
根据官方给出的演示视频中可以看到,我们可以在Ps中以文本描述的方式在图像中添加新对象、无痕消除对象以及修改内容。还可以根据图像内容向外延展,将画布拉伸至比原本的图像更大,然后输入文本提示,Ps就能在空白区域生成对应的内容,与原图像完美衔接,效果非常惊人。 除了通过文本描述生成及修改图像,Adobe还相信AI技术在视频、3D设计、纹理创作、标志设计等方面也可以起到作用。
这意味着除了前面提到的Photoshop、Adobe Express和Lightroom,Adobe家族里的Ai、Ae、Substance 3D甚至是Figma将来都有可能与人工智能技术进行结合,实现更多令人惊喜和震撼的设计效果。 身为设计师的你觉得是好事还是坏事呢?如果可以,你觉得现在用的设计工具中,哪些功能是最需要AI来替代和优化的呢?
近日,谷歌DeepMind的研究人员推出了,首个无需数据标记、无监督训练的生成交互模型——Generative Interactive Environments,简称“Genie”。
Genie是一个具有110亿参数的模型,它能够根据图像、真实照片甚至草图生成可控制动作的视频游戏。这个模型的特点是无需数据标记和无监督训练,它通过3万小时、6800万段游戏视频进行了大规模训练,而且训练过程中没有使用任何真实动作标签或其他特定提示。
Genie的核心架构使用了ST-Transformer(时空变换器),这是一种结合了Transformer模型的自注意力机制与时空数据的特性,有效处理视频、多传感器时间序列、交通流量等时空数据的方法。ST-Transformer通过捕捉数据在时间和空间上的复杂依赖关系,提高了对时空序列的理解和预测能力。
Genie的架构主要由三大模块组成: 1. 视频分词器:基于VQ-VAE的模块,将原始视频帧压缩成离散的记号表示,以降低维度并提高视频生成质量。 2. 潜在动作模型:无监督学习模块,从原始视频中推断出状态变化对应的潜在动作,并实现对每一帧的控制。 3. 动力学模型:基于潜在动作模型学习到的动作关系,预测下一帧的视频。
除了视频游戏,你觉得 Genie 模型还能在哪些其他领域发挥作用?