光学生成式模型：让光“动手画画”

近年来，生成式数字模型已经发展到能够合成多样化的高质量图像、类人的自然语言、全新的音乐作品，甚至设计出全新的蛋白质。这些新兴的生成式 AI 技术在包括大语言模型（LLM）、具身智能以及 AIGC 等应用中发挥着重要作用。

然而，随着生成式模型的成功应用，其规模也迅速扩大，对电力、内存资源的消耗日益加重，同时推理时间也显著增长。其可扩展性和碳足迹，正成为日益关注的问题。

尽管已有多种方法试图降低模型规模与能耗，并提升推理速度，但依然迫切需要新的路径，来构建高能效、可扩展的生成式 AI 模型。

在此背景下，研究团队提出了一种受扩散模型启发的光学生成式模型，其编码器为传统数字实现，而解码器则由光学元件构成。

在这一架构中，一个浅层、快速的数字编码器首先将随机噪声映射为相位图案，这些图案作为目标数据分布的光学生成种子。随后，一个联合训练的、基于自由空间传播的可重构解码器对这些种子进行全光学处理，从而生成前所未见的图像，并遵循预期的数据分布。

值得注意的是，除了浅层编码器阶段用于产生照明功率与随机种子，该光学生成式模型在图像生成的过程中几乎不消耗任何计算资源。

研究团队提出了两种图像光学生成路径：快照式和迭代式。

在快照光学生成式模型中，每幅图像或输出数据的快照光学生成，可在需要时通过随机访问这些预先计算的光学生成种子之一来实现。所需图像合成完全依赖光在自由空间中的传播过程，并由一个优化后的、固定状态的衍射解码器完成。

迭代光学生成式模型则在每一个时间步，前一步生成的带噪声图像被输入光学系统。经过波的传播后，多色信息被记录下来，用于提供给下一次光学迭代，同时加入一些预设的噪声。在最后一个时间步，图像传感器阵列记录输出强度以完成最终图像生成。当模型完成训练后，在盲推理阶段，迭代光学生成式模型会逐步从高斯噪声分布重建目标数据分布。

此外，研究团队还展示了如何通过在空间光调制器（SLM）上直接实现从强度到相位的转换，并结合在图像传感器平面上的光电转换。他们能够利用迭代光学生成式模型实现复杂的域映射——尽管其性能和图像多样性相比使用数字编码器的迭代光学生成式模型有所降低。