Dream-Cubed: Controllable Generative Modeling in Minecraft by Training on Billions of Cubes

论文解决了什么问题

交互式3D环境的块级生成研究长期滞后于图像和文本生成，主要受限于缺乏大规模、高质量且语义丰富的块级数据集与评测基准。针对这一空白，本文需要回答的核心问题包括：如何构建一个能充分覆盖Minecraft多样化地形与人工结构的块级数据集？基于这一数据集，离散扩散与连续扩散在体素生成任务上表现如何？模型能否在不修改架构的前提下，为创作者提供灵活、直观的可控生成能力？

核心方法

首先，通过自然地表采集、洞穴采集、村庄采集和人工地图采集四条管线，构建了包含大量32³体素块的Dream-Cubed数据集，并为每个块标注生物群落标签和117–177种块类型。然后，基于该数据集训练了两个均采用3D DiT骨干（2.8亿参数）的扩散模型：离散掩码扩散（MD4）对块ID进行逐步去掩码；连续扩散（DDPM）则在用文本嵌入模型得到的固定块嵌入空间中进行去噪，最后通过最近邻搜索还原为块ID。评估时，通过渲染图像的FID和人类偏好研究衡量生成质量；生成时，利用MD4掩码机制天然支持以任意部分块为条件的修复、外扩和生物群落混合。

实验结论

• MD4与DDPM在平均FID上几乎相等，分别为59.26和59.29，且没有模型在全部15个生物群落上占优。
• 在人类偏好研究中，生成块显著优于真实块（胜率67.1%，p<0.001），但FID与人类判断的一致率仅为54.3%，仅在FID差距较大时可靠。

局限性与证据边界

适合谁阅读