泊松流生成模型
原文：戳我
作者：Yilun Xu, Ziming Liu, Max Tegmark, Tommi Jaakkola
背景
万有引力到生成模型
描述： 两个质点彼此之间相互吸引的作用力，是与它们的质量乘积成正比，并与它们之间的距离成平方反比。
忽略质量以及万有引力常数的情况下，只观察万有引力这个力和方向、距离的关系的话，若存在引力源$y$，物体在$x$位置，围绕这二者的三维空间下的引力场可以被数学语言描述为：
将引力场拓展到$d$维：
其中 $S_d(1)$ 是 $d$ 维单位超球面的表面积。该式实际上就是 $d$ 维Poisson方程的格林函数的梯度, 这也就是 论文标题中的“Poisson”一词的来源。
再将引力源的数目进行扩展可以得到如下图所示的引力场：
基于这个引力场的示意图，我们总结出这么一个规律：
除了极少数场线外，大部分场线都是从远处出发，终止于某个引力源点。
将这个规律类比到生成模型的模型构筑中，将每个引力源都比做一个亟待生成的真实样本点，这个规律就可以写作：
只要引导噪声数据按照场线运动，就可以将噪声引导到引力源的位置，也即真实样本点的位置
上述从天体物理的模型到生成模型的模型迁移十分天才，但是要想让生成模型运作起来需要再解决这些疑问：
- 远处指的是多远 - 噪声怎么去定义它的分布，怎样对噪声进行采样？
- 引力源的数量和位置怎么确定 - 怎样在这个模型里建模真实数据的分布？
等效质心
引力场的等效性质：无穷远处的多源引力场，等价于位于质心、质量叠加的质点引力场。
也就是将 “远处” 定义为 “无穷远处” 时，多源引力场的多引力源可以被视作一个等效质心，等效质心的质量等于其他引力源质量的叠加。
![[Pasted image 20221124210435.png]]
从上到下就是一个将多源引力场等效为质心引力场的过程。等效完毕之后的质心引力场有了这些优越性：
- 在半径足够大的情况下，可以认定所有场线都是均匀穿过了这个以质心为球心的高维球面的。
- 在这个高维球面采样就是均匀采样
但是这也带来了一个问题就是模式坍缩(Mode Collapse)
模式坍缩
假设将质心引力场的示意图缩小，根据上面的性质，场线会如下图一样均匀分布在球面上：
因为场线均匀穿过了球壳进入了球体内部，又因为其均匀性，场线所带来的引力效应将在球内被一一抵消，最终球体内部将不存在引力场，形成一个引力真空。
对应到生成模型就是，在球壳进行了采样并且由球壳外部的场线给予这个噪声一个初始动量，让其进入球体内部寻找引力源（也就是训练样本的数据的采样点）。但因为球体内部的引力真空，很有可能噪声数据永远无法寻找到引力源，后果就是：
- 有些真实样本将永远无法被生成；
- 生成结果将不再多样化。
这个时候在PFGM中提出了一个新方法：升维
假设原本的真实样本$\boldsymbol{x} \in \mathbb{R}^d$，为了升维，引入一个新的维度$t$，从而$(x, t) \in \mathbb{R}^{d+1}$。
原本数据的分布是：$\boldsymbol{x} \sim \tilde{p}(\boldsymbol{x})$，升维之后：$(x, t) \sim \delta(t) \tilde{p}(x)$
$\delta(t)$ 是狄拉克分布
这个时候升维之后的引力场可以被表达为：