【cg】【球谐光照】PRT与PRTProbe

---

前言

书接前文【cg】【球谐光照】球谐函数。

上回书基本上讨论完了我们在实现本文所需要的理论知识，本文是对前面几篇理论知识的综合应用。

其中核心应用的是球谐函数的投影与重建，以及球谐函数的正交完备性和旋转不变性。

本文需要用到的在上回书中提到的公式列举如下。

$$\begin{array}{}\text{(4.6)}& \{\begin{array}{l}{P}_0(x)=1\\ P_1(x)=x\\ P_2(x)=\frac{1}{2}(3x^2-1)\\ P_3(x)=\frac{1}{2}(5x^3-3x)\end{array}\end{array}$$

$$\begin{array}{}\text{(5.0)}& {\int }_S{Y}_l^m(\theta ,\phi )Y_k^n(\theta ,\phi )d\omega ={\delta }_{lk}{\delta }_{mn}\end{array}$$

$$\begin{array}{}\text{(5.3)}& f(\theta ,\phi )=\sum _{k=0}^{k<n}{c}_k\cdot b_k\end{array}$$

$$\begin{array}{}\text{(5.5)}& c_k={\int }_{S}f(\theta ,\phi )\cdot b_k(\theta ,\phi )d\omega \end{array}$$

$$\begin{array}{}\text{(5.13)}& C_l^{m^{\prime }}=\sum _{m=-l}^{m=l}{c}_l^m\cdot D_{m^{\prime },m}^l(\alpha ,\beta ,\gamma )\end{array}$$

---

PRT

预计算光照传输(Precomputed Radiance Transfer)[7]是指将渲染方程分为光照部分和传输部分，利用球谐函数的性质，分别预计算其球谐系数，以达到在运行时省略掉积分运算，快速计算出物体表面辐射照度的全局光照方法。

在PBR[8]里我们了解过对于法线方向为$\overrightarrow{n}$的某个物体表面$p$的渲染方程如下。

$$\begin{array}{}\text{(6.1)}& L(p,{\omega }_0)={\int }_{\mathrm{\Omega }}L(p,{\omega }_i)\cdot f(p,{\omega }_0,{\omega }_i)\cdot (\overrightarrow{n}\cdot {\omega }_i)\cdot \mathrm{d}{\omega }_i\end{array}$$

或

$$\begin{array}{}\text{(6.2)}& L(p,{\omega }_0)={\int }_{S}L(p,{\omega }_i)\cdot f(p,{\omega }_i,{\omega }_0)\cdot max(0,(\overrightarrow{n}\cdot {\omega }_i))\cdot \mathrm{d}{\omega }_i\end{array}$$

渲染方程

其中$L(p,{\omega }_i)$为从${\omega }_i$处输入的光源，即为上面所说的光照部分，其余的便为传输部分，记为$T$，则有

$$\begin{array}{}\text{(6.3)}& T(p,{\omega }_i,{\omega }_0)=f(p,{\omega }_i,{\omega }_0)\cdot max(0,\overrightarrow{n}\cdot {\omega }_i)\end{array}$$

此时渲染方程可表示为

$$\begin{array}{}\text{(6.4)}& L(p,{\omega }_0)={\int }_{S}L(p,{\omega }_i)\cdot T(p,{\omega }_i,{\omega }_0)\cdot \mathrm{d}{\omega }_i\end{array}$$

根据$(5.3)(5.5)$，我们分别将两部分使用球谐函数展开，并求其系数。

光源部分

设其球谐系数为$l_k$，则有

$$\begin{array}{}\text{(6.5)}& L(p,{\omega }_i)=\sum _{k=0}^{k<n}{l}_k\cdot b_k({\omega }_i)\end{array}$$

其中球谐系数由$(5.5)$，需要在球面积分得到。

$$\begin{array}{}\text{(6.6)}& l_k={\int }_{S}L(p,{\omega }_i)\cdot b_k({\omega }_i)\mathrm{d}{\omega }_i\end{array}$$

传输部分

设传输部分的球谐系数为$t_k$，同理有

$$\begin{array}{}\text{(6.7)}& T(p,{\omega }_i,{\omega }_0)=\sum _{k=0}^{k<n}{t}_k\cdot b_k({\omega }_i)\end{array}$$

同理有其系数也需要做球面积分。

$$\begin{array}{}\text{(6.8)}& t_k={\int }_{S}T(p,{\omega }_i,{\omega }_0)\cdot b_k({\omega }_i)\mathrm{d}{\omega }_i\end{array}$$

---

将$(6.5)(6.7)$代入$(6.4)$，可得

$$\begin{array}{}\text{(6.9)}& \begin{array}{lll}L(p,{\omega }_0)& =& {\int }_S\sum _{p=0}^{p<n}{l}_p\cdot b_p({\omega }_i)\cdot \sum _{q=0}^{q<n}{t}_q\cdot b_q({\omega }_i)\cdot \mathrm{d}{\omega }_i\\ & =& \sum _{p=0}^{p<n}\sum _{q=0}^{q<n}{l}_p\cdot t_q\cdot \underset{={\delta }_{pq}}{\underbrace{{\int }_S{b}_p({\omega }_i)b_q({\omega }_i)\mathrm{d}{\omega }_i}}\\ & =& \sum _{k=0}^{k<n}\sum _{k=0}^{k<n}{l}_p\cdot t_q\cdot {\delta }_{pq}\\ & =& \sum _{k=0}^{k<n}{l}_k\cdot t_k\end{array}\end{array}$$

可以看到，上述推导利用了球谐函数的正交完备性，即公式$(5.0)$，将渲染方程中的积分项消去了，使得结果只剩下光照部分的球谐系数与传输部分的乘积的累加值，如果我们能够预计算出这系数球谐系数，那么在运行时只需要做一个简单的点积即可得到最终的辐射照度值。

需要注意的是，漫反射(diffuse)的brdf是$\frac{1}{\pi }$，与观察方向${\omega }_0$无关，所以$(6.8)$也与观察方向无关，即无论在哪个观察方向，我们求得的$t_k$值是一样的。

而对于光泽反射(glossy)和镜面反射(specular)而言，其brdf与观察方向是有关的，不同的观察方向，求得的$t_k$值是不同的，即球谐系数$t_k$是关于观察方向${\omega }_0$的函数。

$$\begin{array}{}\text{(6.10)}& t_k({\omega }_0)={\int }_{S}T(p,{\omega }_i,{\omega }_0)\cdot b_k({\omega }_i)\mathrm{d}{\omega }_i\end{array}$$

在实际应用中，我们无法求出所有观察方向对应的$t_k$，所以会按一定的规则将观察方向离散化而有限个数，只对这有限个方向计算球谐系数，然后再通过在这有限个结果中插值得到任意观察方向的球谐系数或最终辐射照度的近似值。

---

PRT Probe

在实际应用中，我们无法对场景中所有的物体表面都将它们的光照的系数和传输的系数求出来，这种计算量是相当大的。

我们通常会在场景中选择一些代表，我们只计算这些代表处的球谐系数和光照结果，这些代表就是我们经常谈到的光照探针(light probe)。

Probe

如图所示，当我们需要点a处的光照结果时，我们会计算以probe所在位置为位置，以点a的法线方向为法线方向的假想表面的光照结果。计算点b的时候同理。

所以对于一个probe来说，我们需要计算朝向四面八方的无数个法线位置对应的光照结果，这样才有能力代表它周围朝向不同法线的物体表面。在实际应用中我们通常离散化出有限数量个法线方向进行计算，并通过法线方向进行插值得到任意法线方向的近似结果。

除此之外，由于一个probe周围不同的物体表面都有不同的材质属性，如果我们在计算光照的过程中需要使用到这些属性，比如计算glossy时需要粗糙度，比如计算specular时需要粗糙度、金属度等，probe无法决定使用哪位表面的材质属性进行计算，所以probe一般很难计算glossy和specular，一般我们只计算diffuse部分。

对于漫反射的光源部分的球谐系数(6.6)，因为它是与法线方向无关的，所以对于任意法线方向来说，光源部分的球谐系数都是一样的，总共只需要计算一次即可。

对于漫反射的传输部分的球谐系数，我们将其brdf值$f(p,{\omega }_i,{\omega }_0)=\frac{1}{\pi }$代入到$(6.3)(6.8)$，得

$$\begin{array}{}\text{(6.11)}& t_k=\frac{1}{\pi }{\int }_{S}max(0,\overrightarrow{n}\cdot {\omega }_i)\cdot b_k({\omega }_i)\mathrm{d}{\omega }_i\end{array}$$

我们当然可以离散化有限个法线方向分别使用上述公式求出每个法线方向对应的系数，但是利用球谐函数的旋转不变性，我们有一个更好的做法。

首先，我们将这个公式写回带$(l、m)$的形式，即

$$\begin{array}{}\text{(6.12)}& t_l^m=\frac{1}{\pi }{\int }_{S}max(0,\overrightarrow{n}\cdot {\omega }_i)\cdot Y_l^m({\omega }_i)\mathrm{d}{\omega }_i\end{array}$$

我们先只求法线方向为正z轴的球谐系数，即$\overrightarrow{n_0}=(0,0,1)$的球谐系数。显然此时$\overrightarrow{n}\cdot {\omega }_i=\cos {\theta }_i$，那么上述公式变为

$$\begin{array}{}\text{(6.13)}& t_l^m=\frac{1}{\pi }{\int }_S\cos {\theta }_i\cdot Y_l^m({\omega }_i)\mathrm{d}{\omega }_i\end{array}$$

由于目标函数与方位角$\phi$无关，所以上述公式与m无关，则上述公式可退化为

$$\begin{array}{}\text{(6.14)}& \begin{array}{lll}{t}_l^m=t_l^0& =& \frac{1}{\pi }\underset{S}{\int }\cos {\theta }_i\cdot Y_l^0({\omega }_i)\mathrm{d}{\omega }_i\\ & =& \frac{1}{\pi }\underset{\phi =0}{\overset{\phi =2\pi }{\int }}[\underset{\theta =0}{\overset{\theta =\frac{\pi }{2}}{\int }}\cos \theta \cdot Y_l^0(\theta )\cdot \sin \theta \mathrm{d}\theta ]\mathrm{d}\phi \\ & =& \frac{1}{\pi }\sqrt{\frac{2l+1}{4\pi }}\underset{\phi =0}{\overset{\phi =2\pi }{\int }}[\underset{\theta =0}{\overset{\theta =\frac{\pi }{2}}{\int }}\cos \theta \sin \theta \cdot P_l^0(\cos \theta )\cdot \mathrm{d}\theta ]\mathrm{d}\phi \end{array}\end{array}$$

对于其他的任意法线方向$\overrightarrow{n}$，我们都可以通过旋转操作$R(\alpha ,\beta ,\gamma )$将$\overrightarrow{n_0}=(0,0,1)$旋转到这个法线方向上，那么此时，由上面讨论过的球谐函数的旋转不变性，可通过代入$(5.13)$得新的球谐系数为

$$\begin{array}{}\text{(6.15)}& \begin{array}{lll}{T}_l^{m^{\prime }}& =& \sum _{m=-l}^{m=l}{t}_l^m\cdot D_{m^{\prime },m}^l(\alpha ,\beta ,\gamma )\\ & =& \sum _{m=-l}^{m=l}{t}_l^m\cdot D_{0,m}^l(\theta ,0,0)\\ & =& \sum _{m=-l}^{m=l}{t}_l^m\cdot [\sqrt{\frac{4\pi }{2l+1}}{Y}_l^m(\overrightarrow{n})\cdot {\delta }_{m^{\prime }m}]\\ & =& t_l^{m^{\prime }}\cdot \sqrt{\frac{4\pi }{2l+1}}{Y}_l^{m^{\prime }}(\overrightarrow{n})\end{array}\end{array}$$

将$(6.14)$代入$(6.15)$，得

$$\begin{array}{}\text{(6.16)}& T_l^{m^{\prime }}=\frac{1}{\pi }{Y}_l^{m^{\prime }}(\overrightarrow{n})\underset{\phi =0}{\overset{\phi =2\pi }{\int }}[\underset{\theta =0}{\overset{\theta =\frac{\pi }{2}}{\int }}\cos \theta \sin \theta \cdot P_l^0(\cos \theta )\cdot \mathrm{d}\theta ]\cdot \mathrm{d}\phi \end{array}$$

这就是传输部分旋转后的球谐系数的表达式，其中$P_l^0(\cos \theta )$为前面提到的勒让德多项式，如果我们代入勒让德多项式的表达式$(4.6)$，那么$(6.16)$的定积分的具体值是可以求出来的。

比如

$$\begin{array}{lll}{T}_0^{m^{\prime }}& =& \frac{1}{\pi }{Y}_0^{m^{\prime }}(\overrightarrow{n})\underset{\phi =0}{\overset{\phi =2\pi }{\int }}[\underset{\theta =0}{\overset{\theta =\frac{\pi }{2}}{\int }}\cos \theta \sin \theta \cdot \mathrm{d}\theta ]\cdot \mathrm{d}\phi \\ & =& \frac{1}{\pi }{Y}_0^{m^{\prime }}(\overrightarrow{n})\cdot \frac{1}{2}\underset{\phi =0}{\overset{\phi =2\pi }{\int }}\mathrm{d}\phi \\ & =& \frac{1}{\pi }{Y}_0^{m^{\prime }}(\overrightarrow{n})\cdot \frac{1}{2}\cdot 2\pi \\ & =& \frac{1}{\pi }\cdot \frac{2\pi }{2}\cdot Y_0^{m^{\prime }}(\overrightarrow{n})\end{array}$$

再比如

$$\begin{array}{lll}{T}_1^{m^{\prime }}& =& \frac{1}{\pi }{Y}_1^{m^{\prime }}(\overrightarrow{n})\underset{\phi =0}{\overset{\phi =2\pi }{\int }}[\underset{\theta =0}{\overset{\theta =\frac{\pi }{2}}{\int }}{\cos }^2\theta \sin \theta \cdot \mathrm{d}\theta ]\cdot \mathrm{d}\phi \\ & =& \frac{1}{\pi }{Y}_1^{m^{\prime }}(\overrightarrow{n})\underset{\phi =0}{\overset{\phi =2\pi }{\int }}[-\frac{1}{3}{\cos }^3\theta {]}_0^{\frac{\pi }{2}}\mathrm{d}\phi \\ & =& \frac{1}{\pi }{Y}_1^{m^{\prime }}(\overrightarrow{n})\cdot \frac{1}{3}\underset{\phi =0}{\overset{\phi =2\pi }{\int }}\mathrm{d}\phi \\ & =& \frac{1}{\pi }{Y}_1^{m^{\prime }}(\overrightarrow{n})\cdot \frac{1}{3}\cdot 2\pi \\ & =& \frac{1}{\pi }\cdot \frac{2\pi }{3}\cdot Y_1^{m^{\prime }}(\overrightarrow{n})\end{array}$$

至此，对于Probe的任意法线方向的漫反射，其光照部分的球谐系数只需要算一次积分$(6.6)$，其传输部分的球谐系数甚至都不用算积分，直接使用公式$(6.16)$求解定积分的值即可。

ue4本身封装了传输部分的球谐系数的函数，如下所示，可以看到，与我们计算出来的结果是一致的。

// SHCommon.ush

FTwoBandSHVector CalcDiffuseTransferSH(half3 Normal,half Exponent)
{
	FTwoBandSHVector Result = SHBasisFunction(Normal);

	// These formula are scaling factors for each SH band that convolve a SH with the circularly symmetric function
	// max(0,cos(theta))^Exponent
	half L0 =					2 * PI / (1 + 1 * Exponent);
	half L1 =					2 * PI / (2 + 1 * Exponent);

	// Multiply the coefficients in each band with the appropriate band scaling factor.
	Result.V.x *= L0;
	Result.V.yzw *= L1;

	return Result;
}

FThreeBandSHVector CalcDiffuseTransferSH3(half3 Normal,half Exponent)
{
	FThreeBandSHVector Result = SHBasisFunction3(Normal);

	// These formula are scaling factors for each SH band that convolve a SH with the circularly symmetric function
	// max(0,cos(theta))^Exponent
	half L0 =					2 * PI / (1 + 1 * Exponent							);
	half L1 =					2 * PI / (2 + 1 * Exponent							);
	half L2 = Exponent *		2 * PI / (3 + 4 * Exponent + Exponent * Exponent	);
	half L3 = (Exponent - 1) *	2 * PI / (8 + 6 * Exponent + Exponent * Exponent	);

	// Multiply the coefficients in each band with the appropriate band scaling factor.
	Result.V0.x *= L0;
	Result.V0.yzw *= L1;
	Result.V1.xyzw *= L2;
	Result.V2 *= L2;

	return Result;
}

---

实现相关

光源部分球谐系数

由$(6.6)$，我们使用有限数量次采样，使用蒙特卡洛积分将该定积分转换为有限数量次的均值求出近似值。

$$l_k\approx \frac{1}{N}\sum \frac{L(p,{\omega }_i)\cdot b_k({\omega }_i)}{pdf({\omega }_i)}$$

当然也可以使用黎曼和，以步进极角和方向角的方式求这个定积分的近似值。

$$l_k\approx \frac{1}{N_{\theta }{N}_{\phi }}\sum ^{N_{\phi }}\sum ^{N_{\theta }}L(p,{\omega }_i)\cdot b_k({\omega }_i)\cdot \sin {\theta }_i$$

所以关于每一个积分项的代码如下 ，其中Radiance便是入射的光源$L({\omega }_i)$。我们通常使用computer shader去计算这个累加结果。

FThreeBandSHVector SHBasisCoefficients = SHBasisFunction3(TexelNormal);
FThreeBandSHVectorRGB RadianceSHCoefficients = MulSH3(SHBasisCoefficients, Radiance);

传输部分球谐系数

根据$(6.16)$，我们不需要为计算传输部分的球谐系数做任何积分计算，只需要调用$(6.16)$在ue中的实现即可。

FThreeBandSHVector DiffuseTransferCofficients = CalcDiffuseTransferSH3(TexelNormal, 1) / PI;

Irradiance

根据$(6.9)$，只需要将上面两个球谐系数做一次点积，就可以得到最终的辐射照度结果。

float3 Irradiance = max(half3(0, 0, 0), DotSH(LightCoefficients, DiffuseTransferCofficients));

显然，对于一个probe来说，我们可以求得任意一个法线方向对应的irradiance结果，但是如果我们要把所有的结果都存下来，那至少每个probe都需要一个cubemap，这显然是不现实的。我们这里分别尝试了两种方法来解决这个问题。

1.再次利用球谐函数将irradiance结果展开成球谐系数并只保存球谐系数，在采样时利用系数重建irradiance值。

该方法需要使用$(5.5)$积分求系数。

该方法存储的是球谐系数，所以在场景绘制采样时需要采样更多次，如三阶球谐至少需要采样3次才可将9个系数采样出来。

2.只求有限个法线方向的irradiance结果，其它法线方向通过已知的法线插值出最终结果。

这里选取直角坐标系坐标轴上的6个方向(+x、-x、+y、-y、+z、-z)进行存储，其他法线方向的结果由这些方向插值而来。

我们可以对法线方向进行正八面体编码，以利用2D贴图的插值算法自动插值出结果，且只需要1次采样。

正八面体编码

当然我们这里只个有6个顶点的值，所以最终一个probe存储的结果如下图所示。

单个probe的结果

我们将最终所有probe的结果按照ID保存在一张贴图上，最终生成的整个场景的irradiance结果如下所示。

所有probe的结果

---

参考

[7]PRT

[8]PBR