使用Nsight查找CE3的渲染bug

女爷i 2022-08-21 04:22 122阅读 0赞

# [使用Nsight查找CE3的渲染bug][Nsight_CE3_bug] #

工作临时的接的一个小任务，查找ce3引擎修改后在绘制上出的一点bug

在代码的底层调用代码做了一些修改后，场景里的绘制的问题，因为也是刚接触CE3代码，也只能通过Nsight来查找问题了。

首先用Nsight对正确和错误两个版本做次对比

下图是正确的版本

![062022459864440.jpg][]

这个是错误版本

![062022467679269.jpg][]

对比后，先是定位出问题绘制事件

![062022476588896.jpg][]

定位到应该是FOG绘制的问题

![062022484087267.png][]

再看一下当前API设置的Pixel Shader的Source code

![062022488614195.png][]

![复制代码][copycode.gif]

pixout FogPassPS(vert2fragFog IN)
    {
        pixout OUT;
        float sceneDepth;
        half4 localFogColor;
        float3 worldPos,cameraToWorldPos;
        FogPassCommon(IN,sceneDepth,localFogColor,worldPos,cameraToWorldPos);
        localFogColor.a=1.0-localFogColor.a;
        localFogColor.xyz*=HDRParams2.y;
        HDROutput(OUT,localFogColor,1);
        return OUT;
    }

![复制代码][copycode.gif]

从shader的名字看，确实是FogPass的问题，先把代码回滚回正确的版本后，对两个版本fogpass的shader代码做比对，没有任何区别，排除了shader source code 出错的可能性。

然后再对两个版本的IS, VS, XFORM/RS, PS, OT逐一比较

正确版本的Output

![062023048775670.jpg][]

错误版本的Output

![062023055952284.jpg][]

发现了SrcBlendAlpha的设置错误，绘制fog时的AlphaBelnd设置也出了问题，另外Stencil的输出也不对，不过因为这个draw event的时候，SeperateAlphaBlendEnable和StencilEnable都是FALSE，所以画面绘制问题并不是这个造成的，不过还是需要记录下来以后进行修改。

然后，这时候发现绘制fog时，Ps时时使用的Texture Sample，两个版本也有区别

![062023062365454.png][]

一个是SceneDiffuseAcc，也就是deferred light的漫反射累积光照的问题

![062023066114639.jpg][]

![062023070338810.png][]

另外就是在，ZPass阶段的ZMap的深度输出信息，ZTarget也不一样，因为ZTarget的输出在更前面，那么就先解决它的问题

正确版本的ZTraget

![062023074707211.png][]

错误版本的ZTarget

![062023077362196.png][]

从上图可以看到SceneNormalsMap和ZTarget的信息是不一样的，而且错误版本好像是这两个rt输出的信息互换了， SceneNormalsMap的RT格式是A8R8G8B8,

而 ZTarget的RT格式是R32F。

为验证这个猜测，跟踪到计算ZTarget的Draw Event附近，对比一下上下文的RT的输出差别

正确版本

![062023080496867.png][]

![062023084557809.png][]

错误版本

![062023091897653.png][]

![062023097999066.png][]

可以确定了，最后gbuffer的RT\_0输出的到的目标surface错误的，本应该是 A8R8G8B8格式的 SceneNormalsMap，变成了 R32F格式的 ZTarget。

定位到错误后，就是到代码里去查找BUG了=v=。

一开始的想法比较简单，认为应该就是renderTarget的目标被错误设置的问题，那么，先根据Perf Marker信息，定位到处理ZPASS阶段的函数

1.      PROFILE_LABEL_PUSH("ZPASS");
        FX_ProcessZPassRenderLists();
        PROFILE_LABEL_POP("ZPASS");
    
    CD3D9Renderer::FX\_ProcessZPassRenderLists，而它通过调用CD3D9Renderer::FX\_ZScene，来设置rendertarget

1.  ![复制代码][copycode.gif]
    
        if( bRenderNormalsOnly )
        {
            FX_PushRenderTarget(0,CTexture::s_ptexSceneNormalsMap,&m_DepthBufferOrigMSAA,false,-1,true);
        }
        else
        {
            FX_PushRenderTarget(0,CTexture::s_ptexZTarget,&m_DepthBufferOrigMSAA,false,-1,true);
            FX_PushRenderTarget(1,CTexture::s_ptexSceneNormalsMap, NULL);
        }
    
    ![复制代码][copycode.gif]
    
    这里FX\_PushRenderTarget并不会立即调用d3d的api设置rendertarget，而是把信息保存在RT的stack里，等commit时再统一进行设置，条件语句if成功的分支，就是把ZTarget设置到RT0的阶段，但从

但通过runtime时debug代码来看，这部分的指针传递都是没问题的。

上层API没有问题，那么就只能从底层d3ddevice的SetRenderTarget来查找问题了

1.  ![复制代码][copycode.gif]
    
        if(NewRenderTargets== NULL ||!RTs[i]->GetRenderTargetView())
        {
            mNativeD3D9Device->SetRenderTarget(i, NULL);
        }
        else
        {
            IDirect3DSurface9* pSurf =(IDirect3DSurface9*)RTs[i]->GetRenderTargetView()->GetNativeResource();
            mNativeD3D9Device->SetRenderTarget( i, pSurf );
        }
    
    ![复制代码][copycode.gif]
    
    上面是同事修改过后的SetRednerTarget函数，在这里设置断点，结果发现传递进去的pSurf指针也是正确的，那么说明，这部分API的调用是没问题的，很有可能是SetRenderTarget失败，导致前一个pass里，设置的RT0 surface，也就是R32F ZTarget被保留到了下一个pass里继续使用了。

重新单步调试，遍历这部分流程，发现调用 CD3D9Renderer:: FX\_PopRenderTarget()函数的时候，也就是把当前的RT保存到texutre的操作，也会有 SetRednerTarget的操作。恰好也就在前面切换RT0的绑定surface之间调用的。也就是说，如果我们已经把 SceneNormalsMap设置到RT1后，如果不把RT1清空，就立即把它设置到RT0,那么这部操作是不会成功的。

也就是

1.      D3D9Device->SetRenderTarget(0,ZTarget);
        D3D9Device->SetRenderTarget(1,SceneNormal);
        
        D3D9Device->SetRenderTarget(0,SceneNormal);//错误
    
        D3D9Device->SetRenderTarget(0,ZTarget);
        D3D9Device->SetRenderTarget(1,SceneNormal);
        
        D3D9Device->SetRenderTarget(1,0);
        D3D9Device->SetRenderTarget(0,SceneNormal);//正确
    
    而我们修改过的代码，因为某些逻辑问题，设置RT1为NULL的操作被跳过了

打开Nsight的Event list

![062023101748251.png][]

可以看到正确版本的Eevnt99部分有设置RT1为NULL的操作，而如果跳过这部操作的话，Event135的的设置会返回错误代码。也就是之前的ZTarget会被继续设置在RT0上。

同事修改了代码后，这部分总算是正确了=0=。

![062023104244709.png][]

在查找bug过程中中，还发现了绘制纹理的亮度有差别

正确版本

![062023106586936.png][]

错误版本

![062023109083393.png][]

排查后在读取贴图的地方发现，是SRGBTexture设置的问题。

![062023112995808.png][]

![062023116115778.png][]  
CE老版本的设置方法，而DX11风格变成了统一设置，而我们把这个参数忘记了。

1.  ![复制代码][copycode.gif]
    
        LPDIRECT3DDEVICE9 dv = gcpRendD3D->GetD3DDevice();
        bool sRGBRead = gRenDev->IsLinearSpaceShadingEnabled()&&( m_bIsSRGB || s_TexStates[nTS].m_bSRGBLookup &&(m_nFlags& FT_USAGE_ALLOWREADSRGB));
        STexState*pDTS =&TexStages[nTUnit].m_State;
        if(pDTS->m_bSRGBLookup != sRGBRead )
        {
            pDTS->m_bSRGBLookup = sRGBRead;
            dv->SetSamplerState(nTUnit + nVtxTexOffSet, D3DSAMP_SRGBTEXTURE, sRGBRead ? TRUE : FALSE);
        }
    
    ![复制代码][copycode.gif]
    
    然后，又回到了SceneDiffuseAcc渲染错误的问题上了。这个问题略坑，还没找到正确解决方法，  
    具体现象是，在正确版本里，把法线，UV，以及其他定值作为output输出

Normal

![062023120647408.jpg][]

UV.x

![062023125021107.png][]

可以看到上面部分都被clip掉了，而查看了所以可能的状态，设置都为false

![062023128779292.png][]

而我们的新版本，不设置这些状态，上面部分也要绘制，所以才会出现ScenediffuseAcc错误信息

![062023133306220.png][]

错误的版本，红框部分因为深度过大，本来是不应该绘制的。

解决办法，只有暂时在shader里添加一个clip函数来把深度过大的地方去掉。

[Nsight_CE3_bug]: http://www.cnblogs.com/TracePlus/p/4079816.html
[062022459864440.jpg]: /images/20220731/9ef0867ca84649b3a9a11b2a0f166f48.png
[062022467679269.jpg]: /images/20220731/d3c6ec1784d8434397b58781acdf75fb.png
[062022476588896.jpg]: /images/20220731/e53586c73aa94f8dadcf1b6d0c2bab74.png
[062022484087267.png]: /images/20220731/a41a7fe7c3a24217af1664725930c9a2.png
[062022488614195.png]: /images/20220731/d8722b05625048f8b1d865fa87003e39.png
[copycode.gif]: /images/20220731/eef7735e94e14bc3a806216dab3711c3.png
[062023048775670.jpg]: /images/20220731/a1a13a1bcf044e8c998739386f84f19d.png
[062023055952284.jpg]: /images/20220731/15155c9dde314a86a1286b21ddc4b0e5.png
[062023062365454.png]: /images/20220731/94b60d62569340b7a9ed4e739b37e5e9.png
[062023066114639.jpg]: /images/20220731/a95e1cc976a64c45802229ec058d55f3.png
[062023070338810.png]: /images/20220731/03bae52d74d4477880ef2517035c2ee3.png
[062023074707211.png]: /images/20220731/73f8aee722254d389787ec512ef30a3b.png
[062023077362196.png]: /images/20220731/0fe1f11967a2405e8562aded4e35f0ab.png
[062023080496867.png]: /images/20220731/f4b9c222d0ff4e068eb083905df8e3d7.png
[062023084557809.png]: /images/20220731/4a40f910d41244f69cf4c728e3123f17.png
[062023091897653.png]: /images/20220731/72d161bbfb804aad81f6baedce340a61.png
[062023097999066.png]: /images/20220731/f131a8de6d9c4b7f8e3da63dd1d34ba0.png
[062023101748251.png]: /images/20220731/60e9f0ffc1554068a1f025e0fd2e5cb9.png
[062023104244709.png]: /images/20220731/2469ef0970514250b4b9e3003dd833e2.png
[062023106586936.png]: /images/20220731/10690d18eeb848abb613d3bb59c99899.png
[062023109083393.png]: /images/20220731/0adfada996974e798c39a1be754bca3b.png
[062023112995808.png]: /images/20220731/c610d08efccc43a699da8a7deb05d0ec.png
[062023116115778.png]: /images/20220731/53e62c09cc5f49259fb685ca20c0bb4b.png
[062023120647408.jpg]: /images/20220731/6c374bdde5af49daa5e260fb7a96df31.png
[062023125021107.png]: /images/20220731/467773577bec4f54877596b82b60b6aa.png
[062023128779292.png]: /images/20220731/83e2d3ebc7964aebb6d7b99fde1db37a.png
[062023133306220.png]: /images/20220731/ac60ce38a8ee4ff09489931a29c01705.png