数据包丢失导致webrtc呼叫期间帧率下降

如何解决数据包丢失导致webrtc呼叫期间帧率下降

我正在使用以下sdk进行uwp的webrtc实现：https://github.com/webrtc-uwp/webrtc-uwp-sdk/tree/releases/m71

虽然丢包发生时我在通话质量方面遇到一些问题，但该实现通常运行良好。发生的情况是，当一个数据包或几个数据包丢失时，帧速率会大大降低。从30 FPS到1 FPS以下。音频很好。如果我的客户端在连接再次得到改善时会恢复，则不会有问题。但是，此时，如果出现问题，则视频对于其余的通话来说都是不好的。

我不知道问题可能在哪里。据我了解，webrtc应该补偿丢包吗？我当时认为问题可能出在我使用的SDK中。当我从其他同伴那里获得视频轨时，我只是将其连接到uwp中的中介元素，因此我自己不会处理传入的帧。附带说明一下，我已经测试过仅在调用过程中暂停调试器，这也会导致远程和本地轨道的帧率降低。但是需要注意的是，即使我的本地视频的帧率变差，它在其他客户端上也看起来不错。这表明在本地播放视频轨道中的视频时，某些操作不起作用。

我包括我的本地sdp，以防万一它有问题：

v=0
o=- 3875426963439162405 2 IN IP4 127.0.0.1
s=-
t=0 0
a=group:BUNDLE 0 1
a=msid-semantic: WMS
m=video 52241 UDP/TLS/RTP/SAVPF 96 98
c=IN IP4 ...MY IP ADRESS...
b=AS:1264
a=rtcp:9 IN IP4 0.0.0.0
... SOME ICE CANDIDATES ...
a=ice-ufrag:6ZNW
a=ice-pwd:1JMvi96Ju3YZCX9S+ChJNH2C
a=fingerprint:sha-256 7B:F5:B5:49:E7:76:54:5F:55:D6:D3:2E:97:38:E0:63:63:5F:2E:53:49:BC:BD:B9:1D:40:45:4B:EC:1E:EE:D4
a=setup:actpass
a=mid:0
a=extmap:2 urn:ietf:params:rtp-hdrext:toffset
a=extmap:3 http://www.webrtc.org/experiments/rtp-hdrext/abs-send-time
a=extmap:4 urn:3gpp:video-orientation
a=extmap:5 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01
a=extmap:6 http://www.webrtc.org/experiments/rtp-hdrext/playout-delay
a=extmap:7 http://www.webrtc.org/experiments/rtp-hdrext/video-content-type
a=extmap:8 http://www.webrtc.org/experiments/rtp-hdrext/video-timing
a=extmap:10 http://tools.ietf.org/html/draft-ietf-avtext-framemarking-07
a=extmap:9 urn:ietf:params:rtp-hdrext:sdes:mid
a=sendrecv
a=msid:- SELF_VIDEO
a=rtcp-mux
a=rtcp-rsize
a=rtpmap:96 VP8/90000
a=rtcp-fb:96 goog-remb
a=rtcp-fb:96 transport-cc
a=rtcp-fb:96 ccm fir
a=rtcp-fb:96 nack
a=rtcp-fb:96 nack pli
a=rtpmap:98 VP9/90000
a=rtcp-fb:98 goog-remb
a=rtcp-fb:98 transport-cc
a=rtcp-fb:98 ccm fir
a=rtcp-fb:98 nack
a=rtcp-fb:98 nack pli
a=fmtp:98 x-google-profile-id=0
a=ssrc-group:FID 2190372283 111930078
a=ssrc:2190372283 cname:C+phDL3HvwhlyByD
a=ssrc:2190372283 msid: SELF_VIDEO
a=ssrc:2190372283 mslabel:
a=ssrc:2190372283 label:SELF_VIDEO
a=ssrc:111930078 cname:C+phDL3HvwhlyByD
a=ssrc:111930078 msid: SELF_VIDEO
a=ssrc:111930078 mslabel:
a=ssrc:111930078 label:SELF_VIDEO
m=audio 52242 UDP/TLS/RTP/SAVPF 111 103 104 9 102 0 8 106 105 13 110 112 113 126
c=IN IP4 ...MY IP ADRESS...
a=rtcp:9 IN IP4 0.0.0.0
... SOME ICE CANDIDATES ...
a=ice-ufrag:6ZNW
a=ice-pwd:1JMvi96Ju3YZCX9S+ChJNH2C
a=fingerprint:sha-256 7B:F5:B5:49:E7:76:54:5F:55:D6:D3:2E:97:38:E0:63:63:5F:2E:53:49:BC:BD:B9:1D:40:45:4B:EC:1E:EE:D4
a=setup:actpass
a=mid:1
a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level
a=extmap:9 urn:ietf:params:rtp-hdrext:sdes:mid
a=sendrecv
a=msid:- SELF_AUDIO
a=rtcp-mux
a=rtpmap:111 opus/48000/2
a=rtcp-fb:111 transport-cc
a=fmtp:111 minptime=10;useinbandfec=1
a=rtpmap:103 ISAC/16000
a=rtpmap:104 ISAC/32000
a=rtpmap:9 G722/8000
a=rtpmap:102 ILBC/8000
a=rtpmap:0 PCMU/8000
a=rtpmap:8 PCMA/8000
a=rtpmap:106 CN/32000
a=rtpmap:105 CN/16000
a=rtpmap:13 CN/8000
a=rtpmap:110 telephone-event/48000
a=rtpmap:112 telephone-event/32000
a=rtpmap:113 telephone-event/16000
a=rtpmap:126 telephone-event/8000
a=ssrc:2339515350 cname:C+phDL3HvwhlyByD
a=ssrc:2339515350 msid: SELF_AUDIO
a=ssrc:2339515350 mslabel:
a=ssrc:2339515350 label:SELF_AUDIO

对于可能出什么问题的任何帮助或建议，将不胜感激！

解决方法

您确定帧率会降低到1fps吗？太低了。我建议您在不同条件下检查确切的帧速率，这可以为您提供有关此问题的更多详细信息。您可以在Loadero中免费进行此操作，这里有一些资源，这些资源将帮助您创建一些免费的测试以获取见解：

• 一篇博客文章，其中包含测试webRTC应用的指南https://blog.loadero.com/2020/08/10/how-to-set-up-an-automated-webrtc-test-with-loadero/
• 有关设置网络状况，数据包丢失，抖动以及更多https://wiki.loadero.com/test-creation/participant-configuration/network-conditions的信息
• 如何使用运行后断言，这将使您获得准确的FPS https://blog.loadero.com/2020/01/29/how-to-get-the-best-out-of-post-run-assertions/
• 在此处注册以运行这些测试并获取详细数据https://loadero.com/home

在不同网络条件下运行测试将帮助您获取有关导致FPS降低的网络问题以及降低幅度的详细信息。希望这将使您能够在应用程序中找到问题。