音视频通话难点：

音视频编解码原理

IP4中，设备在各自的内网，需要p2p打洞

音频降噪和回声消除

信令服务器：

设备连接的socket服务器

传递各个设备之间的信息：传递各个节点的sdp信息，传递ice信息

包含业务功能：如加入、离开房间等

打洞服务器：

为什么打洞？

IP4中，设备在各自的内网，各自的内网不能通信，而想要通信，就需要突破内网限制；

如果用服务器中转，则会加大服务器开销和增加延时；

若不用中转，就需要点对点（p2p）打洞，来实现通信；

NAT

网络地址转换

设备若想链接公网，需要经过路由转换，将私有IP转换为公网IP

在设备和路由中存在IP端口映射表NAPT

如：

设备A的某个应用私有IP端口为：192.168.1.10:9000；

设备A连接的路由器L的公网IP为：200.180.190.11;

那么在路由器L中会有一个端口映射设备A: 200.180.190.11:21111;

200.180.190.11:21111就是设备A的某个应用的公网IP地址和端口的映射；

SDP：

描述了客服端到服务端通信的各个网络地址及端口等信息；

ps:一段文本，就像一个列表，记录了客户端到服务端，中转次数及各个中转点的路由信息；

两个设备实现通信要求：

设备A、设备A的路由AL、设备B、设备B的路由BL；

设备A若想给设备B发消息，AL需要知道B在BL中的IP和端口映射；

同理，设备B若想给设备A发消息，BL需要知道A在AL中的IP和端口映射；

打洞流程：

角色：信令服务器、打洞服务器、设备A、设备A的路由AL、设备B、设备B的路由BL；

通过信令服务器（socket服务器）将设备A到打洞服务器的各个sdp发送给设备B；

通过信令服务器（socket服务器）将设备B到打洞服务器的各个sdp发送给设备A；

设备A尝试发送一条消息到设备B，这条消息是发送不过去的；因为BL里没有A和AL的映射IP和端口；

但是此时AL会在自己的NAPT表中记录B和BL的映射IP和端口；

设备B发送一条消息给设备A，这条消息时可以发送到的。因为AL的NAPT表中有B和BL的映射IP和端口；并且BL会在自己的NAPT表中记录A和AL的映射IP和端口；

此时A和B就可以直接互相发送消息了，不再需要服务器了；

整个过程就是序号1->2->3->4->5->6->7->8>9

过程一：1->2

此过程为用户B向服务器请求向用户A打洞

过程二：3->4

此过程为服务器相应用户B的打洞请求，告诉用户A用户B想与你打洞（数据包中包含用户B的地址信息）。

过程三：5->6

用户A主动发一条信息给用户B，目的是为了使得路由器A中能够有一条关于路由B的IP的路由信息（注意不是用户B，用户B是私有IP），就如图所示，这条信息会被丢弃的，因为路由B的路由表中没有路由A的IP的信息。

过程四：7->8->9

用户B再发一条信息给用户A，因为此时路由A的路由表中有关于路由B的IP的路由信息，此时路由A就能路由给用户A了，至此，用户A就能直接收到用户B发的信息了。注意，此时用户A发给用户B不需要打洞，因为路由B中已经有关于路由A的IP的路由信息了。

webrtc业务流程：

音视频一对一通话、多对多会议都是基于房间进行；

角色：信令服务器S、打洞服务器T、设备A（被请求）、设备A的路由AL、设备B（主请求）、设备B的路由BL；

第一种情况

设备A进入房间时，没有其他设备；

设备A进入房间，信令服务器S给设备A返回设备A的唯一标识符socketId；

设备A开启本地预览：设置视频源、音频源、渲染到surface；

等待获取其他设备发送的请求offer...

准备sdp交换

设备A收到信令服务器S发送来的设备B的socketId和sdp；

设备A请求信令服务器，信令服务器返回设备A到打洞服务器的网络节点各个sdp

设备A设置本地sdp、设置收到的远端sdp;

设备A使用信令服务器S通过收到的socketId将自己的sdp发送给其他设备B；sdp交换完成

开始打洞：ICE交换

设备A通过异步消息获得打洞服务器返回的自己的ICE信息；

设备A通过信令服务器S将ICE信息发送给设备B；

等待设备B连接；

ICE交换完成后

获取远端设备B的视频流、音频流，进行解码播放；

第二种情况

设备B进入房间时，已有其他设备，如：设备A...；

此时设备B需要主动去呼叫设备A；

设备B连接信令服务器S；

设备B进入房间，信令服务器S给设备B返回设备B的唯一标识符socketId，和其他存在的设备的socketId列表；

设备B开启本地预览：设置视频源、音频源、渲染到surface；

开始sdp交换

设备B请求打洞服务器T，获取设备B到打洞服务器T的网络节点的各个sdp

设备B设置自己的sdp；

设备B使用信令服务器S通过socketId列表将自己的sdp发送给其他设备A；

设备A收到sdp后，设备A使用信令服务器S通过设备B的socketId，将自己的sdp发送给其他设备B；

设备B设置收到的远端sdp（可能有多个）；sdp交换完成

开始打洞：ICE交换

设备A通过异步消息获得打洞服务器返回的自己的ICE信息；

设备A通过信令服务器S将ICE信息发送给设备B；

设备B根据收到的ICE信息去发送一个请求；此时设备B链接的路由器BL里就有了设备A在路由AL的IP和端口映射信息；ICE交换完成

设备B链接其他设备的视频流、音频流，进行解码播放；

【免费资料】《Andoird音视频开发必备手册+音视频学习视频+学习文档资料包+大厂面试真题+2022最新学习路线图》,资料领取加企鹅裙：788280672

【免费】FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发-学习视频教程-腾讯课堂