RTP · PHP/Python/前端/Linux 等等學習筆記

[TOC] > [RFC 3550協議中文文檔](http://www.gpssoft.cn/download/protocol/RFC-3550-%E4%B8%AD%E6%96%87%E7%89%88.pdf) ## 概述 RTP全名是Real-time Transport Protocol（實時傳輸協議）。它是IETF提出的一個標準，對應的RFC文檔為RFC3550（RFC1889為其過期版本） RTP用來為IP網上的語音、圖像、傳真等多種需要實時傳輸的多媒體數據提供端到端的實時傳輸服務。RTP為Internet上端到端的實時傳輸提供時間信息和流同步，但并不保證服務質量，服務質量由RTCP來提供音視頻在RTP 中的表現如果在一次會議中同時使用了音頻和視頻會議，這兩種媒體將分別在不同的RTP會話中傳送，每一個會話使用不同的傳輸地址（IP地址＋端口）。如果一個用戶同時使用了兩個會話，則每個會話對應的RTCP包都使用規范化名字CNAME（Canonical Name）。與會者可以根據RTCP包中的CNAME來獲取相關聯的音頻和視頻，然后根據RTCP包中的計時信息(Network time protocol)來實現音頻和視頻的同步 ## 協議 ![](https://img.kancloud.cn/2f/6d/2f6d0e160749186bfb7f5017ee3171de_1972x632.png) * Version 表示 RTP 協議的版本，目前版本為 2。 * P (Padding) 表示 RT(D)P 包末尾是否有 padding bytes，且 padding bytes 的最后一個 byte 表示 bytes 的數量。Padding 可以被用來填充數據塊，比如加密算法可能會用到。 * X (Extension) 表示是否有頭部擴展，頭部擴展可以用于存儲信息，比如視頻旋轉角度。 * CC (CSRC count) 表示紅色部分的 CSRC（參見下文）數量，顯然最多只能有 15 個 CSRC。 * M (Marker) 表示當前數據是否與應用程序有某種特殊的相關性。比如傳輸的是一些私有數據，或者數據中的某些標志位具有特殊的作用。 * PT (Payload type) 表示 payload 的數據類型，音視頻的默認映射格式可參見[RFC 3551](https://tools.ietf.org/html/rfc3551#page-32)。 * Sequence number 是遞增的序列號，用于標記每一個被發送的 RT(D)P 包。接收方可以根據序列號按順序重新組包，以及識別是否有丟包。序列號的初始值應當是隨機的（不可預測的），從而增加明文攻擊的難度。 * Timestamp 即時間戳，接收方根據其來回放音視頻。時間戳的間隔由傳輸的數據類型（或具體的應用場景）確定，比如音頻通常以 125μs（8kHz）的時鐘頻率進行采樣，而視頻則以 90kHz 的時鐘頻率采樣。這里時間戳的初始值也是隨機選取的，是一種相對時間戳。 * SSRC (Synchronization source) 即同步源標識符。RTP傳輸session的ID,相同 RTP 會話中的 SSRC 是唯一的，且生成的 SSRC 也需要保持隨機。盡管多個源選中同一個標識符的概率很低，但具體實現時仍然需要這種情況發生，即避免碰撞。 * CSRC (Contributing source) 在 MCU 混流時使用，表示混流出的新的音視頻流的 SSRC 是由哪些源 SSRC 貢獻的。根據上述 CC 得知，我們最多可以同時混 15 路音視頻流。 * Extension header 即頭部擴展，包含了音視頻的一些額外信息，比如視頻旋轉角度。 ## PT 類型 ``` PT encoding media type clock rate channels name (Hz) ___________________________________________________ 0 PCMU A 8,000 1 1 reserved A 2 reserved A 3 GSM A 8,000 1 4 G723 A 8,000 1 5 DVI4 A 8,000 1 6 DVI4 A 16,000 1 7 LPC A 8,000 1 8 PCMA A 8,000 1 9 G722 A 8,000 1 10 L16 A 44,100 2 11 L16 A 44,100 1 12 QCELP A 8,000 1 13 CN A 8,000 1 14 MPA A 90,000 (see text) 15 G728 A 8,000 1 16 DVI4 A 11,025 1 17 DVI4 A 22,050 1 18 G729 A 8,000 1 19 reserved A 20 unassigned A 21 unassigned A 22 unassigned A 23 unassigned A dyn G726-40 A 8,000 1 dyn G726-32 A 8,000 1 dyn G726-24 A 8,000 1 dyn G726-16 A 8,000 1 dyn G729D A 8,000 1 dyn G729E A 8,000 1 dyn GSM-EFR A 8,000 1 dyn L8 A var. var. dyn RED A (see text) dyn VDVI A var. 1 Table 4: Payload types (PT) for audio encodings ``` **視頻多媒體類型** ``` PT encoding media type clock rate name (Hz) _____________________________________________ 24 unassigned V 25 CelB V 90,000 26 JPEG V 90,000 27 unassigned V 28 nv V 90,000 29 unassigned V 30 unassigned V 31 H261 V 90,000 32 MPV V 90,000 33 MP2T AV 90,000 34 H263 V 90,000 35-71 unassigned ? 72-76 reserved N/A N/A 77-95 unassigned ? 96-127 dynamic ? dyn H263-1998 V 90,000 ``` |負載類型| 編碼名稱| 時鐘頻率| 通道數| SDD描述中m字段的media項| |---|---|---|---|---| |4| G.723| 8k HZ| 1| audio| |8| PCMA(G.711 A)| 8k HZ| 1| audio| |9| G722| 8k HZ| 1| audio| |18| G.729| 8k HZ| 1| audio| |20| SVACA(SVAC音頻)| 8k HZ| 1| audio| |96| PS| 90k HZ|| video| |97| MPEG-4||| video| |98| H.264|| |99| SAVC(SVAC視頻)| |