Doubango ims 框架分析之多媒體部分 · 網絡協議專欄

csdn lidp ?[http://blog.csdn.net/perfectpdl](http://blog.csdn.net/perfectpdl) 序言 RTP提供帶有實時特性的端對端數據傳輸服務，傳輸的數據如：交互式的音頻和視頻。那些服務包括有效載荷類型定義，序列號，時間戳和傳輸監測控制。應用程序在UDP上運行RTP來使用它的多路技術和checksum服務。2種協議都提供傳輸協議的部分功能。 RTP本身沒有提供任何的機制來確保實時的傳輸或其他的服務質量保證，而是由低層的服務來完成。它不保證傳輸或防止亂序傳輸，它不假定下層網絡是否可靠，是否按順序傳送數據包。RTP包含的序列號允許接受方重構發送方的數據包順序，但序列號也用來確定一個數據包的正確位置，例如，在視頻解碼的時候不用按順序的對數據包進行解碼。 1.介紹 doubango框架中tinyRTP文件夾實現RTP/RTCP/RTSP協議棧，目前只實現了 RTP，RTCP;RTSP還沒實現。Rtp用來在網絡上傳輸音頻視頻，協議棧實現時主要在音視頻包的封裝，拆包。 2.rtp包由消息頭及消息體組成，消息頭的結構封裝 ~~~ typedefstruct trtp_rtp_header_s文件trtp_rtp_header.h { TSK_DECLARE_OBJECT; /*RFC 3550 section 5.1 - RTP Fixed Header Fields 0 1 2 3 01 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |V=2|P|X| CC |M| PT | sequence number | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | timestamp | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | synchronization source (SSRC) identifier | +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ | contributing source (CSRC) identifiers | | .... | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ */ unsignedversion:2; //版本(V)：2比特?此域定義了RTP的版本。此協議定義的版本是2。(值1被RTP草案版本使用，值0用在最初"vat"語音工具使用的協議中。)? unsignedpadding:1; //填充(P)：1比特?若填料比特被設置，則此包包含一到多個附加在末端的填充比特，填充比特不算作負載的一部分。填充的最后一個字節指明可以忽略多少個填充比特。填充可能用于某些具有固定長度的加密算法，或者用于在底層數據單元中傳輸多個RTP包。 unsignedextension:1; //擴展 //擴展(X)：1比特?若設置擴展比特，固定頭(僅)后面跟隨一個頭擴展。? unsignedcsrc_count:4; unsignedmarker:1; //標志位 unsignedpayload_type:7; //負載類型，即承載的語音編碼類型 //負載類型(PT)：7比特?此域定義了負載的格式，由具體應用決定其解釋。協議可以規定負載類型碼和負載格式之間一個默認的匹配。其他的負載類型碼可以通過非RTP方法動態定義。RTP發送端在任意給定時間發出一個單獨的RTP負載類型；此域不用來復用不同的媒體流。 uint16_tseq_num; //序列號，重新組包 //序列號（sequencenumber）：16比特?每發送一個RTP數據包，序列號加1，接收端可以據此檢測丟包和重建包序列。序列號的初始值是隨機的(不可預測)，以使即便在源本身不加密時(有時包要通過翻譯器，它會這樣做)，對加密算法泛知的普通文本攻擊也會更加困難。? uint32_ttimestamp; //時間戳，負責流同步 uint32_tssrc; //同步源標識，32比特?用以識別同步源。標識符被隨機生成，以使在同一個RTP會話期中沒有任何兩個同步源有相同的SSRC識別符。盡管多個源選擇同一個SSRC識別符的概率很低，所有RTP實現工具都必須準備檢測和解決沖突。若一個源改變本身的源傳輸地址，必須選擇新的SSRC識別符，以避免被當作一個環路源。 uint32_tcsrc[15]; //貢獻源標識 } trtp_rtp_header_t; ~~~ 3.rtp包結構，文件trtp_rtp_packet.h ~~~ typedefstruct trtp_rtp_packet_s { TSK_DECLARE_OBJECT; trtp_rtp_header_t*header; //包頭 struct{ void*data; constvoid* data_const; tsk_size_tsize; }payload; //負載，即承載內容 /*extension header as per RFC 3550 section 5.3.1 */ struct{ void*data; tsk_size_tsize; /* contains the first two 16-bit fields */ }extension; } trtp_rtp_packet_t; ~~~ rtp包的控制上面兩個結構用來標示一個rtp包，同時提供了包的解析，創建等函數。結構trtp_manager_s負責rtp.rtcp包的管理，是更高層的抽象，上層應用直接通過trtp_manager_s提供的api控制 rtp包，比如在網絡上發送音頻數據，在音頻session結構中包含trtp_manager_s用來管理經過封裝的rtp包。 ~~~ /**RTP/RTCP manager */ typedefstruct trtp_manager_s { TSK_DECLARE_OBJECT; struct{ uint16_tseq_num; uint32_ttimestamp; uint32_tssrc; uint8_tpayload_type; char*remote_ip; tnet_port_tremote_port; structsockaddr_storage remote_addr; char*public_ip; tnet_port_tpublic_port; constvoid* callback_data; trtp_manager_rtp_cb_fcallback; }rtp; struct{ char*remote_ip; tnet_port_tremote_port; structsockaddr_storage remote_addr; tnet_socket_t*local_socket; char*public_ip; tnet_port_tpublic_port; constvoid* callback_data; trtp_manager_rtcp_cb_fcallback; }rtcp; char*local_ip; tsk_bool_tipv6; tsk_bool_tstarted; tsk_bool_tenable_rtcp; tsk_bool_tsocket_disabled; tnet_transport_t*transport; } trtp_manager_t; ~~~ 4.tdav是音視頻會話的抽象層，負責傳輸層的啟動，音頻會話，視頻會話，各種編碼的注冊。對于音頻/視頻會話(session)被tmedia_session_mgr_t管理，而tmedia_session_mgr_t則具體由sip信令控制會話的狀態。比如sip客戶端請求時通過tmedia_session_mgr_t構造自己的sdp信息要借助此結構，當客戶端對invite作ACK應答時同樣要指定自己的媒體信息。整個rtp流的啟動入口都由tmedia_session_mgr_t控制。各種媒體會話以插件的形式注冊，如音頻會話在啟動時注冊到tmedia_session_mgr_t的插件鏈表，并綁定start,stop,prepare回調。tmedia_session_mgr_t為sip信令控制媒體流的接口。 tmedia_session_plugin_def_t為音頻視頻抽象接口，指定回調。如音頻會話，內部會實現相應的回調函數。 ~~~ /**Virtual table used to define a session plugin */ typedefstruct tmedia_session_plugin_def_s { //!object definition used to create an instance of the session consttsk_object_def_t* objdef; //!the type of the session tmedia_type_ttype; //!the media name. e.g. "audio", "video", "message","image" etc. constchar* media; int(*set) (tmedia_session_t* , const tmedia_param_t*); int(* prepare) (tmedia_session_t* ); int(* start) (tmedia_session_t* ); int(* pause) (tmedia_session_t* ); int(* stop) (tmedia_session_t* ); struct{/* Special case */ int(* send_dtmf) (tmedia_session_t*, uint8_t ); }audio; consttsdp_header_M_t* (* get_local_offer) (tmedia_session_t* ); /*return zero if can handle the ro and non-zero otherwise */ int(* set_remote_offer) (tmedia_session_t* , const tsdp_header_M_t* ); } tmedia_session_plugin_def_t; tmedia_session_t為會話的抽象層，包含tmedia_session_plugin_def_t， /**Base objct used for all media sessions */ typedefstruct tmedia_session_s { TSK_DECLARE_OBJECT; //!unique id. If you want to modifiy this field then you must use @reftmedia_session_get_unique_id() uint64_tid; //!session type tmedia_type_ttype; //!list of codecs managed by this session tmedia_codecs_L_t*codecs; //!negociated codec tmedia_codecs_L_t*neg_codecs; //!whether the ro have been prepared (up to the manager to update thevalue) tsk_bool_tro_changed; //!whether the session have been initialized (up to the manager toupdate the value) tsk_bool_tinitialized; //!whether the session have been prepared (up to the manager to updatethe value) tsk_bool_tprepared; //!QoS tmedia_qos_tline_t*qos; //!bandwidth level tmedia_bandwidth_level_tbl; struct{ tsdp_header_M_t*lo; tsdp_header_M_t*ro; }M; //!plugin used to create the session conststruct tmedia_session_plugin_def_s* plugin; } tmedia_session_t; sipsession trtp_manager_t tmedia_session_t tmedia_session_plugin_def_s ~~~ 使用過程: tdav_init注冊音頻，視頻，多媒體session；注冊支持的編碼類型，注冊支持的媒體信息承載類型（文本，流等）。 tdav_init-> register sessions, codecs. tmedia_session_mgr_create-> tmedia_session_mgr_ctor，sessions,qos,sdp. _tmedia_session_mgr_load_sessions,創建音視頻會話。 tmedia_session_create,創建具體會話插件類型,tdav_session_video/audio_ctor tmedia_session_init，初始化 tmedia_session_load_codecs，此會話支持的編碼類型 tmedia_codec_create，穿件具體編碼類型。創建過程準備階段 trtp_manager_prepare，指定傳輸層接收數據回調trtp_transport_layer_cb tdav_session_audio_prepare，trtp_manager_create，trtp_manager_set_rtp_callback tnet_transport_create tnet_transport_set_callback 啟動 tmedia_session_mgr_start（），啟動所有上面創建的會話類型，啟動之前一定要設置sdp信息（Startsthe session manager by startingall underlying sessions.You should set bothremote and local offers before calling this session->plugin->start（），如視頻會話啟動，tdav_session_video/audio.c trtp_manager_set_rtp_remote,設置對端ip,port,后續發送rtp包時構造包頭用 trtp_manager_set_payload_type，設置此次會話用什么編碼類型，編碼類型通過協商后選擇最佳 trtp_manager_start，啟動rtp,rtcp包管理， tnet_transport_start，啟動傳輸層線程，綁定socket地址，開始接收udp數據， tnet_transport_mainthread 請求或響應中sdp與codec匹配過程 tmedia_session_match_codec->tmedia_codec_match_fmtp->tdav_codec_h264_fmtp_match-> tdav_codec_h264_get_profile(根據fmt獲取對方的profile版本)，當發起外乎請求時codec與sdp處理關系，發起invite或對方更改媒體信息時要把codec信息加載到sdp消息體中，對于video,audio過程是一樣的。 (videosession from codecs to sdp) tdav_session_video_get_lo | tsdp_header_M_create(創建sdp媒體頭) | tmedia_session_match_codec（此函數最終會返回一個協商成功的編碼類型）對于h264編碼格式，此函數內部調用過程，遍歷協議棧初始化時指定的編碼鏈表，用此次請求的sdp消息體中的編碼與自己的編碼鏈表比較。->tmedia_codec_match_fmtp->tdav_codec_h264_fmtp_match-> tdav_codec_h264_get_profile tmedia_session_match_codec返回協商成功的編碼列表（即雙方都支持的編碼類型列表）后復制給協議棧， self->neg_codecs= tmedia_session_match_codec 然后調用tmedia_codec_video_set_callback設置此編碼類型對應的回調函數，當想發送rtp包時直接觸發此回調函數即可完成發送rtp包的任務。 tmedia_codec_video_set_callback((tmedia_codec_video_t*)TSK_LIST_FIRST_DATA(self->neg_codecs),tdav_session_video_raw_cb, self); tdav_session_video_raw_cb為具體的毀掉函數，內部為調用trtp_manager_send_rtp，發送rtp包。值得注意的是傳給函數的tdav_session_video_raw_cb數據只是未經過加工成rtp包的裸數據，tdav_session_video_raw_cb內部調用trtp_manager_send_rt，由trtp_manager_send_rt來把數據加工成rtp包，然后調用傳輸層發送到網絡上。 /*Encapsulate raw data into RTP packet and send it over the network *Very IMPORTANT: For voice packets, the marker bits indicates thebeginning of a talkspurt */ inttrtp_manager_send_rtp(trtp_manager_t* self, const void* data,tsk_size_t size, uint32_t duration, tsk_bool_t marker, tsk_bool_tlast_packet) trtp_manager_send_rtp內部又具體調用trtp_rtp_packet_create，創建rtp格式的數據包，包括rtp消息頭的創建，初始化默認參數(version，marker,payload_type,seq_num等)。然后調用trtp_rtp_packet_serialize把rtp包序列化到一個buffer中。 trtp_manager_send_rtp最后調用tnet_sockfd_sendto傳輸層函數完成實際發送到網絡上。回到設置tmedia_codec_video_set_callback完畢后，tdav_session_video_get_lo調用tmedia_codec_to_sdp 把協商后的編碼類型的信息轉換成sdp格式的信息。 tmedia_codec_to_sdp(self->neg_codecs,self->M.lo);保存到M.lo屬性，即本地的媒體信息。 tmedia_codec_to_sdp分析：此函數的功能即把協商后的編碼鏈表放到協議棧的sdp屬性中，這樣以后發送invite請求時就可以直接用。 /**@ingrouptmedia_codec_group *Serialize a list of codecs to sdp (m= line) message.<br> *Will add: fmt, rtpmap and fmtp. *@param codecs The list of codecs to convert *@param m The destination *@retval Zero if succeed and non-zero error code otherwise */ inttmedia_codec_to_sdp(const tmedia_codecs_L_t* codecs, tsdp_header_M_t*m) TSK_DEBUG_INFO("Serializea list of codecs to sdp (m= line) message/n"); tsk_list_foreach(item,codecs){ 遍歷每個編碼類型，添加fmt,rtpmap屬性，fmtp屬性（tmedia_codec_get_fmtp，對于h264格式即調用tmedia_codec_h264_get_fmtp）最后，tdav_session_video_get_lo內部在屬性M.ro(即已經有請求的sdp信息)非空時考慮此請求是否為保持還是接回，通過設置spd屬性，sendrecv，sendonly來提示類型。最后，設置Qos信息。流程tdav_session_video_get_lo | tsdp_header_M_create(創建sdp媒體頭) | tmedia_session_match_codec | tmedia_codec_video_set_callback | tmedia_codec_to_sdp 但是 tdav_session_video_get_lo又是由誰觸發的呢？tdav_session_video_get_lo為某一具體session的回調，比如視頻的session回調，音頻的回調，視頻，音頻的session以plugin的方式掛在到session中。 /**Virtual table used to define a session plugin */ typedefstruct tmedia_session_plugin_def_s { //!object definition used to create an instance of the session consttsk_object_def_t* objdef; //!the type of the session tmedia_type_ttype; //!the media name. e.g. "audio", "video", "message","image" etc. constchar* media; int(*set) (tmedia_session_t* , const tmedia_param_t*); int(* prepare) (tmedia_session_t* ); int(* start) (tmedia_session_t* ); int(* pause) (tmedia_session_t* ); int(* stop) (tmedia_session_t* ); struct{/* Special case */ int(* send_dtmf) (tmedia_session_t*, uint8_t ); }audio; consttsdp_header_M_t* (* get_local_offer) (tmedia_session_t* ); /*return zero if can handle the ro and non-zero otherwise */ int(* set_remote_offer) (tmedia_session_t* , const tsdp_header_M_t* ); } tmedia_session_plugin_def_t; tdav_session_video_get_lo即為get_local_offer的具體回調。 get_local_offer被tmedia_session_get_lo調用。tmedia_session_get_lo又被tmedia_session_mgr_get_lo】調用，正是上面提到的tmedia_session_mgr為管理session的抽象接口，用來與sip信令交互。整個流程為： tmedia_session_mgr | tmedia_session_get_lo | tdav_session_video_get_lo | tsdp_header_M_create(創建sdp媒體頭) | tmedia_session_match_codec | tmedia_codec_video_set_callback | tmedia_codec_to_sdp tmedia_session_mgr_get_lo又被誰觸發呢？剛才說了，是由sip協議棧調用的，具體有這樣幾個與sdp協商有關的sip點，我們知道，invite請求以及200ok應答，183響應,100響應的確認(prack)中有sdp信息：（1）發送或者更新請求(invite) send_INVITEorUPDATE //send INVITE/UPDATE request intsend_INVITEorUPDATE(tsip_dialog_invite_t *self, tsk_bool_t is_INVITE,tsk_bool_t force_sdp) 5.prack響應 //Send PRACK intsend_PRACK(tsip_dialog_invite_t *self, const tsip_response_t* r1xx) 6.//Send ACK intsend_ACK(tsip_dialog_invite_t *self, const tsip_response_t*r2xxINVITE) 初始請求中沒有sdp信息，在ack中需要攜帶sdp信息（4）發送響應時 /Send any response intsend_RESPONSE(tsip_dialog_invite_t *self, const tsip_request_t*request, short code, const char* phrase, tsk_bool_t force_sdp) 2.處理請求中的sdp信息過程 tsip_dialog_invite_process_ro | tmedia_session_mgr_set_ro tsip_dialog_invite_process_ro為sip信令中處理sdp信息的入口，在狀態機的回調中適時調用。比如在保持狀態轉到接回狀態。 tsip_dialog_invite_process_ro會初始化mgr，啟動， tmedia_session_mgr_create，tmedia_session_mgr_set_ro，tmedia_session_mgr_set_natt_ctx， tmedia_session_mgr_start。