互聯網對人類社會產生的巨大變革,大家是有目共睹的,它幾乎改變了人類生活的方方面面。互聯網通信的本質是數字通信,任何數字通信都離不開通信協議的制定,通信設備只有按照約定的、統一的方式去封裝和解析信息,才能實現通信。互聯網通信所要遵守的眾多協議,被統稱為TCP/IP。
TCP/IP是一個協議族,包含眾多的協議。但對于網絡應用開發人員,可能聽到更多的是其中的應用層協議,比如HTTP、FTP、MQTT等。
HTTP協議是Hyper Text Transfer Protocol(超文本傳輸協議)的縮寫,HTTP的應用最為廣泛。比如大家日常使用電腦時的一個常規操作:打開電腦,打開瀏覽器,輸入網址,最后按下回車,這一刻你就開啟了HTTP通信。HTTP協議工作于客戶端\-服務端架構之上,(服務端也稱作為服務器端,除非特別說明,否則本書出現的“服務端”即為“服務器端”),瀏覽器作為HTTP客戶端通過URL向HTTP服務端即WEB服務器發送所有請求。Web服務器根據接收到的請求后,向客戶端發送響應信息。借助這種瀏覽器和服務器之間的HTTP通信,我們能夠足不出戶地獲得來自世界各個角落的信息。另外,網頁不僅僅是大型服務器的專利, 在物聯網風潮盛行的今天,許多隨處可見的小型設備(空調、冰箱、插座、路由器等),都內嵌網頁,在物理鏈路暢通的情況下,用戶可以用手機、平板電腦上的瀏覽器隨時隨地監控這些設備。
FTP(File Transfer Protocal)是文件傳輸協議的簡稱。FTP是工作在應用層的網絡協議。FTP使得主機間可以共享文件,用于在兩臺設備之間傳輸文件(雙向傳輸)。它也是一個客戶端\-服務端框架系統。用戶可以通過一個支持FTP協議的客戶端程序,連接到在遠程主機上的FTP服務端程序,通過客戶端程序向服務端程序發出命令,服務端程序執行用戶所發出的命令,并將執行的結果返回到客戶機。FTP除了基本的文件上傳/下載功能外,還有目錄操作、權限設置、身份驗證機制,許多網盤的文件傳輸功能都是基于FTP實現的。
在物聯網發展的處期,物聯網場景中的設備使用何種應用層協議進行通信一直是備受爭議的話題。很多開發人員習慣了網頁的開發模式,于是經常選擇HTTP作為通信方式。使用HTTP有以下不利因素:HTTP是一種同步協議,設備需要等待服務器的響應才可以進行下一步的工作,然而在設備數量多、網絡不可靠的場景下,實現同步通信很困難;HTTP是單向的,設備只能主動向服務器發出數據,無法被動的接收來自網絡的數據,這不適用于實時控制的場合;HTTP是有許多幀頭和規則的重量級協議,實現在設備中需要耗費大量的系統資源。基于上述的形勢,MQTT和COAP等輕量級、異步的通信協議便得到了物聯網設備開發商的寵愛,尤其是MQTT。MQTT(消息隊列遙測傳輸)是IBM公司于1990年設計并推出的一款通信協議,于2014年正式成為了一個OASIS開放標準。近年來,MQTT的應用呈現出爆炸性的增長勢頭,大有一統物聯網的趨勢。另外,MQTT在物聯網以外的其他領域也得到了廣泛的應用,比如許多公司在制作手機APP時,會使用MQTT來實現消息推送、即時聊天等功能。
嵌入式設備接入互聯網的需求越來越大,有以下幾點原因:
1. 近些年,各種帶網絡接入功能的MCU、SoC層出不窮,開源輕量的TCP/IP協議棧日趨成熟和完善,云平臺的市場越來越繁榮,這些因素大大降低了嵌入式設備的入網成本,也為許多資源受限的低端設備接入互聯網提供了可能。
2. “物聯網+”的風潮日漸盛行,設備能夠被遠程監控,這一點已經成為許多產品的技術要求。
3. 人們對于設備“智能性”的追求越來越高,當今熱門的大數據、圖像處理、語音識別、機器學習等功能都可以被集成在云端,成為云平臺能提供的服務。終端設備大多是計算、存儲能力有限的設備,這些設備如果想要獲取“智能”,最便捷的辦法就是接入云平臺,利用各項云服務。
互聯網的基礎就是TCP/IP。TCP/IP是一個非常復雜的協議族,即便我們能把它的設計思想和實現原理都解釋得清清楚楚,你也不見得有時間和精力去學習它,所以本書的寫作重點不在于對TCP/IP的解讀,而在于對它的應用。另外,TCP/IP的復雜性也決定了它并不是那么簡單就能用好的東西,即便我們只關注應用開發,也依然需要對它的許多概念和設計思想有所了解,才能編寫出正確、高效、健壯性好的應用程序。
希望能借此書,讓嵌入式開發工程師們以濃厚的興趣和清晰的視野,搭上物聯網發展的快車。
- 說明
- 第1章:網絡協議簡介
- 1.1:常用網絡協議
- 1.2:網絡協議的分層模型
- 1.3:協議層報文間的封裝與拆封
- 第2章:LwIP簡介
- 2.1:LwIP的優缺點
- 2.2:LwIP的文件說明
- 2.2.1:如何獲取LwIP源碼文件
- 2.2.2:LwIP文件說明
- 2.3:查看LwIP的說明文檔
- 2.4:使用vscode查看源碼
- 2.4.1:查看文件中的符號列表(函數列表)
- 2.4.2:函數定義跳轉
- 2.5:LwIP源碼里的example
- 2.6:LwIP的三種編程接口
- 2.6.1:RAW/Callback API
- 2.6.2:NETCONN API
- 2.6.3:SOCKET API
- 第3章:開發平臺介紹
- 3.1:以太網簡介
- 3.1.1:PHY層
- 3.1.2:MAC子層
- 3.2:STM32的ETH外設
- 3.3:MII 和 RMII 接口
- 3.4:PHY:LAN8720A
- 3.5:硬件設計
- 3.6:軟件設計
- 3.6.1:獲取STM32的裸機工程模板
- 3.6.2:添加bsp_eth.c與bsp_eth.h
- 3.6.3:修改stm32f4xx_hal_conf.h文件
- 第4章:LwIP的網絡接口管理
- 4.1:netif結構體
- 4.2:netif使用
- 4.3:與netif相關的底層函數
- 4.4:ethernetif.c文件內容
- 4.4.1:ethernetif數據結構
- 4.4.2:ethernetif_init()
- 4.4.3:low_level_init()
- 第5章:LwIP的內存管理
- 5.1:幾種內存分配策略
- 5.1.1:固定大小的內存塊
- 5.1.2:可變長度分配
- 5.2:動態內存池(POOL)
- 5.2.1:內存池的預處理
- 5.2.2:內存池的初始化
- 5.2.3:內存分配
- 5.2.4:內存釋放
- 5.3:動態內存堆
- 5.3.1:內存堆的組織結構
- 5.3.2:內存堆初始化
- 5.3.3:內存分配
- 5.3.4:內存釋放
- 5.4:使用C庫的malloc和free來管理內存
- 5.5:LwIP中的配置
- 第6章:網絡數據包
- 6.1:TCP/IP協議的分層思想
- 6.2:LwIP的線程模型
- 6.3:pbuf結構體說明
- 6.4:pbuf的類型
- 6.4.1:PBUF_RAM類型的pbuf
- 6.4.2:PBUF_POOL類型的pbuf
- 6.4.3:PBUF_ROM和PBUF_REF類型pbuf
- 6.5:pbuf_alloc()
- 6.6:pbuf_free()
- 6.7:其它pbuf操作函數
- 6.7.1:pbuf_realloc()
- 6.7.2:pbuf_header()
- 6.7.3:pbuf_take()
- 6.8:網卡中使用的pbuf
- 6.8.1:low_level_output()
- 6.8.2:low_level_input()
- 6.8.3:ethernetif_input()
- 第7章:無操作系統移植LwIP
- 7.1:將LwIP添加到裸機工程
- 7.2:移植頭文件
- 7.3:移植網卡驅動
- 7.4:LwIP時基
- 7.5:協議棧初始化
- 7.6:獲取數據包
- 7.6.1:查詢方式
- 7.6.2:ping命令詳解
- 7.6.3:中斷方式
- 第8章:有操作系統移植LwIP
- 8.1:LwIP中添加操作系統
- 8.1.1:拷貝FreeRTOS源碼到工程文件夾
- 8.1.2:添加FreeRTOS源碼到工程組文件夾
- 8.1.3:指定FreeRTOS頭文件的路徑
- 8.1.4:修改stm32f10x_it.c
- 8.2:lwipopts.h文件需要加入的配置
- 8.3:sys_arch.c/h文件的編寫
- 8.4:網卡底層的編寫
- 8.5:協議棧初始化
- 8.6:移植后使用ping測試基本響應
- 第9章:LwIP一探究竟
- 9.1:網卡接收數據的流程
- 9.2:內核超時處理
- 9.2.1:sys_timeo結構體與超時鏈表
- 9.2.2:注冊超時事件
- 9.2.3:超時檢查
- 9.3:tcpip_thread線程
- 9.4:LwIP中的消息
- 9.4.1:消息結構
- 9.4.2:數據包消息
- 9.4.3:API消息
- 9.5:揭開LwIP神秘的面紗
- 第10章:ARP協議
- 10.1:鏈路層概述
- 10.2:MAC地址的基本概念
- 10.3:初識ARP
- 10.4:以太網幀結構
- 10.5:IP地址映射為物理地址
- 10.6:ARP緩存表
- 10.7:ARP緩存表的超時處理
- 10.8:ARP報文
- 10.9:發送ARP請求包
- 10.10:數據包接收流程
- 10.10.1:以太網之數據包接收
- 10.10.2:ARP數據包處理
- 10.10.3:更新ARP緩存表
- 10.11:數據包發送流程
- 10.11.1:etharp_output()函數
- 10.11.2:etharp_output_to_arp_index()函數
- 10.11.3:etharp_query()函數
- 第11章:IP協議
- 11.1:IP地址.md
- 11.1.1:概述
- 11.1.2:IP地址編址
- 11.1.3:特殊IP地址