1、Wild Ones 提問: 你好,大牛,golang后端開發需要掌握哪些知識和技術?有沒有一些開源項目推薦?
回答:
除了語言本身,看具體哪個領域。如果使用 Go 進行 Web 開發,普通工程師的話,至少需要掌握:HTTP協議、Linux、Web Server、數據庫如MySQL、Redis緩存等。這是最基本的要求。其他比如高可用、分布式方案等,可以后續慢慢涉獵。
Go 的開源項目的話,可以根據上面的,設計不同方面。看你目的是什么。
2、暗香去 提問: 相對于java,Go擁有著超高并發能力,那么Go是如何解決IO等待問題的?
回答:
借此問題,普及一下 IO 的相關知識點。
IO 基本概念
Linux 的內核將所有外部設備都可以看做一個文件來操作(Unix 的設計原則,一切皆文件)。那么我們對外部設備的操作都可以看做對文件進行操作。我們對一個文件的讀寫,都通過調用內核提供的系統調用;內核給我們返回一個 file descriptor(fd,文件描述符)。對一個 socket 的讀寫也會有相應的描述符,稱為socketfd(socket 描述符)。描述符就是一個數字(可以理解為一個索引),指向內核中一個結構體(文件路徑,數據區,等一些屬性)。應用程序對文件的讀寫就通過對描述符的讀寫完成。
一個基本的 IO,它會涉及到兩個系統對象,一個是調用這個 IO 的進程對象,另一個就是系統內核(kernel)。
一般來說,服務器端的 I/O 主要有兩種情況:一是來自網絡的 I/O;二是對文件(設備)的I/O。
常見的 IO 模型
首先一個 IO 操作其實分成了兩個步驟:發起 IO 請求(等待網絡數據到達網卡并讀取到內核緩沖區,數據準備好)和實際的 IO 操作(從內核緩沖區復制數據到進程空間)。
阻塞和非阻塞
阻塞 IO 和非阻塞 IO 的區別在于第一步:發起 IO 請求是否會被阻塞。如果阻塞直到完成,那么就是傳統的阻塞 IO,如果不阻塞,那么就是非阻塞 IO。
同步和異步
同步 IO 和異步 IO 的區別就在于第二個步驟是否阻塞。如果實際的 IO 讀寫阻塞請求進程,那么就是同步IO。因此常說的阻塞 IO、非阻塞 IO、IO 復用、信號驅動 IO 都是同步 IO。如果不阻塞,而是操作系統幫你做完 IO 操作后再將結果返回給你(通知你),那么就是異步IO。
IO 多路復用
指內核一旦發現進程指定的一個或者多個IO條件準備讀取,它就通知該進程。
目前支持 I/O 多路復用的常用系統調用有 select,pselect,poll,epoll 等,I/O 多路復用就是通過一種機制,一個進程可以監視多個描述符,一旦某個描述符就緒(一般是讀就緒或者寫就緒),能夠通知程序進行相應的讀寫操作。但 select,pselect,poll,epoll本質上都是同步 I/O,因為他們都需要在讀寫事件就緒后自己負責進行讀寫,也就是說這個讀寫過程是阻塞的,而異步 I/O 則無需自己負責進行讀寫,異步 I/O 的實現會負責把數據從內核拷貝到用戶空間。
5 種 IO 模型
《UNIX 網絡編程》對 IO 模型進行了總結,分別是:
阻塞 IO、非阻塞 IO、IO 多路復用、信號驅動的 IO、異步 IO;前 4 種為同步 IO,只有異步 IO 模型是異步 IO。
回到問題
目前很多高性能的基礎網絡服務器都是采用的 C 語言開發的,比如:Nginx、Redis、memcached 等,它們都是基于”事件驅動 + 事件回調函數”的方式實現,也就是采用 epoll 等作為網絡收發數據包的核心驅動。但不少人都認為“事件驅動 + 事件回調函數”的編程方法是“反人類”的;因為大多數人都更習慣線性的處理一件事情:做完第一件事情再做第二件事情,并不習慣在 N 件事情之間頻繁的切換干活。為了解決程序員在開發服務器時需要自己的大腦不斷的“上下文切換”的問題,Go 語言引入了一種用戶態線程 goroutine 來取代編寫異步的事件回調函數,從而重新回歸到多線程并發模型的線性、同步的編程方式上。
在 Linux 上 Go 語言寫的網絡服務器也是采用的 epoll 作為最底層的數據收發驅動,Go 語言網絡的底層實現中同樣存在“上下文切換”的工作,只是這個切換工作由 runtime 的調度器來做了,減少了程序員的負擔。
所以,IO 等待是必然,只是誰等的問題。Go 語言在遇到 IO 需要等待時,runtime 會進行調度,語言層面處理這個問題。Go 擁有超高并發能力的關鍵就在于用戶態的 goroutine。
注:網絡編程,涉及到太多知識點,咱們后面可以找時間慢慢聊。
3、 提問: go int32和uint32區別,和使用的場景,
回答:int32 是有符號類型;uint32 是無符號類型。有符號和無符號的概念知道吧。
一般的項目,直接使用 int 即可;有一些對內存要求很高的場景,希望每個變量都盡可能做到夠用不超。比如,我們存一個數字,它不會是負數,同時最大值不會超過 1<<32 - 1,那么就可以使用 uint32。
在 32 位機器上,int 和 int32 占用空間和表示的范圍是一樣的。
3、想問一下,對Chan類型的變量,什么時候用select,什么時候用for range
回答:
多個chan用select,單個用for range
- 序言
- 目錄
- 環境搭建
- Linux搭建golang環境
- Windows搭建golang環境
- Mac搭建golang環境
- Go 環境變量
- 編輯器
- vs code
- Mac 安裝vs code
- Windows 安裝vs code
- vim編輯器
- 介紹
- 1.Go語言的主要特征
- 2.golang內置類型和函數
- 3.init函數和main函數
- 4.包
- 1.工作空間
- 2.源文件
- 3.包結構
- 4.文檔
- 5.編寫 Hello World
- 6.Go語言 “ _ ”(下劃線)
- 7.運算符
- 8.命令
- 類型
- 1.變量
- 2.常量
- 3.基本類型
- 1.基本類型介紹
- 2.字符串String
- 3.數組Array
- 4.類型轉換
- 4.引用類型
- 1.引用類型介紹
- 2.切片Slice
- 3.容器Map
- 4.管道Channel
- 5.指針
- 6.自定義類型Struct
- 流程控制
- 1.條件語句(if)
- 2.條件語句 (switch)
- 3.條件語句 (select)
- 4.循環語句 (for)
- 5.循環語句 (range)
- 6.循環控制Goto、Break、Continue
- 函數
- 1.函數定義
- 2.參數
- 3.返回值
- 4.匿名函數
- 5.閉包、遞歸
- 6.延遲調用 (defer)
- 7.異常處理
- 8.單元測試
- 壓力測試
- 方法
- 1.方法定義
- 2.匿名字段
- 3.方法集
- 4.表達式
- 5.自定義error
- 接口
- 1.接口定義
- 2.執行機制
- 3.接口轉換
- 4.接口技巧
- 面向對象特性
- 并發
- 1.并發介紹
- 2.Goroutine
- 3.Chan
- 4.WaitGroup
- 5.Context
- 應用
- 反射reflection
- 1.獲取基本類型
- 2.獲取結構體
- 3.Elem反射操作基本類型
- 4.反射調用結構體方法
- 5.Elem反射操作結構體
- 6.Elem反射獲取tag
- 7.應用
- json協議
- 1.結構體轉json
- 2.map轉json
- 3.int轉json
- 4.slice轉json
- 5.json反序列化為結構體
- 6.json反序列化為map
- 終端讀取
- 1.鍵盤(控制臺)輸入fmt
- 2.命令行參數os.Args
- 3.命令行參數flag
- 文件操作
- 1.文件創建
- 2.文件寫入
- 3.文件讀取
- 4.文件刪除
- 5.壓縮文件讀寫
- 6.判斷文件或文件夾是否存在
- 7.從一個文件拷貝到另一個文件
- 8.寫入內容到Excel
- 9.日志(log)文件
- server服務
- 1.服務端
- 2.客戶端
- 3.tcp獲取網頁數據
- 4.http初識-瀏覽器訪問服務器
- 5.客戶端訪問服務器
- 6.訪問延遲處理
- 7.form表單提交
- web模板
- 1.渲染終端
- 2.渲染瀏覽器
- 3.渲染存儲文件
- 4.自定義io.Writer渲染
- 5.模板語法
- 時間處理
- 1.格式化
- 2.運行時間
- 3.定時器
- 鎖機制
- 互斥鎖
- 讀寫鎖
- 性能比較
- sync.Map
- 原子操作
- 1.原子增(減)值
- 2.比較并交換
- 3.導入、導出、交換
- 加密解密
- 1.md5
- 2.base64
- 3.sha
- 4.hmac
- 常用算法
- 1.冒泡排序
- 2.選擇排序
- 3.快速排序
- 4.插入排序
- 5.睡眠排序
- 限流器
- 日志包
- 日志框架logrus
- 隨機數驗證碼
- 生成指定位數的隨機數
- 生成圖形驗證碼
- 編碼格式轉換
- UTF-8與GBK
- 解決中文亂碼
- 設計模式
- 創建型模式
- 單例模式
- singleton.go
- singleton_test.go
- 抽象工廠模式
- abstractfactory.go
- abstractfactory_test.go
- 工廠方法模式
- factorymethod.go
- factorymethod_test.go
- 原型模式
- prototype.go
- prototype_test.go
- 生成器模式
- builder.go
- builder_test.go
- 結構型模式
- 適配器模式
- adapter.go
- adapter_test.go
- 橋接模式
- bridge.go
- bridge_test.go
- 合成/組合模式
- composite.go
- composite_test.go
- 裝飾模式
- decoretor.go
- decorator_test.go
- 外觀模式
- facade.go
- facade_test.go
- 享元模式
- flyweight.go
- flyweight_test.go
- 代理模式
- proxy.go
- proxy_test.go
- 行為型模式
- 職責鏈模式
- chainofresponsibility.go
- chainofresponsibility_test.go
- 命令模式
- command.go
- command_test.go
- 解釋器模式
- interpreter.go
- interperter_test.go
- 迭代器模式
- iterator.go
- iterator_test.go
- 中介者模式
- mediator.go
- mediator_test.go
- 備忘錄模式
- memento.go
- memento_test.go
- 觀察者模式
- observer.go
- observer_test.go
- 狀態模式
- state.go
- state_test.go
- 策略模式
- strategy.go
- strategy_test.go
- 模板模式
- templatemethod.go
- templatemethod_test.go
- 訪問者模式
- visitor.go
- visitor_test.go
- 數據庫操作
- golang操作MySQL
- 1.mysql使用
- 2.insert操作
- 3.select 操作
- 4.update 操作
- 5.delete 操作
- 6.MySQL事務
- golang操作Redis
- 1.redis介紹
- 2.golang鏈接redis
- 3.String類型 Set、Get操作
- 4.String 批量操作
- 5.設置過期時間
- 6.list隊列操作
- 7.Hash表
- 8.Redis連接池
- 其它Redis包
- go-redis/redis包
- 安裝介紹
- String 操作
- List操作
- Set操作
- Hash操作
- golang操作ETCD
- 1.etcd介紹
- 2.鏈接etcd
- 3.etcd存取
- 4.etcd監聽Watch
- golang操作kafka
- 1.kafka介紹
- 2.寫入kafka
- 3.kafka消費
- golang操作ElasticSearch
- 1.ElasticSearch介紹
- 2.kibana介紹
- 3.寫入ElasticSearch
- NSQ
- 安裝
- 生產者
- 消費者
- zookeeper
- 基本操作測試
- 簡單的分布式server
- Zookeeper命令行使用
- GORM
- gorm介紹
- gorm查詢
- gorm更新
- gorm刪除
- gorm錯誤處理
- gorm事務
- sql構建
- gorm 用法介紹
- Go操作memcached
- beego框架
- 1.beego框架環境搭建
- 2.參數配置
- 1.默認參數
- 2.自定義配置
- 3.config包使用
- 3.路由設置
- 1.自動匹配
- 2.固定路由
- 3.正則路由
- 4.注解路由
- 5.namespace
- 4.多種數據格式輸出
- 1.直接輸出字符串
- 2.模板數據輸出
- 3.json格式數據輸出
- 4.xml格式數據輸出
- 5.jsonp調用
- 5.模板處理
- 1.模板語法
- 2.基本函數
- 3.模板函數
- 6.請求處理
- 1.GET請求
- 2.POST請求
- 3.文件上傳
- 7.表單驗證
- 1.表單驗證
- 2.定制錯誤信息
- 3.struct tag 驗證
- 4.XSRF過濾
- 8.靜態文件處理
- 1.layout設計
- 9.日志處理
- 1.日志處理
- 2.logs 模塊
- 10.會話控制
- 1.會話控制
- 2.session 包使用
- 11.ORM 使用
- 1.鏈接數據庫
- 2. CRUD 操作
- 3.原生 SQL 操作
- 4.構造查詢
- 5.事務處理
- 6.自動建表
- 12.beego 驗證碼
- 1.驗證碼插件
- 2.驗證碼使用
- beego admin
- 1.admin安裝
- 2.admin開發
- beego 熱升級
- beego實現https
- gin框架
- 安裝使用
- 路由設置
- 模板處理
- 文件上傳
- gin框架中文文檔
- gin錯誤總結
- 項目
- 秒殺項目
- 日志收集
- 面試題
- 面試題一
- 面試題二
- 錯題集
- Go語言陷阱和常見錯誤
- 常見語法錯誤
- 初級
- 中級
- 高級
- Go高級應用
- goim
- goim 啟動流程
- goim 工作流程
- goim 結構體
- gopush
- gopush工作流程
- gopush啟動流程
- gopush業務流程
- gopush應用
- gopush新添功能
- gopush壓力測試
- 壓測注意事項
- rpc
- HTTP RPC
- TCP RPC
- JSON RPC
- 常見RPC開源框架
- pprof
- pprof介紹
- pprof應用
- 使用pprof及Go 程序的性能優化
- 封裝 websocket
- cgo
- Golang GC
- 查看程序運行過程中的GC信息
- 定位gc問題所在
- Go語言 demo
- 用Go語言計算一個人的年齡,生肖,星座
- 超簡易Go語言實現的留言板代碼
- 信號處理模塊,可用于在線加載配置,配置動態加載的信號為SIGHUP
- 陽歷和陰歷相互轉化的工具類 golang版本
- 錯誤總結
- 網絡編程
- 網絡編程http
- 網絡編程tcp
- Http請求
- Go語言必知的90個知識點
- 第三方庫應用
- cli應用
- Cobra
- 圖表庫
- go-echarts
- 開源IM
- im_service
- 機器學習庫
- Tensorflow
- 生成二維碼
- skip2/go-qrcode生成二維碼
- boombuler/barcode生成二維碼
- tuotoo/qrcode識別二維碼
- 日志庫
- 定時任務
- robfig/cron
- jasonlvhit/gocron
- 拼多多開放平臺 SDK
- Go編譯
- 跨平臺交叉編譯
- 一問一答
- 一問一答(一)
- 為什么 Go 標準庫中有些函數只有簽名,沒有函數體?
- Go開發的應用
- etcd
- k8s
- Caddy
- nsq
- Docker
- web框架