## 字符編碼 ### 前言 一直以來想寫一篇文章通俗的講一下字符編碼這件事，一是因為工作中經常用到，雖然理解，但是使用時總覺得底氣不足容易出錯，所以希望對自己的理解有個總結，從最開始的源頭去理清它，讓我以后即使不碰代碼很久，但只要一想到這篇文章就能夠馬上記起，馬上理解。二是因為網上的文章大多是講概念，只講“是什么”，沒有講“為什么”，沒有很好的講清楚什么是編碼，為什么要編碼，另外我也希望非程序員也能夠理解字符編碼這件事，編碼并不只是在和計算機打交道時才需要用到，日常生活中也會用到，只是大家平常沒覺察到，編碼只是信息轉換的思想而已，如果大家學會了這種思想，會重新發現生活中還有很多與編碼相關的有趣的事情。 所以這是一篇通俗易懂，適合任何人群閱讀的文章，不論你是程序員，還是非計算機相關職業的，只要你想了解字符編碼就都可以閱讀，比如你想知道文檔里出現的亂碼是什么東西，又為什么亂碼，火星文是什么，emoji 表情是什么，為什么有的軟件中昵稱設置不支持帶表情，...，等等這類問題其實都和編碼有關，好了不多說，讓我們開始吧。 ---- ### 先看字面意思 字符編碼由字符和編碼兩個詞組成，字符就是你現在看到的每個文字，也就是一切文字和一切符號，字符是用來表示信息的，為了描述更準確直接，你可以將文字看作是符號，下面我們只說符號而不提字了，這個符號可以是任何象征形態，不只是漢字，比如你和小伙伴創造了一個只有你們才知道意思的符號，其他人看到只是一個奇怪的涂鴉形狀，但只有你們知道這個符號的意思，這種符號也是一個符號，所以**符號是信息的載體**，任何形狀只要你賦予了它含義，它就是一個攜帶的符號了。 萬物皆有所相，都能通過信息描述出來，所以世界上才會有那么多的符號，我們創造符號都是有目的，都是為了描述信息的。 怎么理解字符是信息的載體呢，你能看到這篇文章，閱讀時就如同有人在跟你對話一樣，我將我想說的傳達到你了，這種傳達就是通過我敲下的字符表達出來的。我將想表達的思想用符號寫成文章，你讀到這些符號，“聽”到了我的表達，我們沒有面對面，但是我想表達的信息卻通過符號傳達給你了，所以符號就是信息的載體。 所以，字符就是符號，符號是信息的載體。 再來看編碼，講編碼之前我們還是先看個生活中的場景。現在先理解字符就行了，不急著講編碼，否則一開始就涉及到枯燥的理論規則大家可能就沒了興趣，先理解了編碼的來龍去脈，到后面大家知其所以然，水到渠成自然就理解了。 ---- ### 如何分辨煎包是什么餡的 ---- ### 程序里的編碼 寫過代碼的對編碼 `encode` 和解碼 `decode` 兩個函數都不陌生了， ---- ### 摩斯密碼 符號是信息載體，那聲音可以嗎，當然也可以。 ---- ### 電梯里的盲文 ---- ### 思考 任何信息都可以被編碼，只要有需要都可以設計一套編碼規則。 ---- ### 參考 ~~~ 00000000 - 11111111 1個字節，256（8 * 8e） 00 - FF 1個字節，256（16 * 2e） 00000000 - FFFFFFFF 4個字節，4294967296（16 * 8e） Unicode符號范圍 | UTF-8編碼方式 (十六進制) | （二進制） ----------------------+--------------------------------------------- 0000 0000 - 0000 007F | 0xxxxxxx 0000 0080 - 0000 07FF | 110xxxxx 10xxxxxx 0000 0800 - 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx 0001 0000 - 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx ---- 解碼器程序： 1. 讀取前兩個字節，確定 編碼的大小端 2. 確定編碼方式，去除 BOM 等符號 3. 調用對應的編碼解析器 4. 使用編碼器解析字節 5. 考慮字節不完整，不正確的情況 6. 輸出解碼結果 ~~~ [Unicode To UTF8 Online· 開發者工具箱](https://devtool.tech/utf8) [字符編碼筆記：ASCII，Unicode 和 UTF-8 - 阮一峰的網絡日志](http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html) [非常詳細的字符編碼講解，ASCII、GB2312、GBK、Unicode、UTF-8等知識點都有](https://www.bilibili.com/video/BV1gZ4y1x7p7) [非常生動的Python2和Python3的編解碼講解](https://www.bilibili.com/video/BV1XK4y1t7D4) [一個神奇的Unicode字符：RLO（不要拿來干壞事）_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili](https://www.bilibili.com/video/BV1Xk4y117He/?spm_id_from=333.788.recommend_more_video.4) ~~~ 字節 解碼 成 Unicode形式 Unicode形式 編碼成 字節 在python中它們兩者打印時都可以顯示成字符 字節是編碼的結果，是已確定了編碼類型的（如 utf-8）二值序列，是信息的載體，否則字節就沒有任何意義 信息加載進內存和保存到磁盤上時需要編碼轉換成字節序列，處理或打印時需要解碼出信息，編碼解碼是一種信息轉換規則。 之前 把字符 帶進了編碼解碼 中，看來是錯誤的理解，字符只是顯示時的一種形式符號而已，只是查編碼表顯示出來符號而已，這個過程是操作系統處理的，程序不會干預，在程序內存中并不存在這個符號的概念。 ~~~ [【社長說13】當年你用小本本記過蝌蚪文一樣的“密碼”嗎？](https://www.bilibili.com/video/BV1PW411a7p2) 微信設置彩色昵稱，火星文字，長草文字，編碼 [字符串的擴展 - ECMAScript 6入門](https://es6.ruanyifeng.com/#docs/string) > 有了這種表示法之后，JavaScript 共有 6 種方法可以表示一個字符。 ---- % = %25（雞=蛋）（%表示雞，25 表示生一次） %25 = %2525（蛋 = 雞生的） %2525 = %252525 （雞生的 = 蛋生的雞再生的蛋） ~~~ 雞 = 蛋生的 蛋 = 雞生的 雞 = 蛋生的 蛋 = 雞生的 ... 雞 = 雞生的 = 蛋生的 蛋 = 雞生的 = 蛋生的 雞 = 蛋 ~~~ ---- last update: 2020-12-06 22:45:33