[TOC] > [github](https://github.com/Jittor/JittorLLMs) ## JittorLLMs 特點 1. 成本低：相比同類框架，本庫可大幅降低硬件配置要求（減少80%），沒有顯卡，2G內存就能跑大模型，人人皆可在普通機器上，實現大模型本地部署；是目前已知的部署成本最低的大模型庫； 2. 支持廣：目前支持了大模型包括：[ChatGLM大模型](https://github.com/THUDM/ChatGLM-6B)； 鵬程[盤古大模型](https://openi.org.cn/pangu/)； BlinkDL的[ChatRWKV](https://github.com/BlinkDL/ChatRWKV)； Meta的[LLaMA/LLaMA2大模型](https://github.com/facebookresearch/llama)； MOSS大模型；[Atom7B大模型](https://huggingface.co/FlagAlpha/Atom-7B)后續還將支持更多國內優秀的大模型，統一運行環境配置，降低大模型用戶的使用門檻。 3. 可移植：用戶不需要修改任何代碼，只需要安裝Jittor版torch(JTorch)，即可實現模型的遷移，以便于適配各類異構計算設備和環境。 4. 速度快：大模型加載速度慢，Jittor框架通過零拷貝技術，大模型加載開銷降低40%，同時，通過元算子自動編譯優化，計算性能相比同類框架提升20%以上。 配置要求 * 內存要求：至少2G，推薦32G * 顯存：可選， 推薦16G * 操作系統：支持Windows，Mac，Linux全平臺。 * 磁盤空間：至少40GB空閑磁盤空間，用于下載參數和存儲交換文件。 * Python版本要求至少`3.8`（Linux的Python版本至少`3.7`）。 ## 安裝 ``` # 國內使用 gitlink clone git clone https://gitlink.org.cn/jittor/JittorLLMs.git --depth 1 # github: git clone https://github.com/Jittor/JittorLLMs.git --depth 1 cd JittorLLMs # -i 指定用jittor的源， -I 強制重裝Jittor版torch pip install -r requirements.txt -i https://pypi.jittor.org/simple -I ``` ## 運行 **設置緩存** ``` export JITTOR_HOME=. ``` **自定下載大模型并運行** ``` //cli python cli_demo.py [chatglm|pangualpha|llama|chatrwkv|llama2|atom7b] // web python api.py chatglm ``` **設置要求** ``` export JT_SAVE_MEM=1 # 限制cpu最多使用16G export cpu_mem_limit=16000000000 # 限制device內存（如gpu、tpu等）最多使用8G export device_mem_limit=8000000000 # windows 用戶，請使用powershell # $env:JT_SAVE_MEM="1" # $env:cpu_mem_limit="16000000000" # $env:device_mem_limit="8000000000" ```