llama.cpp提供了各种LLM的处理工具,其中convert_hf_to_gguf.py,就可以帮助我们将safetensors模型转换为gguf格式,其中,模型的大小不会改变,只是格式被修改了:具体可以看官方项目:ggml-org/llama.cpp: LLM inference in C/C++1.克隆官方项目git clone https://github.com/ggerganov/l

- 阅读全文 -