ggml-org

llama.cppb12627

在自己电脑上运行大语言模型的推理工具

ggml-org/llama.cppAI 工具其他WindowsLinuxmacOSggml

13.6万

星标

1.7万

总下载量

10

收录版本

6 小时前

页面同步

下载

b12627暂无正式版,仅预发布版2026-11-22 · 7 小时前

为你推荐

llama-b12627-bin-win-vulkan-x64.zip

37.1 MBx64408 次下载SHA256 4e89c02cff…
立即下载

大多数人选这个就对了;不确定电脑是 x64 还是 arm64 时,也优先选它。

Windows 全部文件

cudart-llama-bin-win-cuda-12.4-x64.zip

373 MBx64239 次下载SHA256 8c79a9b226…
下载

cudart-llama-bin-win-cuda-13.5-arm64.zip

266 MBarm6421 次下载SHA256 f89e7b2457…
下载

cudart-llama-bin-win-cuda-13.5-x64.zip

407 MBx64216 次下载SHA256 c2bf4cc202…
下载

llama-b12627-bin-win-cpu-arm64.zip

12.5 MBarm6415 次下载SHA256 2ef3617106…
下载

llama-b12627-bin-win-cpu-x64.zip

23.9 MBx64290 次下载SHA256 323bad725d…
下载

llama-b12627-bin-win-cuda-12.4-x64.zip

341 MBx64344 次下载SHA256 e511b880ee…
下载

llama-b12627-bin-win-cuda-13.5-arm64.zip

203 MBarm6413 次下载SHA256 825f727089…
下载

llama-b12627-bin-win-cuda-13.5-x64.zip

215 MBx64350 次下载SHA256 8f42155f8b…
下载

llama-b12627-bin-win-opencl-adreno-arm64.zip

13.5 MBarm6410 次下载SHA256 f436fedee7…
下载

llama-b12627-bin-win-openvino-2026.4.1-x64.zip

100 MBx647 次下载SHA256 269d085cf5…
下载

llama-b12627-bin-win-rocm-10.0-x64.zip

271 MBx6440 次下载SHA256 f4871a170f…
下载

llama-b12627-bin-win-sycl-x64.zip

165 MBx6421 次下载SHA256 98b2e1920d…
下载

llama-b12627-bin-win-vulkan-arm64.zip

25.3 MBarm6411 次下载SHA256 ed74dd673a…
下载

项目介绍

llama.cpp 是一个用 C/C++ 编写的大语言模型推理工具,作用是把大模型跑在你自己的电脑上。有了它,不必事事依赖云端服务,就能在本地运行大语言模型,做问答、写作等各种尝试,对话内容也留在自己的设备上。

它适合想在本地体验大模型的用户,比如注重隐私、不想把内容发到云端的人,或者喜欢研究模型运行原理的技术爱好者。从本站下载对应系统的版本后,按照项目说明准备好模型文件,即可在本地开始运行。

功能特点

  • 在本地电脑运行大语言模型
  • 用 C/C++ 编写,专注推理性能
  • 无需依赖云端服务即可使用
  • 对话内容留在自己设备上
  • 跨平台可用

使用场景与适合人群

  • 想在自己的电脑上离线运行大模型时
  • 注重隐私,不想把对话内容发到云端时
  • 学习和研究大模型本地推理原理时

维护状态

活跃维护中

距上次发版 7 小时前

开源协议

MIT

宽松协议

可以:商用、修改、分发
需要:保留版权声明

基本信息

开发语言
C++
Forks
2.6万
最新版发布
2026-11-22
项目创建于
2023-03-10

常见问题

llama.cpp 免费吗?

免费开源,遵循 MIT 协议,可免费下载使用。

llama.cpp 支持哪些平台?

llama.cpp 支持 Windows、macOS、Linux 和其他平台,请按你的系统选择对应文件。

怎么从本站下载和使用 llama.cpp?

在本页的版本列表中选择与你的系统对应的文件下载,它是命令行推理工具,下载后还需按项目说明另外准备模型文件,然后在终端中运行。

用 llama.cpp 运行模型需要联网吗?

推理过程在本机进行,模型文件准备好之后即可在本地运行,不需要依赖云端服务。

历史版本共 9 个

b12626预发布2026-11-22 · 38 个文件GitHub 发布页
b12625预发布2026-11-22 · 38 个文件GitHub 发布页
b12624预发布2026-11-22 · 38 个文件GitHub 发布页
b12623预发布2026-11-22 · 38 个文件GitHub 发布页
b12622预发布2026-11-22 · 38 个文件GitHub 发布页
b12621预发布2026-11-22 · 38 个文件GitHub 发布页
b12620预发布2026-11-22 · 38 个文件GitHub 发布页
b12619预发布2026-11-21 · 38 个文件GitHub 发布页
b12618预发布2026-11-21 · 38 个文件GitHub 发布页

相关软件