Ollama 是一个专为在本地设备上简化大语言模型LLM部署与运行而设计的开源框架。其核心工作原理可以概括为客户端-服务端C/S架构并结合了高效的模型管理和推理技术。️ 核心架构Ollama 的整体架构由三个主要部分组成客户端 (Client)用户与 Ollama 交互的入口通常是通过命令行CLI。当你输入ollamarun 模型名等指令时就是通过客户端发起的。服务端 (Server)在后台运行的常驻进程默认为ollama serve负责处理所有客户端请求。它主要包含两个核心组件ollama-http-server一个 HTTP 服务器负责接收来自客户端的 API 请求如/api/generate,/api/chat并协调处理流程。llama.cpp底层的 C 推理引擎由服务端调用专门负责加载模型文件并执行实际的计算推理任务。通信协议客户端与服务端之间、以及服务端的 HTTP 服务器与llama.cpp推理引擎之间都通过 HTTP 协议进行通信确保了模块间的解耦和跨平台能力。⚙️ 工作流程以执行ollama run llama3命令为例其完整的工作流程如下模型准备客户端向服务端发起请求检查本地是否已存在名为llama3的模型。如果模型不存在服务端会自动从官方模型库如registry.ollama.ai下载模型文件。模型文件包括元数据manifests和实际权重数据blobs被存储在本地默认路径为$HOME/.ollama。交互推理模型加载后客户端会通过/api/chat或/api/generate等接口向服务端发送你的对话请求。服务端的ollama-http-server收到请求后会调用llama.cpp引擎也通过HTTP协议。llama.cpp加载模型对你的输入进行分词、计算并生成回复的 token 序列。生成的回复会经过服务端返回给客户端并支持流式Streaming输出让你能像看打字机效果一样实时看到回答的生成过程。 关键技术Ollama 之所以能高效地在本地运行大模型依赖于以下几项关键技术llama.cpp推理引擎这是一个高度优化的 C 库支持 CPU 和 GPU 加速如 CUDA、AVX 指令集并能利用 KV 缓存等技术提升推理速度。GGUF 模型格式这是llama.cpp社区定义的模型文件格式它将模型权重、分词器、配置元数据等打包在一个文件中便于分发和管理。量化技术Ollama 广泛使用 int8、int4 等低精度量化技术能显著减小模型体积和运行时的内存占用使得在消费级硬件上运行大模型成为可能。Modelfile 机制类似于 Dockerfile用户可以通过一个Modelfile文件来定义和自定义模型例如设置系统提示词、调整温度参数或加载 LoRA 适配器然后通过ollama create命令生成一个定制化的新模型。