Ollama 是一个开源框架，旨在简化在本地运行大型语言模型 (LLMs) 的过程。它提供了一种简便的方式来下载、管理和运行各种开源 LLMs，让开发者和爱好者能够在自己的机器上体验 LLMs 的强大功能，而无需依赖云端 API。

本地运行： Ollama 的核心优势在于其能够让用户在本地硬件上运行 LLMs，这意味着：

• 隐私保护： 数据不会被发送到第三方服务器，确保了用户数据的隐私安全。
• 低延迟： 本地运行可以消除网络延迟，提供更快的响应速度。
• 离线访问： 即使没有互联网连接，也可以使用已下载的 LLMs。
• 成本控制： 避免了使用云端 API 的费用。

模型管理： Ollama 提供了一个方便的 CLI 工具，可以轻松下载、安装、管理和运行 LLMs。 用户可以从 Ollama 提供的模型库中选择模型，也可以导入其他兼容的模型。

易于使用： Ollama 提供了简洁的命令行界面和 API，使得用户能够轻松地与 LLMs 进行交互。即使是没有深度机器学习背景的用户，也可以快速上手。

支持多种模型： Ollama 支持各种各样的 LLMs，包括：

• Llama 2 系列： Meta 开源的 LLMs，有各种不同参数规模的版本。
• Mistral 系列： Mistral AI 开发的 LLMs，以其性能和效率而闻名。
• Gemma 系列： Google 开源的 LLMs，性能出色。
• 其他模型： 包括 Code Llama、Vicuna、Phi-2 等众多开源模型。

模型定制： 用户可以通过编写 Modelfile 文件来定制模型的行为，包括：

• 系统提示： 设置模型的初始提示，定义其行为和角色。
• 参数调整： 调整模型的超参数，如 temperature、top_p 等，以控制生成文本的创造性和多样性。
• 插件集成： 支持通过插件扩展模型的功能，例如联网、访问文件等。

API 接口： Ollama 提供 RESTful API，方便用户将 LLMs 集成到自己的应用程序中。 API 接口支持：

• 文本生成： 接收用户输入文本，生成相应的回复。
• 聊天： 构建对话式交互体验。
• 嵌入向量： 生成文本的嵌入向量，用于语义搜索、相似度匹配等任务。
• 模型信息： 获取已下载模型的信息。

跨平台支持： Ollama 支持多种操作系统，包括 macOS、Linux 和 Windows。

Ollama 的工作原理可以概括为以下几个步骤：

• 模型下载： 用户通过 Ollama CLI 从模型库下载 LLM 模型文件。这些文件包含了模型的权重和配置信息。
• 模型加载： Ollama 将下载的模型加载到用户的本地硬件上。 这通常涉及到将模型文件读入内存，并根据硬件配置进行优化。
• 推理引擎： Ollama 使用底层的推理引擎（例如，llama.cpp）来执行模型的推理任务。 推理引擎负责接收用户输入，根据模型的参数生成预测结果。
• 文本生成/交互： 用户通过 CLI 或 API 向模型发送输入文本。 模型根据输入文本和上下文生成回复，并通过 CLI 或 API 将结果返回给用户。
• 模型管理： Ollama 负责管理本地已下载的模型，包括模型的安装、卸载、更新等。

官网

源代码