Ollama 是一款免费的开源工具，可以在个人计算机上运行各种大型语言模型，例如 Llama 3，甚至是那些功能有限的计算机。 它利用 llama.cpp，这是一个开源库，可以以最少的硬件需求优化本地计算机上的 LLM 性能。 Ollama 还具有一种包管理器，可以通过单个命令简化快速高效地下载和激活 LLM 的过程。
用 Ollama 一步步在本地毁掉 Llama 3
首先，第一步是 安装奥拉马，兼容三大操作系统，目前Windows版本 预览。
骆驼3：关于 Meta 最新法学硕士您需要了解的一切
安装后，只需打开终端即可。 激活 Ollama 的命令在所有支持的平台上都是一致的。
请等待几分钟的时间来下载和加载模型，然后您就可以开始与其交互！
奥拉马 API
如果您正在考虑将 Ollama 合并到您的项目中，它提供了自己的 API 以及与 OpenAI 兼容的 API。 这些 API 有助于将本地存储的 LLM 自动加载到内存中，执行推理，然后在指定时间后将其卸载。
不过，您必须先通过命令行下载您想要使用的模型，然后才能通过 API 操作模型。
Ollama 还提供专用 API，包括 几个SDK 专门针对 Javascript 和 Python。 对于使用 API 的基本文本生成任务，只需将模型参数调整为所需的模型即可。 详细说明请参考官方API 文档。
卷曲 http://localhost:11434/api/generate -d ‘{
“模型”：“美洲驼”，
《提示》：《什么是人工智能？》
}’
以下是使用 API 执行聊天生成推理的方法。
卷曲 http://localhost:11434/api/chat -d ‘{
“模型”：“美洲驼”，
“消息”： [
{ “role”: “user”, “content”: “what is artificial intelligence?” }
]
}’
如何使用 WebUI 设置 Ollama？
首先下载并安装 Docker 桌面 在您的计算机上建立一个稳定的环境来运行容器化应用程序。 安装后，打开终端并执行以下命令以从 Docker Hub 提取最新的 Ollama 镜像：
docker 运行 -d
–名字奥拉马
-p 11434:11434
-v ollama_volume:/root/.ollama
乌拉马/乌拉马：最新
此命令检索 Ollama 映像的最新版本，其中包含操作模型所需的所有必要库和依赖项：
- 码头运行：这将启动新 Docker 容器的创建和启动。
- -d：启用分离模式，允许容器在终端后台运行。
- –名字奥拉马：为容器分配名称“ollama”，这简化了将来通过 Docker 命令对其进行的引用。
- -p 11434:11434：将容器上的11434端口映射到主机系统上的11434端口，方便通过指定的主机系统端口与容器内的应用程序进行交互。
- -v ollama_volume:/root/.ollama：将名为“ollama_volume”的卷附加到容器内的 /root/.ollama 以进行持久存储，确保数据在容器重新启动和重新创建时保持完整。 如果“ollama_volume”尚不存在，Docker 将自动创建它。
- 乌拉马/乌拉马：最新：指定容器映像，使用来自 Docker 注册表（例如 Docker Hub）的“ollama/ollama”映像的“最新”版本。
接下来，要释放该功能，请在终端中输入以下命令：
$ 码头工人 PS
aa492e7068d7 ollama/ollama:latest “/bin/ollamaserve” 9 秒前 向上 8 秒 0.0.0.0:11434->11434/tcp ollama
$卷曲本地主机：11434
奥拉玛正在奔跑
继续克隆 Ollama WebUI 的官方存储库：
git 克隆 https://github.com/ollama-webui/ollama-webui
cd ollama-webui
接下来，打开Compose文件查看YAML配置：
版本：’3.6′
服务：
乌拉马：
卷：
– ollama:/root/.ollama
# 取消下面的注释以将 Ollama API 暴露在容器堆栈之外
# 端口：
# – 11434:11434
容器名称：ollama
pull_policy：始终
蒂：正确
重新启动：除非停止
图片：ollama/ollama：最新
ollama-webui：
建造：
语境： 。
参数：
OLLAMA_API_BASE_URL: ‘/ollama/api’
dockerfile: Dockerfile
图片：ollama-webui：最新
容器名称：ollama-webui
依赖于取决于：
– 乌拉马
端口：
– 3000:8080
环境：
– “OLLAMA_API_BASE_URL=http://ollama:11434/api”
额外主机：
– host.docker.internal:主机网关
重新启动：除非停止
卷：
乌拉马：{}
在继续执行后续步骤之前，请确保使用以下方法停止 Ollama Docker 容器：
导航到 Docker 仪表板，然后点击容器，然后点击 WebUI 端口。
现在，您只需两分钟即可成功设置 Ollama 及其 WebUI，避免了复杂的 Pod 部署过程。 通过此设置，您可以通过 WebUI 访问各种特性和功能。 让 Ollama 生成各种创意文本输出，例如诗歌、代码、脚本、音乐作品、电子邮件和信件。 您还可以使用它轻松翻译不同语言之间的文本或获得编码帮助和建议。
特色图片来源： 元
