如果您希望推出像 ChatGPT 这样的东西，并且您有一台相当强大的计算机，例如配备 Nvidia RTX 显卡，那么您可以运行 ollama 项目，该项目将允许您使用现成的 LLM 模型之一您的本地机器，完全免费。 ollama 提供了与 LLM 模型进行通信的能力，以 ChatGPT 的方式进行；在最新版本中，还宣布了读取图像并将输出数据格式化为 json 格式的能力。
我还在配备 Apple M2 处理器的 MacBook 上运行了该项目，并且我知道 AMD 最新型号的显卡受到支持。
要在 macOS 上安装，请访问 ollama 网站：
https://ollama.com/download/mac
单击“下载 macOS 版”，您将下载 ollama-darwin.zip 形式的存档，存档内有 Ollama.app，需要将其复制到“应用程序”。之后，启动 Ollama.app，安装过程很可能会在您第一次启动时发生。之后，在托盘中您可以看到 ollama 图标，该托盘位于时钟旁边的右上角。
之后，启动常规 macOS 终端，然后键入命令来下载、安装并运行任何 ollama 模型。可用模型、描述及其特征的列表可以在 ollama 网站上查看：
https://ollama.com/search
如果启动时不适合您的显卡，请选择参数最少的型号。
例如运行 llama3.1:latest 模型的命令：
ollama run llama3.1:latest
Windows 和 Linux 的安装通常是相似的，在一种情况下，会有一个 ollama 安装程序，并通过 Powershell 进一步使用它。
对于 Linux，安装是使用脚本完成的，但我建议使用特定包管理器的版本。在 Linux 上，还可以通过常规 bash 终端启动 ollama。
来源
https://www.youtube.com/watch?v=Wjrdr0NU4Sk
https://ollama.com
