AI 实战教程
用 Ollama 本地运行大模型
这份教程的目标不是追求最大模型，而是先完成“安装工具、选择小模型、发出第一条消息”的最小闭环。
适合谁
先确认这个教程适合你
- 想在 Mac 或 Windows 上体验本地模型的人
- 关注隐私或离线使用的人
- 准备做本地知识库原型的独立开发者
你需要准备什么
开始前的最小准备
- 确认操作系统和剩余磁盘空间，模型文件通常需要额外存储。
- 了解设备内存。内存越有限，越应该从参数更小、量化程度更高的模型开始。
- 接受本地效果和速度可能不如成熟云端产品，第一步只验证能否稳定运行。
步骤结构
按顺序跑通最小闭环
工具界面和命令可能更新。涉及安装与模型名称时，以当前官方文档为准。
- 01
安装 Ollama
进入 Ollama 官方网站，选择对应操作系统的安装方式。安装入口和系统要求可能更新，应以官方文档为准。
- 02
选择一个小模型
先看官方模型库中的大小、语言说明和设备要求。第一次不要盲目下载最大模型，先跑通再比较效果。
- 03
运行模型
基础思路是使用 `ollama run <model-name>` 启动模型。模型名称请从当前官方模型库复制，不要依赖过时教程。
下载时间取决于模型大小和网络。运行前先确认磁盘空间。 - 04
测试是否成功
先问一个短问题，再测试一段中文总结。能稳定返回内容，就完成了第一个本地闭环。
- 05
记录设备与模型表现
记录首字等待时间、回答速度、中文效果和内存占用，为下一次选型留下依据。
常见问题
第一次跑不通时先检查这些
速度很慢
换更小的模型、减少上下文长度，并关闭占用大量内存的其他应用。
模型太大
删除暂时不用的模型，优先选择更小或更高量化版本。
中文效果一般
比较模型说明和社区评测，用自己的真实问题测试，不只看英文榜单。
端口占用
先确认是否已有 Ollama 或其他本地服务运行，再按官方排错文档调整。
下一步可以做什么
把教程连接到真实项目
完成教程不等于项目成立。接下来用真实资料、真实用户和明确指标继续验证。
完成标准
你能复述流程、保存测试结果，并指出下一次要改进的一个问题，就已经完成第一版。