当前,所有流行的LLM服务提供商都使用JSONL文件进行微调,该文件描述了模型的输入和输出,例如Gemini,OpenAI,格式略有不同。
在下载了专门成立的JSONL文件后,开始指定数据集上LLM模型的专业化过程开始,对于所有当前众所周知的LLM提供商,这项服务已支付。
对于使用Ollama在本地计算机上进行微调,我建议依靠YouTube频道技术的详细视频,并以最简单的方式微调LLM,并与Alloma一起使用Alloma:
https://www.youtube.com/watch?v=pTaSDVz0gok
jupyter笔记本电脑的一个示例,并从所有电报消息的导出中准备JSONL数据集并启动本地微调过程:
https://github.com/demensdeum/llm-train-example