可纳入多种多尺寸多个开源模型，用于训练后评测对比，择优选用。训练数据集的质量是关键，需要由数据工程师指导业务人员标注，并使用GPT4等更优大模型扩展数据集。数据集的格式一般整理为“instruction / input / output”格式。

可使用LoRA/QLoRA/SFT/RLHF等精调方案，建议使用多种，对比实际效果。先使用少量数据测试精调任务，通过后，再跑全量数据。评测指标根据业务场景、需求和目标设定。测试数据应和训练数据分开，可使用训练集中的一定比例如5～20%作为测试数据。测试结果出现大量返回重复字符，需要调整数据集和训练参数重新训练。

尽可能选用小尺寸模型，是降低部署成本的关键。模型部署前可量化压缩优化，降低资源需求的同时，不损失太多性能。注意：开源模型公开的推理算力要求只是能基本跑起来的水平，如用于生产，需要考虑吞吐要求、高可用。