最新开源模型选择个人推荐(超过40B的建议购买API服务,其他则建议自行int4部署)。
中文 RAG 选择 CommandR+
Agent/FunctionCalling 使用 Llama3-70B 或 CommandR+
中文文案写作用Qwen-72B,语言更Local一些。
特定任务的小参数微调base模型用 Llama3-8B 或 Mistral-7B
大参数微调base 模型用 Yi-34B
代码生成用 Llama3-70B 或 deepseek-coder-33B。
其中 Llama3 是新增的,正在各种测试中。