MUSCLE（Model Update Strategy for Compatible LLM Evolution）是由苹果公司开发的一种用于大语言模型（LLMs）更新的训练策略。旨在减少用户在使用更新后的大语言模型时所面临的麻烦。每次模型更新后，用户不需要再重新适应新模型的变化，从而减少了由于模型更新带来的困扰。 该策略的核心是通过训练一个兼容性适配器，使模型在更新后能够尽量保持与旧版本模型的兼容性，从而减少预测结果的不一致性，特别是减少所谓的“负翻转”现象。 MUSCLE通过知识蒸馏的方法，将旧模型…