OpenAI 开发了一种名为 CriticGPT 的模型，该模型基于 GPT-4，用于帮助发现 ChatGPT 生成代码中的错误。CriticGPT 会对 ChatGPT 的回答进行批评，指出其中的错误，这样可以帮助人工训练师更有效地发现问题，并在从人类反馈中进行强化学习（RLHF）时提高准确性。通过将 CriticGPT 整合到 RLHF 标注流程中，可以增强 AI 生成的批评的准确性和全面性，从而改进 ChatGPT 的整体表现和对齐度。 人类评估的局限性：当前的LLM模型如ChatGPT等，在生成…