QLoRA 是一种LLM微调的新技术。
- 12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％
- 4bit训练，但是性能与16bit相当
这个数据有点离谱。。https://twitter.com/Tim_Dettmers/status/1661379354507476994?s=20

via AI News - Telegram Channel