今天是Transformer论文《Attention is All You Need》发布六周年纪念日!

有趣的事实:

⭐️ Transformer并非创造了注意力机制,但它将其推向了极致。首篇关于注意力机制的论文早在3年前(2014年)发表,题目并不引人注目:“通过联合学习对齐和翻译实现神经机器翻译”,出自Yoshua Bengio实验室。该论文结合了RNN和“上下文向量”(即注意力)。很多人可能没有听说过这篇论文,但它是自然语言处理领域最重要的里程碑之一,已经被引用了2.9万次(相比之下,Transformer被引用了7.7万次)。

⭐️ Transformer和最初的注意力论文都没有谈论通用序列计算机。相反,它们都被构想为解决一个狭窄而特定的问题:机器翻译。令人惊讶的是,AGI(即将来的人工智能通用智能)可以追溯到谦逊的谷歌翻译。

⭐️ Transformer于2017年发表在全球顶级人工智能会议NeurIPS上。然而,它甚至没有得到口头报告,更别说奖项了。那一年的NeurIPS有三篇最佳论文,至今总共引用了529次。

-- 更多详情

via chatGPT中文社区 - Telegram Channel
 
 
Back to Top
oaibest.com 2023-2025
[email protected]