ROFORMER: ENHANCED TRANSFORMER WITH ROTARY
POSITION EMBEDDING
Jianlin Su
Zhuiyi Technology Co., Ltd.
Shenzhen
bojonesu@wezhuiyi.com
Yu Lu
Zhuiyi Technology Co., Ltd.
Shenzhen
julianlu@wezhuiyi.com
Shengfeng Pan
Zhuiyi Technology Co., Ltd.
Shenzhen
nickpan@wezhuiyi.com
Ahmed Murtadha
Zhuiyi Technology Co., Ltd.
Shenzhen
mengjiayi@wezhuiyi.com
Bo Wen
Zhuiyi Technology Co., Ltd.
Shenzhen
brucewen@wezhuiyi.com
Yunfeng Liu
Zhuiyi Technology Co., Ltd.
Shenzhen
glenliu@wezhuiyi.com
你真是外行一个。你看这6个作者，都是深圳追一科技公司的，属于工业界。这6个人是正规军，老手，不是业余的，不是大学生，不是青椒刷水论文，找几个二流学生就能搞的。
再看文献链接，是开源社区代码，说明他们就是搞了一个开源组件开发，所以能被大公司用就很合理了。就好像互联网码农，经常在apache开源社区发布一些自己的组件，也是贡献成就。阿里华为都常宣传。
总结一下，这是个开源代码贡献，工业界的，工程成果，是公司真金白银发工资用了6个人开发出来的产品组件，所以能够被开源社区采纳，被谷歌大公司用，并不稀奇。
这并不是高校随便几个大学生写了个毕业项目论文的玩具项目，而是真正的工业产品。
从纯学术研究角度来说，这篇论文的影响可能并没有那么大。
类似于贾扬清的caffe，影响力大，但是学术价值并不高。
【 在 hsing 的大作中提到: 】
:
https://arxiv.org/pdf/2104.09864.pdf: 读读吧，思想很简单，效果很好用
--
修改:angusta FROM 223.167.12.*
FROM 223.167.12.*