- 主题:著名大模型中用到的一个位置编码是一个国内二流学校硕士提出的
ROFORMER: ENHANCED TRANSFORMER WITH ROTARY
POSITION EMBEDDING
Jianlin Su
Zhuiyi Technology Co., Ltd.
Shenzhen
bojonesu@wezhuiyi.com
Yu Lu
Zhuiyi Technology Co., Ltd.
Shenzhen
julianlu@wezhuiyi.com
Shengfeng Pan
Zhuiyi Technology Co., Ltd.
Shenzhen
nickpan@wezhuiyi.com
Ahmed Murtadha
Zhuiyi Technology Co., Ltd.
Shenzhen
mengjiayi@wezhuiyi.com
Bo Wen
Zhuiyi Technology Co., Ltd.
Shenzhen
brucewen@wezhuiyi.com
Yunfeng Liu
Zhuiyi Technology Co., Ltd.
Shenzhen
glenliu@wezhuiyi.com
这6个作者，都是深圳追一科技公司的，属于工业界。这6个人是正规军，老手，不是业余的，不是大学生，不是青椒刷水论文，找几个二流学生就能搞的。
再看文献链接，是开源社区代码，说明他们就是搞了一个开源组件开发，所以能被大公司用就很合理了。就好像互联网码农，经常在apache开源社区发布一些自己的组件，也是贡献成就。阿里华为都常宣传。
总结一下，这是个开源代码贡献，工业界的，工程成果，是公司真金白银发工资用了6个人开发出来的产品组件，所以能够被开源社区采纳，被谷歌大公司用，并不稀奇。
这并不是高校随便几个大学生写了个毕业项目论文的玩具项目，而是真正的工业产品。
从纯学术研究角度来说，这篇论文的影响可能并没有那么大。
类似于贾扬清的caffe，影响力大，但是学术价值并不高。
【 在 Daxiaoxiao 的大作中提到: 】
: 有些就是这个方向吃第一口螃蟹，问题并不难，常人思维就能做出来的，你后面的人再来做就绕不过去了他的结果。
: 这种题目我最喜欢了
--
修改:angusta FROM 223.167.12.*
FROM 223.167.12.*
ROFORMER: ENHANCED TRANSFORMER WITH ROTARY
POSITION EMBEDDING
Jianlin Su
Zhuiyi Technology Co., Ltd.
Shenzhen
bojonesu@wezhuiyi.com
Yu Lu
Zhuiyi Technology Co., Ltd.
Shenzhen
julianlu@wezhuiyi.com
Shengfeng Pan
Zhuiyi Technology Co., Ltd.
Shenzhen
nickpan@wezhuiyi.com
Ahmed Murtadha
Zhuiyi Technology Co., Ltd.
Shenzhen
mengjiayi@wezhuiyi.com
Bo Wen
Zhuiyi Technology Co., Ltd.
Shenzhen
brucewen@wezhuiyi.com
Yunfeng Liu
Zhuiyi Technology Co., Ltd.
Shenzhen
glenliu@wezhuiyi.com
这6个作者，都是深圳追一科技公司的，属于工业界。这6个人是正规军，老手，不是业余的，不是大学生，不是青椒刷水论文，找几个二流学生就能搞的。
再看文献链接，是开源社区代码，说明他们就是搞了一个开源组件开发，所以能被大公司用就很合理了。就好像互联网码农，经常在apache开源社区发布一些自己的组件，也是贡献成就。阿里华为都常宣传。
总结一下，这是个开源代码贡献，工业界的，工程成果，是公司真金白银发工资用了6个人开发出来的产品组件，所以能够被开源社区采纳，被谷歌大公司用，并不稀奇。
这并不是高校随便几个大学生写了个毕业项目论文的玩具项目，而是真正的工业产品。
从纯学术研究角度来说，这篇论文的影响可能并没有那么大。
类似于贾扬清的caffe，影响力大，但是学术价值并不高。
【 在 chenyufine 的大作中提到: 】
: 大概看了一眼
: 首先得赞作者付出的辛苦劳动
: 但是，以国内这帮学阀的眼光，在他们眼里估计也就是核心水平 啧啧
: ...................
--
FROM 223.167.12.*
厉害
但是您如果经常看本版 就知道了现在啥风气
【 在 angusta 的大作中提到: 】
: ROFORMER: ENHANCED TRANSFORMER WITH ROTARY
: POSITION EMBEDDING
:
: ...................
--
FROM 117.133.134.*
检查过了，是个公司在开源社区发布的产品组件。学术价值不大，工业界有代码贡献而已。
【 在 zfbdcyj 的大作中提到: 】
: 那不更完了？连篇文章都不算。
--
FROM 223.167.12.*
你能笑掉大牙 你知道啥叫开源组件吗？
【 在 angusta 的大作中提到: 】
: ROFORMER: ENHANCED TRANSFORMER WITH ROTARY
: POSITION EMBEDDING
:
: ...................
--
FROM 101.206.167.*
你知道他们用的是那一块吗？你真的是啥啥看不懂还要装一个。。搜了下你青椒班发言。。
【 在 angusta 的大作中提到: 】
: ROFORMER: ENHANCED TRANSFORMER WITH ROTARY
: POSITION EMBEDDING
:
: ...................
--
FROM 101.206.167.*
他们不是第一波，位置编码从深度学习一开始那几年就提出来了，不是2021年。
他们只是做出开源组件，能实用的一个东西。而且也只是系统里一个很小的模块。
就跟阿里和华为的码农，在apache和linux社区提出一些组件和补丁一样。
也不一定是最优解，过几年可能系统还会迭代，到时候会换其他的也说不定。
【 在 Daxiaoxiao 的大作中提到: 】
: 对啊，你说的没错。他们就是第一波做这个，刚好碰上这个问题了，解决方案也不难，估计就是最优解了，后面的人自然用这个结果了
--
FROM 223.167.12.*
检查过了，是个公司在开源社区发布的产品组件。学术价值不大，工业界有代码贡献而已。
【 在 redaiyu 的大作中提到: 】
: 真的牛人，不需要这些虚无的标签，有货没货拉出来走走
:
--
FROM 223.167.12.*
检查过了，是个公司在开源社区发布的产品组件。学术价值不大，工业界有代码贡献而已。
【 在 stoneyang 的大作中提到: 】
: 发下链接
--
FROM 223.167.12.*
检查过了，是个公司在开源社区发布的产品组件。学术价值不大，工业界有代码贡献而已。
【 在 zfbdcyj 的大作中提到: 】
: 对啊。过不了考核，另一个发了影响力极小的顶刊文章的过了。他一怒之下回国外了，现在在美国某校当副教授。
:
--
FROM 223.167.12.*