- 主题:著名大模型中用到的一个位置编码是一个国内二流学校硕士提出的
21年的文章
好像还是个90后，谷歌和Meta在大模型中都用了他的方法，牛啊！有这么一篇文章在高校的话可以到处吹了吧
--
FROM 171.218.192.*
人家没发期刊呀，光发了预印。
就这Meta Google 的最流行大模型还有其他一些不是那么知名的大模型都用了这一算法就够99%教授摸不到了。。
【 在 zfbdcyj 的大作中提到: 】
: 是不是顶刊？不然有啥可吹的。我们领域，清华的某人发了一篇引用几千次的重量级文章的清华也不认，只认顶刊，最后连位置都保不住，灰溜溜归海了。清华都如此，更别说其他高校了。
:
--
FROM 171.218.192.*
ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
Rotary Position Embedding，RoPE
现在主流大模型都用这个实现位置编码
【 在 stoneyang 的大作中提到: 】
: 发下链接
--
FROM 183.220.108.*
哈哈 导师让Google meta 在大模型中用它吗？
笑掉大牙了
【 在 angusta 的大作中提到: 】
: 不太可能，位置编码这东西至少好几年前就有了。而且文章靠导师的圈子和影响力。
:
: 引用几千次？什么领域啊？感觉真这么牛逼，压根不会在乎顶刊，也不在乎清华教职了吧。
: ...................
--
FROM 183.220.108.*
作为这些公司著名大模型底座的关键技术就够了
你连个大模型里未知编码对于模型性能作用都不了解，说这么一堆有啥用呢。。。
【 在 karaisan 的大作中提到: 】
: 严谨来说，不能因为goole用了它，就证明它的厉害。
: 哪里引用了，用在哪里，是否具有XXX，
: google也引用很多东西啊。这是事实，难道引用的都能算顶尖内容吗？
: ...................
--
修改:hsing FROM 183.220.108.*
FROM 101.206.167.*
笑死了 至少你应该去读读论文 人家硕士毕业在公司做的结果还能推到导师，你咋不说源于他父母这更靠谱
【 在 angusta 的大作中提到: 】
: 谷歌用不代表牛逼啊。谷歌也用清洁工，保安，卫生纸，不代表这些就牛逼啊。
: 如果原创性很高的话，他的导师本身就肯定是牛人，否则二流学校不太可能提出原创性成果。
:
: ...................
--
FROM 101.206.167.*
你真的是个。。。你不还说位置编码么 你连这个做啥都不清楚？
【 在 angusta 的大作中提到: 】
: 这么说吧，打个比方，很多小公司宣传说，自己给世界500强合作，供应产品。
: 其实可能也就是大厦楼下的小卖部咖啡馆而已，你觉得它是个牛逼公司吗？
:
: ...................
--
FROM 183.220.108.*
噗 你这天天扮猪吃老虎。。那点最皮毛的说来说去
【 在 angusta 的大作中提到: 】
: 你说了2021年的论文，位置编码这个原创思想，好几年前就开始搞了。
: 所以2021年的不可能是啥重大创新，谷歌之所以用，是因为用最新版而已。
: 就好像深度学习，一开始hinton，lecun那帮人提出来的cnn，都是比较简单的网络模型，但是人家是原创的思想，指明了这条大路。
: ...................
--
FROM 183.220.108.*
你能笑掉大牙 你知道啥叫开源组件吗？
【 在 angusta 的大作中提到: 】
: ROFORMER: ENHANCED TRANSFORMER WITH ROTARY
: POSITION EMBEDDING
:
: ...................
--
FROM 101.206.167.*