著名大模型中用到的一个位置编码是一个国内二流学校硕士提出的

水木社区手机版

主题:著名大模型中用到的一个位置编码是一个国内二流学校硕士提出的
64楼|aWatermelon|2023-09-15 00:18:45|展开
位置编码早就有了，在bert里就有了，这篇文章的位置编码有什么创新之处？从哪看出来google 用的它的方法？
【在 hsing 的大作中提到: 】
: 21年的文章好像还是个90后，谷歌和Meta在大模型中都用了他的方法，牛啊！有这么一篇文章在高校的话可以到处吹了吧 ...
--
FROM 222.129.132.*
70楼|aWatermelon|2023-09-15 20:24:31|展开
是在huggingface上发布还是给huggingface用啊？要是前者的话没有门槛啊，只是把程序放到上面，我们都放了好几个。要是后者的话，huggingface 主要是提供云平台吧，也用不到什么位置编码呀。
【在 angusta 的大作中提到: 】
:
就是深圳一个公司给huggingface开源社区开发了一个模块被接受了，顺便写了个arxiv文章发布一下。

【在...
--
FROM 222.129.132.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版