- 主题:颗粒度大力出奇迹：chatgpt和sora的简单原理
哈哈，大王最后一句太优秀了…
【 在 Barbarossa 的大作中提到: 】
: 统统下岗，吃土，喝西北风。不过六六除外
--
FROM 111.197.233.*
嗯，现在应该还比较粗糙，
可是既然发展起来了，未来肯定大势所趋了
就像电脑技术，开始辣么笨拙，
后来人人都会一点，彻底取代了打字机～
【 在 boulderii 的大作中提到: 】
: 号称扔进去一本小说
: 出来一部电影？
: 评论说现在还没达到那种程度，
: ...................
--
FROM 111.197.233.*
简中互联网世界的语料就是个笑话
【 在 Barbarossa 的大作中提到: 】
: Chatgpt基于大语言模型llm的基本单位token，也就是文本程序代码数字，这种基本构件块就是chatgpt底层颗粒，对它进行大规模训练后，就能生成chatgpt产生的结果结果。
: Sora的工作原理完全一样，只是它基于的颗粒是一个个小的图像块，是由各种视频和图像拆解生成的。对这些颗粒进行大规模训练后，就能生成出sora产出的东西。由此可见，从语料的角度看，chatgpt和sora没有什么不同。
: 其次，从算法角度看，chatgpt和sora都是通过一种条件扩散算法diffusion transformer来实现训练。预训练前也进行降维压缩，和深度学习原理一样。训练后得到原始像素空间，用来生成各种视频。
: ...................
--
FROM 111.167.211.*
够了
【 在 shuang99 的大作中提到: 】
: 我都只了解皮毛
: 发自「今日水木 on iPhone 13 Pro」
--
FROM 61.146.44.*
还行
【 在 s111111 的大作中提到: 】
: 哈哈，大王最后一句太优秀了…
:
--
FROM 61.146.44.*
大佬所言极是
【 在 qtpr 的大作中提到: 】
: 简中互联网世界的语料就是个笑话
:
--
FROM 61.146.44.*
感觉吹牛了
只了解一点点毛尖尖
【 在 Barbarossa 的大作中提到: 】
: 够了
: --
: 方离柳坞，乍出花房。但行处鸟惊庭树，将到时影度回廊。仙袂乍飘兮，闻麝兰之馥郁；荷衣欲动兮，听环佩之铿锵。靥笑春桃兮，云髻堆翠；唇绽樱颗兮，榴齿含香。盻纤腰之楚楚兮，风回雪舞；耀珠翠之的的兮，鸭绿鹅黄。出没花间兮，宜嗔宜喜；徘徊池上兮，若飞若扬。蛾眉欲颦兮，将言而未语；莲步
: ..................
发自「今日水木 on iPhone 13 Pro」
--
FROM 114.254.0.*
没那么高深
【 在 shuang99 的大作中提到: 】
: 感觉吹牛了
: 只了解一点点毛尖尖
: 发自「今日水木 on iPhone 13 Pro」
--
FROM 61.146.44.*
从“其次”开始，就错了
【 在 Barbarossa 的大作中提到: 】
: Chatgpt基于大语言模型llm的基本单位token，也就是文本程序代码数字，这种基本构件块就是chatgpt底层颗粒，对它进行大规模训练后，就能生成chatgpt产生的结果结果。
: Sora的工作原理完全一样，只是它基于的颗粒是一个个小的图像块，是由各种视频和图像拆解生成的。对这些颗粒进行大规模训练后，就能生成出sora产出的东西。由此可见，从语料的角度看，chatgpt和sora没有什么不同。
: 其次，从算法角度看，chatgpt和sora都是通过一种条件扩散算法diffusion transformer来实现训练。预训练前也进行降维压缩，和深度学习原理一样。训练后得到原始像素空间，用来生成各种视频。
: ...................
--
FROM 114.251.196.*
“我国ai失败的原因很简单，数据不够海量，规模和openai没法比”
这个reason也找的不对，sora的训练数据90%以上大概率是合成的（参考dall-e 3），模型参数、高质量数据、充足的pretrain token、以及充分的训练（gflops）都很重要
【 在 Barbarossa 的大作中提到: 】
: Chatgpt基于大语言模型llm的基本单位token，也就是文本程序代码数字，这种基本构件块就是chatgpt底层颗粒，对它进行大规模训练后，就能生成chatgpt产生的结果结果。
: Sora的工作原理完全一样，只是它基于的颗粒是一个个小的图像块，是由各种视频和图像拆解生成的。对这些颗粒进行大规模训练后，就能生成出sora产出的东西。由此可见，从语料的角度看，chatgpt和sora没有什么不同。
: 其次，从算法角度看，chatgpt和sora都是通过一种条件扩散算法diffusion transformer来实现训练。预训练前也进行降维压缩，和深度学习原理一样。训练后得到原始像素空间，用来生成各种视频。
: ...................
--
FROM 114.251.196.*