- 主题:字节跳动用AI减少3成Linux内核内存用量,降低12%网络延迟
字节跳动介绍使用AI优化Linux内核成果
2023年11月23日 12:27 ZOL中关村在线
近日,据zdnet报道,字节跳动在Linux Plumbers Conference上展示了利用AI优化Linux内核的成果。他们声称使用了贝叶斯优化等机器学习算法,成功将Linux内核的内存使用量降低了30%,同时在NGINX服务器上的HTTP网络延迟也减少了12%。
他们还表示,基于AI的Linux内核优化可以帮助平衡CPU使用率,更有效地利用缓存,并检测内核中存在的各种漏洞。
然而,尽管取得了显著进展,但字节跳动相关团队同时也指出,在当前阶段机器学习和AI还没有达到万能的程度。他们预计需要一段时间才能取代Linux内核工程师。
===========================
这是啥原理?就来回配置下内核参数?还是自己写内核代码?
--
FROM 43.198.116.*
能这么大比例的优化,猜测是用ai 统计了应用场景与内存分配的关联,通过特殊接口或特定关联,做了某种标记,可以提前释放内存,降低使用量,加快流转。并且针对内存申请,做了优化,减少频次,并优化sendfile. 一类的方法,增大缓冲命中率,减少io。
【 在 gpmn 的大作中提到: 】
:
: 字节跳动介绍使用AI优化Linux内核成果
: 2023年11月23日 12:27 Z7OL中关村在线
: 近日,据zdnet报道,字节跳动在Linux Plumbers Conference上展示了利用AI优化Linux内核的成果。他们声减称使用了贝叶斯优化等机器学习算法,成功将Linux内核的内存使用量降低了30%,同时在NGINX服务器上的HTTP网络延迟也减少了12%。
:
#发自zSMTH@如有雷同 纯属巧合
--
FROM 123.122.161.*
有可能就是回归,比如100台机器用A组参数,另100台用B组参数,另一100台用C组参数……,依此类推。
根据结果不停地优化参数,目标为不掉包,延迟小,吞吐高。
--
FROM 61.149.219.*
内核是啥?
【 在 gpmn 的大作中提到: 】
: 字节跳动介绍使用AI优化Linux内核成果
: 2023年11月23日 12:27 ZOL中关村在线
: 近日,据zdnet报道,字节跳动在Linux Plumbers Conference上展示了利用AI优化Linux内核的成果。他们声称使用了贝叶斯优化等机器学习算法,成功将Linux内核的内存使用量降低了30%,同时在NGINX服务器上的HTTP网络延迟也减少了12%。
: ...................
--
FROM 114.246.97.*
感觉这个猜测很好。
【 在 newre 的大作中提到: 】
: 能这么大比例的优化,猜测是用ai 统计了应用场景与内存分配的关联,通过特殊接口或特定关联,做了某种标记,可以提前释放内存,降低使用量,加快流转。并且针对内存申请,做了优化,减少频次,并优化sendfile. 一类的方法,增大缓冲命中率,减少io。
: #发自zSMTH@如有雷同 纯属巧合
--
FROM 112.47.70.*
稍微懂点的都知道,程序优化有好多方法,因目标不同而使用。是以减少内存消耗为目标,还是以最佳速度为目标,会有不同结果。那这个文到底是在保证速度的前提下,还是单纯以解约内存的前提下做的?别胡乱挂幌子。AI这种东西与内存优化或者编译优化天然就是矛盾的。驴唇不对马嘴。
【 在 gpmn 的大作中提到: 】
: 字节跳动介绍使用AI优化Linux内核成果
: 2023年11月23日 12:27 ZOL中关村在线
: 近日,据zdnet报道,字节跳动在Linux Plumbers Conference上展示了利用AI优化Linux内核的成果。他们声称使用了贝叶斯优化等机器学习算法,成功将Linux内核的内存使用量降低了30%,同时在NGINX服务器上的HTTP网络延迟也减少了12%。
: ...................
--
FROM 114.246.97.*
这个真不一定。ai技术可以统计分析场景,针对实际场景的优化,与编译优化并不矛盾
【 在 cut188 的大作中提到: 】
:
: 稍微懂点的都知道,程序优化有好多方法,因目标不同而使用。是以减少内存消耗为目标,还是以最佳速度为目标,会有不同结果。那这个文到底是在保证速度的前提下,还是单纯以解约内存的前提下做的?别胡乱挂幌子。AI这种东西与内存优化或者编译优化天然就是矛盾的。驴唇不对马嘴。
: 【 在 gpmn 的大作中提到: 】
: : 字节跳动介绍使用AI优化Linux内核成果
: : 2023年11月23日 12:27 ZOL中关村在线
#发自zSMTH@如有雷同 纯属巧合
--
FROM 123.122.161.*