协程或线程库好写吗？

水木社区手机版

主题:协程或线程库好写吗？
3楼|hgoldfish|2020-06-09 14:35:42|展开
这东东背后需要注意很多小细节。一般人用现成的库就好了。我做的 qtng 应该是 c++ 世界比较完善的协程库，考虑了各种同步，异常，内存管理的情况。

【在 billybear04 (billybear04) 的大作中提到: 】
: https://zhuanlan.zhihu.com/p/146921900
: 很好写啊。请看下例：
: #include <stdio.h>
: ...................
--
FROM 112.47.122.*
14楼|hgoldfish|2020-06-09 21:27:34|展开
文档我正在写。。不过这个 qtng 要花掉我周末，只能慢慢来了。

这个东东被我用在工作里面，反正我自己用得很爽，提高了生产率。开源出来让大家爽爽也很好啊。大多数自由软件的开源应该都是类似的想法吧——我有一个很好玩的玩具，小伙伴们一起来看看。非自由软件的开源有KPI的，才需要付费求别人用。

【在 billybear04 (billybear04) 的大作中提到: 】
: 源你都开了，为啥不多写些文档呢？
: docs/practices.rst
: Best Pratices
: ...................
--
FROM 112.47.122.*
16楼|hgoldfish|2020-06-09 21:34:05|展开
你想太多了啊。不要什么事情都扯到钱上面去。

如果商业公司拿走我的软件不遵循我设定的 LGPL 授权静态链接不杮油或者打上自己的标说是他们做的我当然会很愤怒，但只要有人正常使用就是对我的认同，我会非常高兴的。

你的排版看起来太怪，能不能好好整整。

【在 billybear04 (billybear04) 的大作中提到: 】
: 说句粗话：葱白多少钱一斤？hgoldfish开个donate页面的话，你给捐多少钱？
: 当然我又冒昧了，他可能根本不稀罕钱。
: 我又（有点阴阳怪气了）：如果hgoldfish给我钱，我愿意用，反正我闲着没事，一分钱我也不放过。
: ...................
--
FROM 112.47.122.*
18楼|hgoldfish|2020-06-09 21:42:00|展开
不基于 qt，像 url 处理，unicode 处理什么的就麻烦了，实现个 http client 费劲。

【在 javaboy (喝了咖啡就话多-_-;) 的大作中提到: 】
: hgoldfish做的这个库，我也几次和他交流过。我也认为这个库基于qt有一点点小遗憾。但同时我支持他做这个库。就算最终没有火起来，也不一定是纯浪费时间。
: 我以前也一腔热血做过几个没人用的项目。但我觉得时间并没有白费。都转化成我的知识了。比如C++ boost里面各种花式写法，我自己因为仿照实现过，所以我能看懂（！）并自由自在的地应用。python的各种黑魔法元编程，我也是了如指掌，各种开源库瞄一眼就能看懂原理。
: 所以hgoldfish在做的事情，我觉得是很好的。而且一定会有收获。
: ...................
--
FROM 112.47.122.*
19楼|hgoldfish|2020-06-09 21:47:29|展开
怎么可能。。我这个项目基于 qt 这一条，恐怕大多数人都不会满意。“qt 不是做界面，怎么拿来写网络程序，什么鬼”，估计都是这样的想法。

事实上我只用了 qtcore 和 qtnetwork 两个部分。可以跑在服务端里面。

话说，我很希望有人借鉴我的 api，搞个基于 stl 的协程网络库出来。

【在 billybear04 (billybear04) 的大作中提到: 】
: 有没有考虑过改为加入云风的项目？
--
修改:hgoldfish FROM 112.47.122.*
FROM 112.47.122.*
21楼|hgoldfish|2020-06-09 22:00:25|展开
问题是我写的是 C++ 库，c# 更方便也没什么用对吧。c# 和 mfc 这俩都是 windows 的，没法跑在服务器里面，我还把我这个库用在 android 里面. 何况 mfc 我也不记得有什么方便的 URL/UNICODE 处理。

我主业是 java 和 python，在 python 里面，一个 gevent.monkey_patch 一句话就搞定我写的这三万行代码，你说我冤不冤——其实我就是 python 用爽了，有一天用了 c++ 差点被恶心死才搞的这个。用 c#，我还不如用回我的 java 和 python 呢。

https 我还真撸了，链接 libressl 搞定，很简单。我最近正在研究 quic，哪天再链接一下 libquic，又搞定。协程库的核心是协程与事件循环，剩下的网络协议部分最好不要自己实现，其中很多细节都是业界十几年积累出来的，搞错一点点就是安全问题。

不要看 qtng 使用了 qtcore 的那些数据结构，其实底层的事件循环就是 libev. qtng 和 nginx 这种不是竞争的。有些场景，比如你需要在服务器弄个 c++ 的数据计算程序，同时让客户端获取计算结果，就可以应用 qtng 启动一个免配置的 http 服务器提供 API.

【在 billybear04 (billybear04) 的大作中提到: 】
: 标题: Re: 协程或线程库好写吗？
: 发信站: 水木社区 (Tue Jun 9 21:59:20 2020), 站内
:
: MFC, C#等处理url和unicode肯定是极其方便的。各种HTTP Client/Server我用C也撸过，到了https就撸不动了。万一QUIC真成了呢？还得再撸。
:
: 服务器端，nginx既是负载均衡又是web服务器。追求性能可以用C给它写扩展，我试过一点。我还可以用libevent, libev, 都很小。不追求性能Java的、Apache+PHP……实在太多。现在又docker, mesh server……
:
: 我认为你这个项目的精华在于“c++ 世界比较完善的协程库，考虑了各种同步，异常，内存管理的情况”。云风的星星比你多，他现在好像不做了(4 year ago)，如果你们能够结合起来不好吗。
:
: “用C++再写个HTTP Server”，lighttpd呢？Enovy呢？后者不知道算不算，需求可能就不存在啊。
: --
: 谁能想到一头整天游手好闲的青年绿龙，竟然会沉溺于阅读，他几乎什么都看，无论是诙谐的小说还是慷慨激昂的史诗，连晦涩的宗教典籍都能耐着性子看下去。在起居室内，甚至有一张斜面桌供绿龙阅读时使用。...要破解密码盘，不仅要足够的实力来到这，还要熟悉矮人风俗、矮人宗教学和矮人史。而矮人们肯定不会闯入祖先的祭坛，那熟知以上知识的外族人去哪找？斯坦德路此时简直想放声大笑，过往积累的知识，阅读书籍受到的嘲笑，终于有了报偿！
:
:
: ※ 来源:·水木社区 http://newsmth.net·[FROM: 106.120.233.*]
--
FROM 112.47.122.*
24楼|hgoldfish|2020-06-09 22:18:51|展开
因为 qtng 用的是 libev，协程切换用的是 boost::context asm 切换，所以性能目前还好。我前段时间用 wrk 测试了一下，ryzen 1700@3.2g 单核 echo hello 四万多 rps，算很一般，凑合凑合。我现在主要是特性实现，估计还有很大的优化空间。

qtng 目前我的主要用途是服务端的 tcp/kcp 长连接服务器，以及 qt 客户端的 http client. 前者是商业项目，后者是我个人自娱自乐的项目。

因为实际应用都是在 Linux 里面，所以目前 Windows 是 qtng 的二等公民。我在 Windows 用着 WSAAsyncSelect()，一时半会儿也不想改。反正也没人想着用 C++ 写 Windows 网络服务端吧。

至于为什么是 Qt 呢，因为我是 KDE_Qt 版多年的版主啊。我很欣赏 qt 基础部分的质量，比 stl/boost 强多了，作为一个业余 C++ 程序员，我可不想和 boost 源代码搏斗。

【在 billybear04 (billybear04) 的大作中提到: 】
: 标  题: Re: 协程或线程库好写吗？
: 发信站: 水木社区 (Tue Jun  9 21:59:20 2020), 站内
:
: MFC, C#等处理url和unicode肯定是极其方便的。各种HTTP Client/Server我用C也撸过，到了https就撸不动了。万一QUIC真成了呢？还得再撸。
:
: 服务器端，nginx既是负载均衡又是web服务器。追求性能可以用C给它写扩展，我试过一点。我还可以用libevent, libev, 都很小。不追求性能Java的、Apache+PHP……实在太多。现在又docker, mesh server……
:
: 我认为你这个项目的精华在于“c++ 世界比较完善的协程库，考虑了各种同步，异常，内存管理的情况”。云风的星星比你多，他现在好像不做了(4 year ago)，如果你们能够结合起来不好吗。
:
: “用C++再写个HTTP Server”，lighttpd呢？Enovy呢？后者不知道算不算，需求可能就不存在啊。
:
: 哦，还有server, 高度追求性能，Linux下DP什么，UIO会不会真成？Windows下I/O completion port不是有人说已经过时了？你还在PostMessage，PostThreadMessage换了吗？我不知道IIS, Windows Server是个啥情况。
:
: 按惯例以粗话结尾：处理URL, Unicode你要依赖Qt，你是自己写不了/写不好，还是上错了船？优先级的安排是否有点you know
: --
: 谁能想到一头整天游手好闲的青年绿龙，竟然会沉溺于阅读，他几乎什么都看，无论是诙谐的小说还是慷慨激昂的史诗，连晦涩的宗教典籍都能耐着性子看下去。在起居室内，甚至有一张斜面桌供绿龙阅读时使用。...要破解密码盘，不仅要足够的实力来到这，还要熟悉矮人风俗、矮人宗教学和矮人史。而矮人们肯定不会闯入祖先的祭坛，那熟知以上知识的外族人去哪找？斯坦德路此时简直想放声大笑，过往积累的知识，阅读书籍受到的嘲笑，终于有了报偿！
:
:
: ※ 修改:·billybear04 于 Jun  9 22:06:34 2020 修改本文·[FROM: 106.120.233.*]
: ※ 来源:·水木社区 http://newsmth.net·[FROM: 106.120.233.*]
--
修改:billybear04 FROM 106.120.233.*
FROM 112.47.122.*
34楼|hgoldfish|2020-06-10 09:37:30|展开
协程切换分为三步：1. 保存当前协程的寄存器 2. longjmp 3. 恢复目标协程的寄存器

longjmp 只是其中一步，所以不能简单地用于实现协程。

swapcontext() 是 unix 通用(但android不实现)，但问题是会陷入内核，效率不高。SwitchToFiber() 不清楚，Windows 接近微内核，估计 SwitchToFiber() 不会陷入内核。

实现协程确实很简单，那个 PDF 没骗你。难的是协程怎么样跟事件循环结合，打造出真正有用的网络库。我看网上很多协程库，压根不考虑抛出异常怎么处理，也不去实现 kill() 协程的功能。

【在 billybear04 (billybear04) 的大作中提到: 】
: 标题: Re: 协程或线程库好写吗？
: 发信站: 水木社区 (Wed Jun 10 06:39:56 2020), 站内
:
: 【在 allegro (静水流深) 的大作中提到: 】
: : 我记得longjmp无法完整的模拟coroutine。
: : 你可以往回跳但不能往前跳。
: 我不知道。那个PDF我是跳着看的。然后看到BLOG里setcontext, Windows下用fiber，就不想再学了。
:
: 为避免误会，so/very simple是pdf里作者的原话，不是我的想法。因为觉得exception难以实现，一开始我就没觉得simple。这种功能我觉得是语言设计者的保留地。以前在DOS下有个FloodFill的程序，自己用汇编切换了堆栈，那得上汇编啊。
: --
: 谁能想到一头整天游手好闲的青年绿龙，竟然会沉溺于阅读，他几乎什么都看，无论是诙谐的小说还是慷慨激昂的史诗，连晦涩的宗教典籍都能耐着性子看下去。在起居室内，甚至有一张斜面桌供绿龙阅读时使用。...要破解密码盘，不仅要足够的实力来到这，还要熟悉矮人风俗、矮人宗教学和矮人史。而矮人们肯定不会闯入祖先的祭坛，那熟知以上知识的外族人去哪找？斯坦德路此时简直想放声大笑，过往积累的知识，阅读书籍受到的嘲笑，终于有了报偿！
:
:
: ※ 来源:·水木社区 http://newsmth.net·[FROM: 106.121.160.*]
--
FROM 112.47.122.*
38楼|hgoldfish|2020-06-10 10:53:12|展开
用的 signal/slot 是 qt 事件循环那部分，其它地方好像没用 signal/slot. 理论上改成 stl 确实不是大问题，所以我一直有改个 stl 版本的冲动——可惜我没有那么多周末。

【在 javaboy (喝了咖啡就话多-_-;) 的大作中提到: 】
: 他的库依赖qt的signal slot机制，也就是需要moc才能用的。所以剥离不了qt。
: 不过澄清一下，我觉得qt的moc很好，c++标准里至今不提供类似功能实在太遗憾了。
--
FROM 117.24.206.*
42楼|hgoldfish|2020-06-10 11:09:27|展开
可以再想一下，协程切换在汇编层面看起来真是更简单不过了。看楼上 pfan117 的汇编代码：

https://gitee.com/pfan117/libmco/blob/master/switch-ctx.S

除了中间保存 FPU 的 stmxcsr,fnstcw 和恢复 FPU 的 ldmxcsr,fldcw 四个指令外，就是一堆的 mov 指令同样用于保存/恢复寄存器，最后一个 jmp 切换成功，剩下的没了。

通常的协程库所谓的封装其实只是多干两件事情：申请用于保存寄存器的内存和栈空间，销毁它们。

qtng 又多干了几件事：申请内存时用上 MAP_GROWSDOWN 标志以节约内存，切换后检测并抛出异常，协程结束后返回事件循环，维护状态供事件循环使用。

【在 billybear04 (billybear04) 的大作中提到: 】
: :实现协程确实很简单，那个 PDF 没骗你
: 1. 对你们可能简单，对我可不一定
: 2. 我一点说人骗我的意思都没有，行文风格:-)使然而已。
: ...................
--
FROM 117.24.206.*