2023年,自然科学基金委开展了“打招呼”顽疾专项整治,我非常期待整治工作取得成功,改善国内科研环境,因此,我想谏言献策,在现有评审规则下,提出小建议:1. 用好基金委的统计信息,用信息化手段减少人为干预“打招呼”,也进一步用信息化手段降低工作人员和评审专家的工作量;2. 进一步健全和公开评审规则,不考验评审专家的人性。
具体建议如下:
建议一、更公平和自动化的分组“打包”方法。基于基金委统计信息,由电脑自动进行申请人的评级,分为3级:
A级,过去4年获批基金委项目(面上、青年以上级别),或者其他联网可查的重要项目(科技部、国家各级人才等),这代表了较强的申请人。
B级,过去4年的申请书曾经进入面上(以上)项目的会评阶段,这代表了中游的申请人。
C级,过去4年的申请书未进入会评阶段,这代表了较弱的申请人,也包括新申请人。
建议一的好处:
1. 申请书进行网评时,可以按照ABC的一定比例平衡申请人数量,避免“分包”出现的过强和过弱的问题,用自动化手段限制工作人员的权力,也有利于评审专家的评审。
2. 用申请书中公开的ABC分级信息代替申请书中的项目经历。有利于A级申请人,避免评审专家有平衡项目数量的想法;同时,有利于区分B级和C级申请人。
3. 不建议基金委的电脑系统考虑研究基础、支撑条件、文章发表、关键词等主观的东西,只考虑申请人的分级、会评时的分包即可。
建议二、扩大通信评审群体,仿照淘宝的商家评分制度,建立公开和规范的“双向打分制度”。
2022年国家自然科学基金项目共接收项目申请294396项,资助面上项目20472项。 简单说,有约30万申请项目,在研面上项目的潜在评审超过四五万人。如果,每个申请书采用3个通信评审,需要90万评审人,即每个潜在评审人需要评价20份申请书。目前,自然基金面上项目的通过率约20%,严格规定评审人对申请书进行3级评分,A级(支持,4人,20%),B级(中立,8人,40%),C级(反对,8人,40%)。 公开告知:合格的评审人应当有能力区分A级与C级申请,公开“双向打分制度”的细则。由电脑自动根据申请书上会和会评结果,确定评审人的评审得分,用评审人得分约束通信评审的行为!
表一、通信评审人的得分表与申请书的评分
申请书评分 未上会 上会未中 项目获批
A -5 3 5
B 3 3 3
C 5 3 -5
(具体的比例和得分,需要根据基金委的掌握的数据进行电脑自动的调整)
其他规则:
1. 由电脑程序自动限定,评审人必须严格按照比例和人数进行申请书评分。
2. 同意评审,却不能在2周内完成评审的情况。记为-5分。
3. 务必简化评审,只需要申请人主观进行ABC的评级,不用写啥建议(极大的降低评审人的工作量)。毕竟基金委能建立公平和高效的评审制度就很可以了;众口难调,专家说的也不一定对。另外,请公开申请书的最终的ABC得分。
4. 会评专家应该来自大量的高分的网评专家,而不是极少量的学术权威。
建议三、进一步运用全自动化的通信评审。
在通信评审中,严格要求评审人进行3级评分,严格规定评审人对申请书进行3级评分,A级(支持,4人,20%),B级(中立,8人,40%),C级(反对,8人,40%),坚信合格的评审人应当有能力区分A级与C级申请,那么2周就可以得到通讯评审的初步成绩。
总评分 占比 计算机进行分类
3A 0.008 直接通过 如评分集中,可将20%降为15%
2A1B 0.048 直接通过
2A1C 0.048 直接通过 非共识项目,数量可能较少
1A2B 0.096 直接通过/第二轮评审1 2A1B的替补,共识项目,
1A1B1C / 质疑性讨论1/第二轮评审2 1A2B的替补(第二轮评审2)
2A1C的替补(第二轮评审2)
2A1B的替补讨论(质疑目的的第二轮评审1)
3B / 不通过 共识项目
(1)为什么会有第二轮评审?
原因有2个,首先,有可能3名评审中部分未在2周内反馈,其次,1A2B等情况有可能出现累计人数超过可资助名额的状况。
(2)为什么会有质疑性讨论1?
留一扇门,让基金委流动主任基于正义感捞人(或者捞自己人)。严格走流程记录下来,可以极大的减少“捞自己人”的情况。
(3)为什么不采用5个评审人?
因为5个评审人有更大可能遇到不合格评审人(亲朋、仇家等)。同时,3个评审人中的1A2B和1A1B1C这2种情况,才有进行第二轮评审的必要。 其他项目,比如3B是共识项目,没必要讨论没必要浪费资源。
(4)为什么3B不上会?
大量网评的操作是难以打招呼的。少数专家的圈子是容易被打招呼的,所以尽量用网评的成绩,筛选出尽量少需要进行会评的申请书,减少专家被打招呼的机率。
我觉得按照上面的操作,“打招呼”就没啥用了。
只有公开才能公正。目前,基金评审的ABC成绩是保密的,却花精力给一堆互相矛盾的评审意见。 任重而道远啊!
转自知乎
https://www.zhihu.com/people/an-zhu-albert/posts
--
FROM 118.247.181.*