- 主题:不如来讨论下怎么评价应用研究和技术创新？
这次文件说的是:对于应用研究、技术开发类科技活动，注重评价新技术、新工艺、新产品、新材料、新设备，以及关键部件、实验装置/系统、应用解决方案、新诊疗方案、临床指南/规范、科学数据、科技报告、软件等标志性成果的质量、贡献和影响，不把论文作为主要的评价依据和考核指标。
----
这么一大坨怎么评价真的是问题，这些东西不能量化只能人为评价，大家对弱化sci最大的担忧也在这个人为评价。
现在的人为评价方式是专家同行评议，还是逃不开即是运动员又是裁判员的问题。我的思路是这样，在原来的专家评价基础上，做如下改进:
1. 让使用方也参与评价。面向终端消费者的就让普通用户评价(比如病人)，面向厂商的就让客户评价(比如产品的企业用户)，随机抽取。
2. 第三方专业机构也参与评价。为避免使用方不够专业的问题，引入第三方，可以是咨询公司，也可以是检测机构，要求中立。机构是多个人组成，声音往往比专家个人更客观也更能防止腐败。
3. 为了公平，避免打击报复和腐败，采用盲审，双盲不够上三盲(组织方也盲，电脑随机对接)。
4. 定期审查各评审方的评审意见，对客观公平且有建设性意见的评审方，加大抽取权重。
--
FROM 117.30.152.*
很多评价都不能量化但是也运转得挺好的，
比如公司内部管理，特别是对技术岗、管理岗的管理。比如公务员的晋升。
好的机制靠人评价也是可以的。人要靠谱，机制本身也要靠谱。
【 在 shouhu 的大作中提到: 】
: 不能量化绝对是大问题。
--
FROM 222.76.243.*
你说的就是现在政府对企业科技项目的考核，无非对营收、纳税进行考核，至于估值那个主观因素太多，纳不进来的。100个创投机构，可能有100个估值，都说不清。
对于青椒和研究所的项目考核，毕竟和市场化的企业还是不一样的，一个平时没有财务核算，第二个这些研究员也没有精力没有时间像企业一样管理项目。按照营收、纳税来考核这些项目，跟企业比起来大部分都要垫底的。意义不大，还有可能部分企业联合单位搞假横向。
但是，高校和科研院所有它的优势，旱涝保收能让他们去解决一些更长远的问题。
【 在 minglaihe 的大作中提到: 】
: 所谓应用，其实就看赚多少钱（对于短期不赚钱长期能赚钱的，至少要看估值）。
: 如果有人傻乎乎的敢去做这个，量化标准就评价：
: 1，赚钱能力（由专业审计师、注册会计师来评估你这个项目的赚钱能力）
: ...................
--
FROM 222.76.243.*
考核横向经费、转让合同额度这个研究所有在做，版上有人说有些教授造假横向、假合同来实现，也就是有花钱买指标的问题。另外，老师拉来一些没技术含量纯粹压榨学生底成本劳动力的活，也不能就说明这个老师技术牛吧。再来就是，老师作为个体，和企业相比议价能力太弱了，真能拉来企业单子的应该也不多。
行业普及情况这个思路不错，比如先提出深度学习理论被国内广泛采用这种，就应该给予高评价。这个怎么具体评价是个难题。
共享仪器那个主要目的是提高设备的使用率吧，属于公益性质的评价。文件里说的质量、贡献和影响应该更关注技术牛不牛吧。
产品的精度作为考评，这个也是由来已久被人诟病的，一个问题是实验室样品的精度达到了，但量产精度不行，最后就花瓶了；另一个问题是不考虑性价比，不惜资金、工艺、人力造出来的高精度，成本太高，放市场上没有竞争力。
感觉纯量化的新指标还是不行的，解决不了很多具体问题，还是要引入人为的判断。
【 在 TurtleRun 的大作中提到: 】
: 一方面是考核横向经费、转让合同额度、行业内普及情况。另一方面可以参考《中央级高校和科研院所大型科研仪器开放共享评价考核》的那个考评办法。
: 比如同样是电镜解蛋白结构的，以前是可以考评发了多少什么级别的SCI，之后也可以考评核心指标能够做到多少精度，大型仪器使用率，为社会做了多少服务。
--
FROM 222.76.243.*
公务员考试中，笔试中的申论和面试都是人为的评价。
实际操作中，也是通过双盲机制来达到公平的。比如改卷考官看不到考生姓名，面试官是现场随机抽的。
设计好机制，其实人为评价也是可以的啊。
【 在 minglaihe 的大作中提到: 】
: 天真了。。。
: 公务员体系就是最那个的。
: 以前还没有国考的时候就很乱。
: ...................
--
FROM 222.76.243.*
所以我建议加入最终用户和第三方机构，以市场化的眼光来考评，应该能比较公平。
就是整个评价机制行政成本比较高，估计只适合大项目了
【 在 minglaihe 的大作中提到: 】
: 只考核技术指标没有用的。
: 做了一个满足指标的东西（也许指标还是故意写低了），但是根本卖不出去（跟市场竞争不过因为别人比你好还比你便宜）
: 看上去好像是踏踏实实完成了工程，其实不过是技术和产品水平低，套用国家经费做些没有价值的东西。
: ...................
--
FROM 222.76.243.*
版上之前有个反对声音，说你让我打篮球，我可以，你让我踢足球，我也可以，
可是你让我又会篮球又会足球还会乒乓球，我就很累做不到了。
总感觉科研应该是偏科的。每项都拿分，反而可能干不好。
【 在 TurtleRun 的大作中提到: 】
: 你项都给10分，全部考评。当一个单位一个平台大部分满足如上这些指标的时候，这就错不了。
:
--
FROM 222.76.243.*
是啊，创投的眼光也未必准，而且往往比较短视
【 在 luisyang () 的大作中提到: 】
: 这个也要跨时间纬度，比如大狗创始人，是mit的，最早的机器人那么简陋，跨度有10，
: 20年。。。
: 【 在 minglaihe (minglaihe) 的大作中提到: 】
--
FROM 223.104.6.*