马斯克和辛顿先生有同样的担忧：AI可能获得控制权

但辛顿先生的其他几点担忧，本质上还是由于人类出错、滥用或者管理不善而造成的，本质上并不是AI自发造成的

普通人，要能分得开，哪些是AI自发造成的威胁；哪些是由于人类的失误、滥用或者管理不善造成的威胁(比如美国国防部想要制造 AI战斗机器人)，以免被当作Panic Mongering的对象

如果是AI的非自发威胁，那就跟核武、传染病毒的威胁一样，都属于人类的管控问题，只是三者的管控方式会有所不同，美国国防部想要制造AI战斗机器人，这种威胁需要像核武一样被管控 …

再回到第一条，如果AI获得控制权，才是AI对人类的真正威胁 … 但辛顿先生非常明确地告知了大家，目前AI还没有自我意识 … 自发威胁目前还谈不上，但 担忧未来可能会

再回到更早一点，马文.明斯基提出的未来的更高阶AI机器的6个维度：意识、精神活动、常识、思维、智能、自我 … 当下的AI机器，哪一样实现了？

AI的自我意识最终能否实现尚未可知，但以“硅片和钢铁”为硬件基础的机器，注定不能实现情感，因为情感的实现，必须要回头通过”常识验证”

情感是人类的体验，比如，人类的“喜爱愉悦”情感，是人类自己这个生物机器「自发」产生了「多巴胺」这种真实的物质；人类的“运动愉悦”情感，是人类自己「自发」产生了「内啡肽」这种真实的物质，从而人类得以体验到 喜爱的愉悦和运动的愉悦

有人能告诉我，以硅片和钢铁为物质基础的AI如何产生这些物质，并且是自发，并且是体验 … 不是推理、不是统计、不是计算、不是搜索、不是大数据处理等等 这一类通过算法和算力就可以获得的非真实物质形式的东东 …

有的”常识验证”，你必须要认，比如，人类的物理机体无法跑得比高铁快、无法跳得比灰机更高，这种常识验证 人类就很认，因为人类非常清楚 自己的血肉之躯，的确不能跟高铁飞机的钢铁之躯比

但反过来，硅片钢铁机器当然也有很多做不到的事(尽管人类一直在努力让机器做更多的事)，比如，基于硅片和钢铁的AI机器，无法获得并体验情感，因为它的物理硬件完全不支持，为啥有的人类却不太愿意认这一条“常识验证”呢。越是古老久远的常识，越能更好地验证前沿的研究 … 因为它在验证别人的同时，自身一直在被验证 …

人类做不到的，人类要认，认了没关系，人类使用包括AI在内的机器，帮我们实现就行；机器包括AI机器做不到的，人类也要认！认了也没关系，有的事 人类只能自己做 …  比如，吃喝、情感、伦理、道德、生死、遗忘又想起、意会 …


  
【 在 morningsing (奈何) 的大作中提到: 】
:  你这古老思维模式还停留在计算机作为工具层面，不是AI。读读AI之父最近几年的文章吧，不要整天关注马斯克之流的外行之言。
:  
:  此处的“代码”只是一种借用，不是你理解的病毒程序。以为象irobot里那样弄几条德行准则就高枕无忧了？如果真如此，那仍然属于机器工具，而不是智慧体。对于有了意识和觉醒同时各方面又都能轻松碾压碳基生命的AI而言，任何所谓束缚准则都是无稽之谈。
:  
--
FROM 116.30.129.*