作者：John Nosta
关于超级智能的发展，科学家们一直有着持续的争论。超级智能是从通用人工智能（AGI）概念演变而来的一种强大技术。这项技术可能在接下来的十年内出现，可能解决全球重大问题，但也有可能导致人类丧失权力或灭绝。
OpenAI是一家美国人工智能研究公司，其战略目标是创建具有人类水平能力的自我训练研究员，并利用大量计算资源来训练和调整超级智能。这个过程被称为超级智能对齐，需要创新的人工智能对齐技术、广泛的验证和对抗性压力测试。
OpenAI正在全力以赴投入资源和研究来应对这个挑战，并鼓励杰出的研究人员和工程师们加入他们的努力。然而，我们还不清楚将术语从通用人工智能转变为超级智能是否会对有关人工智能风险和收益的持续争论产生重大影响。
OpenAI强调了超级智能的潜力，认为这可能是有史以来最具影响力的技术，能够解决全球重大问题。然而，他们也承认与超级智能相关的巨大风险，可能会剥夺人类的权力甚至导致人类灭绝。
尽管超级智能似乎还遥远，但OpenAI相信它可能会在未来十年内出现。管理这些风险需要建立新的治理机构，并应对使超级智能与人类意图保持一致的挑战。有趣的是，OpenAI选择使用超级智能这个术语，而不是传统的通用人工智能（AGI）。他们的理由是：
“我们关注的是超级智能而不是通用人工智能，以强调更高的能力水平。由于未来几年对该技术发展速度有很多不确定性，我们选择瞄准更具挑战性的目标，以打造更具能力的系统。”
当前的人工智能对齐技术，例如基于人类反馈的强化学习，无法控制潜在的超级智能人工智能。人类无法可靠监督比我们聪明得多的系统，现有技术也无法扩展到超级智能。OpenAI强调需要科学和技术的突破来克服这些挑战。
OpenAI的方法是构建一个具有大致人类水平能力的自我训练研究员。他们将利用大量计算资源来扩展自己的努力，并不断调整超级智能。关键步骤包括开发可扩展的训练方法、验证生成的模型以及对对齐管道进行压力测试。根据OpenAI发布的公告，这个过程被称为超级智能对齐。
为了解决评估对人类具有挑战性的任务的困难，可以采用人工智能系统进行可扩展的监督。将监督推广到无监督任务以及检测有问题的行为和内部结构对于验证一致性至关重要。对抗性测试，包括训练未对齐的模型，将有助于确认对齐技术的有效性。
OpenAI预计，随着对该问题的认识越来越深入，他们的研究重点将发生变化，并计划在未来分享自己的路线图。他们已经组建了由顶级机器学习研究人员和工程师组成的团队，致力于解决超级智能对齐问题。OpenAI计划在未来四年将其20%的计算资源投入到这项工作中。
虽然无法保证成功，但OpenAI依然乐观地认为，通过集中一致的努力，可以解决这个问题。他们的目标是提供证据和论据，让机器学习和安全社区相信问题已得到解决。他们积极与跨学科专家合作，考虑更广泛的人类和社会问题。
OpenAI鼓励杰出的研究人员和工程师加入他们的努力，即使是之前从未从事过对齐工作的人。他们认为超级智能对齐是最重要的未解决技术问题之一，并认为这个机器学习问题有着重要的潜力。
关于人工智能、通用人工智能以及从实用到人类毁灭等复杂的相互关联问题，争论看起来正在形成新的裂痕。现在，词汇已经发生了一些变化，但这究竟是科学问题还是语义问题，尚不清楚。
