「AI 洞見」"AI 教父警告…10 年內將面臨超智能的分岔路"

"我研究 AI 50 年了。 现在是我第一次感到害怕的时刻。"

文 | 崔奉赫 专栏作家 | theESG ニュース

图灵奖（计算机科学界的诺贝尔奖）获得者杰弗里·辛顿博士的这句话不仅仅是科学家的抱怨。 这表明人类正站在前所未有的新文明的转折点。 他强调即将到来的未来绝不是科幻小说中的故事，就像奥本海默在原子弹开发后警告人类核战争的可能性一样，将自己的处境与现在的情况等同起来。

作为崔奉赫专栏作家，我相信对这些 AI 技术的进步及其相关的伦理和社会责任的讨论是符合我们社会公益的必要过程。 通过深入理解辛顿博士的警告，并仔细分析他提出的问题意识和解决方案，我们将获得洞察力，从而引导即将到来的 AI 时代朝着对人类有益的方向发展。

第一章。 '10~20% 概率' 警告_ 人类未来的时间表提前

杰弗里·辛顿博士在 2024 年 5 月接受英国广播公司（BBC）采访时，生动地证明了自己对 AI 的认识在短短两年内发生了多么迅速的变化。“直到 2022 年，我仍然认为 AI 导致失控的风险会在 50 年后发生。 但在 GPT-4 出现后，我认为在 10 年内超智能脱离人类控制的概率为 10% 到 20%。”

这 10% 到 20% 的数字在统计上可能看起来很小，但其含义绝不轻描淡写。 在关系到人类生存的问题上，10% 到 20% 意味着“可能成为现实的威胁”，而不是“可能性”。 就像即使飞机坠毁的概率低于 0.0001%，我们也会把一切都投入到安全保障中一样。 辛顿博士解释说，AI 技术的进步速度超乎想象，就像智能手机的升级速度一样。 过去，每十年才会发生一次技术大变革，而现在我们已经进入了一年发生两次以上创新的光速时代。

他所说的“转折点”指的是 AI 自主学习和发展的能力。 这就像婴儿开始迈出第一步一样。 一旦开始走路，婴儿就不会停止学习如何奔跑，同样，AI 也有潜力在没有人类直接干预的情况下提高其智能。 问题是，如果这种自我发展超出了人类的控制范围，结果将是不可预测的。 超智能 AI 具有自主性，如果设定了与人类利益相冲突的目标，或者误解了人类的意图，那么潜在的风险将超出想象。

第二章。 “公开 AI 权重如同泄露核武器设计图”

辛顿博士最强烈警告的重点之一是“公开 AI 模型权重”的问题。 他甚至将公开大型 AI 模型的权重比作“将核武器设计图上传到互联网上的疯狂行为”。 这种比喻表明，他认为 AI 技术所具有的破坏力与核武器一样严重。

他的担忧不仅仅是一种比喻，已经成为现实的危险。

2023 年 8 月，LLaMA 权重泄露事件：脸书（现为 Meta）公开的大型语言模型（LLM）Llama 的权重被泄露，并在暗网上以 5 万美元（约 7000 万韩元）的价格交易，这清楚地暴露了 AI 安全的脆弱性。 被泄露的权重变成了可以被黑客工具篡改或用于恶意 AI 开发的无法控制的状态。

2024 年 3 月，开源 AI 操纵案例：实际上，已经报告了操纵特定开源 AI 模型并生成“类似核弹的设计图”的案例。 更令人震惊的是，对该设计图物理实现的分析结果显示，其可能性高达 92%。 这意味着这不仅仅是一个理论上的威胁，而且可能在现实世界中导致实际的破坏。

辛顿博士将 AI 权重比作“秘密配方”。 他警告说，就像肯德基炸鸡的配方一旦公开，就会出现假炸鸡店一样，一旦公开 AI 权重，就会有带有恶意目的的“恶意 AI”泛滥。 他预测，只需 100 万美元，恐怖分子就可以制造控制大规模杀伤性武器的 AI 的时代已经不再是遥远的未来了。 就像 AI 具有无限的可能性一样，滥用的风险也是无限的。 必须避免忽视窃取个人信息、扰乱金融系统、开发自主杀伤性武器等恶意 AI 可能威胁人类生活的各个方面。

第三章。 超智能带来的奇迹：医疗和教育的重大变革

在警告风险的同时，辛顿博士也强调了 AI 将给人类带来的“奇迹”。 他表示，“同时，这项技术是人类历史上最大的机遇”，并强调了如果 AI 以正确方向开发和控制，将产生的积极影响。

医疗革命：AI 已经在医疗领域取得了惊人的成果。 辛顿博士预测，AI 医生可以将肺癌的诊断准确率提高 40% 以上。 实际上，美国梅奥诊所已经成功地利用 AI 将乳腺癌的发现速度提高了 30 倍以上。 AI 通过分析大量的医疗数据，可以及早发现人类医生可能错过的微小模式或异常迹象，从而减少误诊率并显着提高诊断的准确性。 这将对挽救无数生命和降低医疗成本产生巨大影响。

教育革命：AI 还可以帮助弥合教育领域的差距。 辛顿博士认为，一对一的 AI 导师可以将学生的学业差距缩小 90%。 韩国首尔国立大学的案例支持了这一点。 首尔大学在引入 AI 辅导系统后，学生的成绩平均提高了 31%，取得了惊人的结果。 AI 导师会根据每个学生的学习水平和速度提供个性化教育，有效地弥补弱点并最大限度地发挥优势。 这有助于提高教育质量，减轻课外教育负担，最终实现教育公平。

环境和能源革命：AI 在解决环境问题方面也发挥着重要作用。 据说，AI 设计的超导体可以将电动汽车电池的效率提高 200% 以上。 这意味着它可以最大限度地提高能源效率，减少碳排放，并在应对气候变化方面发挥重要作用。

辛顿博士的信息很明确。“就像核武器被用作发电的反应堆一样，如果 AI 受到控制，它也会成为人类的救星。” AI 就像一把双刃剑，根据如何使用和控制它，它可能对人类来说是一场灾难，也可能带来前所未有的繁荣。 重要的是技术本身，而在于处理技术的意愿和责任感。

https://www.esgre100.com/news/articleView.html?idxno=3366