OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

2024年，女性影视掀起新浪潮

女性内容元年已经到来

眸娱 2024-12-31

12月第四周微信小游戏畅销榜TOP100：前五十几乎不变，保卫向日葵进前10

2024小游戏市场固化，前50新品少。

游戏价值论 2024-12-31

GL8的命，得自己革

MPV市场，要易主了。

探客出行 2024-12-31

县域小城创业家，和他们的乡土保卫战

品牌下沉大势中，县域小店是怎么守护自己生意的

消费巴士 2024-12-31

蓝鲨消费 2024-12-31

房子老了，房屋养老金落地仍需时间

寻找国内外较好的做法，为市场提供借鉴。

丁祖昱评楼市 2024-12-31

上海土拍杀疯了！最后一拍，招商蛇口、金茂、宸嘉、越秀185亿加仓

上海土拍热潮，央国企与民企激烈竞逐地块。

未来城不落 2024-12-31

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

2024年，女性影视掀起新浪潮

12月第四周微信小游戏畅销榜TOP100：前五十几乎不变，保卫向日葵进前10

GL8的命，得自己革

县域小城创业家，和他们的乡土保卫战

2024年，泛家居行业四大热点

欠债、网暴、分手……三位教培大佬的2024往事

明天起，你的房贷又降多少？

2025中国消费往何处去？

房子老了，房屋养老金落地仍需时间

上海土拍杀疯了！最后一拍，招商蛇口、金茂、宸嘉、越秀185亿加仓

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响