OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

时亚东 2024-12-29

Vite 构建 Vue3 组件库之路: 手写签名组件

本文介绍了一个网页手写签名组件的实现，包括画布绘制、线条自定义、设备兼容、事件处理，使用 defineExpose 暴露重置、获取数据和确认签名等功能，可灵活定制布局。

慢知行 2024-12-29

我的2024年度总结：领证、买房、裁员、面试找工作、未来...

大家好啊，我是summo，2024也接近尾声了，是时候需要总结和反思一下了。今年发生了太多的事情，而且每一件都是人生大事，比如领证、买房、裁员、面试找工作等等，有些事情思考了很久才做如领证、买房，有

summo 2024-12-31

【JVM系列】垃圾收集器介绍

如果说收集算法是内存回收的方法论，那么垃圾收集器就是内存回收的具体实现。不同的虚拟机所提供的垃圾收集器可能会有很大差异，以 HotSpot 虚拟机为例，所包含的垃圾收集器可以用如下图来概括。

志哥聊技术 2024-12-31

从时区数据库的角度理解时区和夏令时

本文将从时区数据库出发，探究时区和夏令时的原理，结合 Python 内建 datetime 模块的代码实例，尝试说清楚时区和夏令时到底是什么。

VeSync技术 2024-12-31

一文搞懂Java中的泛型擦除

在 Java 开发的日常中，大家想必都用过泛型。像创建一个只能存放字符串的集合：List list = new ArrayList();，这里的泛型让代码看起来就很 “靠谱”

J2K 2024-12-31

Xmind脑图实践

本篇文章将探讨在集成Xmind脑图功能时，使用kityminder遇到的一些问题和技巧，帮助你面临Xmind开发任务时，能够快速上手并避免潜在的坑

五四 2024-12-30

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

2024「年终总结」——欠薪、结婚、仲裁...

揭秘职场薪资秘密：用Python全面解读BOSS直聘招聘数据

强缓存、协商缓存、cookie、session或者localStorage

理解Jetpack--Hilt

Vite 构建 Vue3 组件库之路: 手写签名组件

我的2024年度总结：领证、买房、裁员、面试找工作、未来...

【JVM系列】垃圾收集器介绍

从时区数据库的角度理解时区和夏令时

一文搞懂Java中的泛型擦除

Xmind脑图实践

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响