腾讯研究院AI速递 20240313
生成式AI
一、 谷歌破解OpenAI模型关键信息：低成本，调用API即可得手
1. 谷歌通过API访问不到2000次查询，低成本（约150元人民币）窃取了OpenAI的gpt-3.5-turbo等模型的关键信息，如整个投影矩阵和隐藏维度大小；
2. 该攻击方法针对模型的嵌入投影层，通过大量查询和应用奇异值排序揭示模型的隐藏维度和权重矩阵，证明了提取模型关键信息的可能性；
3. 研究得到OpenAI同意，攻击完成后确认方法有效性并删除所有数据。研究团队还提出了防御措施，OpenAI随后修改了模型API以阻止此类攻击。
https://mp.weixin.qq.com/s/M02B763wH98N0fYXYDFxrw
二、 OpenAI“开源”了：Transformer自动debug工具上线GitHub
1. OpenAI开放了用于分析Transformer内部结构的内部工具Transformer Debugger (TDB);
2. TDB结合自动可解释性技术与稀疏自动编码器，支持快速探索模型结构，无需编码即可干预前向传递，帮助分析模型行为;
3. 开源内容包括Neuron viewer、Activation server、模型及其自动编码器的简单推理库和整理好的激活数据集，旨在通过社区合作不断改进。
https://mp.weixin.qq.com/s/HklR73Bxkcmzm48KaxyG2Q
三、 Midjourney能让角色保持一致了！网友连夜实测：改变游戏规则
1. Midjourney推出了新功能“角色参照”，允许生成的图像保持角色一致性，适用于不同风格和场景;
2. 网友通过实测验证功能效果，确认可以控制面部、着装、发型等特征，大幅提升个性化定制能力;
3. 功能还在alpha测试阶段，将来可能有变化，但已引发广泛兴趣和讨论，网友纷纷进行夜间测试，展现出对这一创新的极高热情。
https://mp.weixin.qq.com/s/CwAyKKVw9WoQZcNmvoNkGA
四、 曾17岁就打造亿级爆款，哈佛辍学生打造AI个性化硬件Tab
1. Avi Schiffmann, 一个21岁的哈佛辍学生，凭借创造性技术项目成名，开发了可穿戴AI设备Tab，旨在提供个性化信息互动体验;
2. Tab融合了高性能麦克风、长电池寿命和先进的自然语言处理技术，通过持续监听和分析对话，旨在成为用户的个人AI伙伴;
3. Tab在种子轮融资中筹集了190万美元，预售金额达10万美元，展现了市场对其独特个性化硬件产品的认可和需求。
https://mp.weixin.qq.com/s/zjFyt4KBWsrllNlaOq_9OQ
五、 OpenAI前员工建立AI大模型，帮助机器人像人类一样学习新技能
1. Pieter Abbeel的团队开发了机器人基础模型RFM-1，结合真实机器人数据和互联网数据，提高了机器人处理现实世界突发状况的能力;
2. RFM-1模型能理解和预测物理世界的交互，如拿起物品和理解简单英语指令，显示了对环境的深入理解和视频生成能力;
3. 尽管RFM-1展示了在物理和语言理解方面的强大功能，但其仍有局限，例如分辨率和帧速率限制，和对传统编程逻辑的依赖。
https://mp.weixin.qq.com/s/RrbAJHkK6qLeV-QxQPoSXA
六、 在家就能训练 700 亿大模型！Answer.AI 开源项目冲上 HN 热榜
1. Answer.AI成功开发了一种方法，在配备标准游戏显卡的普通电脑上高效训练70亿参数的大模型，项目在Hacker News和GitHub Trending上引起热议;
2. 该项目利用了QLoRA和FSDP技术，允许在低成本游戏显卡上分片训练大型模型，解决了内存限制和计算资源分配问题;
3. Answer.AI的成功展示了个人和小团队现在能够使用消费级硬件训练高级AI模型的可能性，推动了AI民主化和技术创新。
https://mp.weixin.qq.com/s/Bp7V9-N7ybpC-UILuOM0FQ
前沿科技
七、 苹果再次重点提到Vision Pro+医疗B端应用潜力：机会、应用方向、案例
1. 苹果强调Vision Pro在医疗保健领域的应用潜力，为健康应用开发者提供了新机遇，尤其在临床环境和家庭中的空间体验;
2. Vision Pro通过与物理世界的无缝融合，支持创新应用的开发，如临床教育、外科规划、培训、医学成像及行为健康等;
3. 实际应用案例包括Stryker的Mako SmartRobotics手术规划、波士顿儿童医院的CyranoHealth培训课程，以及西门子健康服务公司的Cinematic Reality。
https://mp.weixin.qq.com/s/bpsa1uvdSQs5u2wrR8Mhpw
八、 兼具精度与效率，微软AI新电子结构计算框架M-OFDFT登Nature子刊
1. 微软研究院开发了基于AI的新电子结构计算框架M-OFDFT，提高了电子结构方法的计算效率同时保持了KSDFT相当的计算精度;
2. M-OFDFT利用无轨道密度泛函理论和深度学习模型，显著提升了计算电子结构的精度和效率，特别是在处理大规模分子体系时展现出优异的外推性能;
3. M-OFDFT的成功应用在小分子和蛋白质体系上验证了其精度和效率，展示了AI在推动电子结构计算发展中的潜力，开辟了新的研究方向和应用场景。
https://mp.weixin.qq.com/s/dMrQEIeimXcN-4yIDoDt0A
报告观点
九、 OpenAI法庭文件曝光：谴责马斯克起诉是为了专有技术和敏感信息
1. OpenAI 提交法律文件，反驳马斯克诉讼，强调未与马斯克达成任何协议，指出马斯克起诉目的是为了个人商业利益而非人类利益;
2. OpenAI 要求案件被认定为「复杂案件」，以防马斯克通过诉讼获取公司技术和商业机密;
3. OpenAI 指出马斯克试图利用法律手段强制公司按他虚构的合同条款进行重组，并分发其技术，警告审前证据披露过程中敏感信息的潜在风险。
https://mp.weixin.qq.com/s/lCbFqOzPWc3bHLLHKOd3_g
十、 新加坡《关于在人工智能推荐和决策系统中使用个人数据的业务指南》
1. 新加坡个人数据保护委员会发布《指南》，旨在平衡个人数据保护权利和机构使用需求，提供人工智能系统开发和部署中使用个人数据的指导;
2. 组织可在获得有意义的同意或依赖于PDPA下的例外情况下使用个人数据，指南明确了业务改进和研究目的的例外情况适用标准;
3. 指南鼓励提高数据处理透明度，要求服务提供商防止未授权修改个人数据，并推荐使用额外资源促进可信赖的人工智能部署。
https://mp.weixin.qq.com/s/aij2nJ4VIMNN6-te5FClQg
https://docs.qq.com/sheet/DYXVhemNFem1XZ2ZC?tab=BB08J2
