腾讯研究院AI速递 20240625

生成式AI

一、 DCLM团队清洗出240万亿巨量数据，足够训出18个GPT-4

1. 23个全球机构联手，从CommonCrawl洗出240T数据，足以训练18个GPT-4级别的模型；

2. 通过小模型筛选、fastText工具和消融研究，实现数据质量优化，提升大模型训练效率和效果；

3. 强调不再单纯增大模型规模（Scale Up），而是通过数据质量提升和优化（Scale Down），推动下一代AI模型发展。

https://mp.weixin.qq.com/s/26HAPNf8AAScPPE9OEA6zQ

二、 奥林匹克竞赛奖牌榜中最聪明的AI：Claude-3.5-Sonnet vs. GPT-4o

1. 上海交通大学GAIR Lab开发的OlympicArena为AI比较提供挑战性基准，模拟学科竞赛评估AI智力；

2. Claude-3.5-Sonnet在多个科目上表现优于或接近GPT-4o，展现强大的竞争力；

3. 通过奥林匹克竞赛奖牌榜方式，根据AI在不同学科的表现进行排名，创新AI评估方法。

https://mp.weixin.qq.com/s/YdGPDE5Jgp3vnWCxrwMsgA

三、 用大模型开卡车，Waabi开发了一个端到端的大模型Copilot4D

1. Waabi获2亿美元融资，推动其生成式AI在自动驾驶领域应用，预计2025年推出无人全自动化运输卡车；

2. 开发Copilot4D大模型，利用VQVAE和离散扩散模型优化数据处理和预测，有效降低训练数据和算力需求；

3. Copilot4D集成NVIDIA DRIVE Thor，提升自动驾驶性能，已在多个自动驾驶数据集上显著降低Chamfer距离，提高预测准确性。

https://mp.weixin.qq.com/s/hkHAS3lRspuuqRk_T8B3Lg

四、 用AI构建定制API，两名高中生创办APIGen平台，获种子轮融资

1. 两名高中生创建APIGen，获得50万美元种子轮融资，专注于开发根据自然语言提示生成定制API的平台；

2. APIGen平台目标创建能执行复杂任务的API，涵盖网络应用、数据库及物联网设备，如无人机和智能门锁；

3. 尽管APIGen还在开发早期阶段，未完成最低可行产品，但已吸引企业关注并展示了产品原型，旨在简化和自动化API生成过程。

https://mp.weixin.qq.com/s/23KGRHKfz9zmMPbrZqNdNQ

五、 腾讯元宝新版本发布，解析能力提升，支持1000万字超长文处理

1. 腾讯元宝新版本能处理高达1000万字的超长文档，显著提升在长篇小说、企业报告及学术论文等大规模文档的处理效率，支持多文件与多格式；

2. 引入数据图表生成功能，自动从解析内容生成多种数据图表如柱状图、折线图，提升数据分析和报告制作的直观性和效率；

3. 强化的搜索功能，整合多个搜索引擎，提高与用户查询高度相关内容的检索和总结效率。

https://mp.weixin.qq.com/s/lrbkReK-uGNyM9N_GsQg9w

六、 微软Florence-2官宣开源，一统视觉基础模型！华人团队联手打造

1. 微软Florence-2，视觉基础模型，已开源，支持高级视觉和语言任务如字幕、对象检测、分割等；

2. Florence-2显示出卓越性能，在多种基准中超越亿级参数模型，重要性体现在能处理各种复杂视觉任务；

3. 模型利用大规模多任务数据集FLD-5B进行训练，实现了高效的零样本和任务迁移能力。

https://mp.weixin.qq.com/s/Ng25ggmOmoPWEt2faxl-8Q

七、 面对架构瓶颈MIT提出“跨层注意力”，极大优化Transformer缓存

1. 麻省理工研究人员提出跨层注意力（CLA）技术，允许在Transformer的不同解码层间共享键值（KV）缓存，减少内存使用；

2. CLA通过共享KV激活而非每层独立存储，减少了模型必须维护的独立KV集合数量，提升内存效率；

3. 实验表明，比如30亿参数模型实验中，CLA2配置被证明有效降低了验证困惑度。

https://mp.weixin.qq.com/s/EwSK31dClHfK51IpbjKMCg

八、 苹果正与Meta等更多厂商谈判，希望在产品矩阵中集成其AI模型

1. 苹果与Meta及其他AI企业探讨合作，将第三方生成式AI模型集成到苹果新推出的AI系统Apple Intelligence中；

2. 合作模式可能模仿App Store，苹果从集成AI服务的订阅收益中抽成；

3. 这种合作旨在为苹果用户提供更广泛的AI模型选择，同时增强各AI企业产品的知名度和分销渠道。

https://mp.weixin.qq.com/s/PjLYWiQJxt0prAkCzsFrBw

前沿科技

九、 今年最大天使轮诞生，GalaxyBot银河通用宣布完成天使轮融资共计7亿元人民币

1. 北京银河通用机器人有限公司完成7亿元人民币天使轮融资，投资者包括美团点评战投、北汽产投等多个战略及产业投资方和顶级财务机构；

2. 银河通用由王鹤博士创立，依托其在清华大学和斯坦福大学的学术背景，专注于具身智能和人形机器人领域的发展；

3. 银河通用研发的盖博特机器人实现了高级操作技能，如识别抓取特定物体和执行日常任务，预计将逐步进入商业场景。

https://mp.weixin.qq.com/s/_PKY4yzle0Pg9CDS9uJL4A

报告观点

十、 软银孙正义：目标是ASI！智能水平高达人类 10000 倍，信息革命还将继续

1. 孙正义宣布软银目标是发展人工超级智能（ASI），预期智能水平高达人类的10000倍；

2. 强调ASI的实现将极大推动社会进步，包括优化工作、治疗疾病等；

3. 软银计划通过愿景基金在AI领域投资，同时坚信其投资公司ARM在实现ASI目标中的重要性。

https://mp.weixin.qq.com/s/S4lR1Ll9LhP_tkZH8lh0tg

👇订阅下方合集，获取每日推送