腾讯研究院AI速递 20240521

生成式AI

一、 首个GPU高级语言，大规模并行就像写Python，已获8500星

1. Bend是一种高级GPU编程语言，支持10000+并发线程，使编写并行代码像写Python一样简单；

2. 该语言通过GitHub获得8500+ Star，表明其受开源社区欢迎；

3. 目前仅支持Nvidia GPU，Bend将大规模并行计算和高级语言特性融合，展现出显著的性能潜力。

https://mp.weixin.qq.com/s/dC7Z5Rk05sM7ND7bYUsrZA

二、 150Btoken从头训练，普林斯顿Meta发布完全可微MoE架构Lory

1. Lory模型是一个完全可微的MoE自回归语言模型，使用150B token进行训练，具有0.3B和1.5B两个活跃参数级别；

2. 引入因果分段路由策略和基于相似性的数据批处理方法，提升了模型训练的专业化和效率；

3. Lory在下游NLP任务中表现优异，具备竞争力的性能，有效提高了模型的训练效率和应用潜力。

https://mp.weixin.qq.com/s/UKIXGJTFzSeSZvoTe_c9CQ

三、 国产「小钢炮」仅用8B参数，击败了GeminiPro、GPT-4V

1. MiniCPM-Llama3-V 2.5 提供了出色的多模态识别能力，通过OCR技术实现9倍像素提升和精准长图文本识别；

2. 该模型在端侧系统级首次实现150倍的多模态加速，支持30+种语言，表现优于GPT-4V和Gemini Pro；

3. 面壁智能持续推进端侧AI技术，MiniCPM-Llama3-V 2.5的成功部署显示了小参数模型在高性能计算中的强大潜力。

https://mp.weixin.qq.com/s/S2tGyQZ5qCLNYKb6A4xaLQ

四、 时隔一年Falcon回归！110亿参数5.5万亿token，性能超越Llama 3

1. Falcon 2模型拥有110亿参数，在5.5万亿token上训练，超越Llama 3性能；

2. 支持多语言和多模态功能，可在单GPU上高效运行，适用于多个领域如医疗和教育；

3. Falcon 2包括语言模型和视觉到语言模型，均已开源，有助于推动全球AI开发。

https://mp.weixin.qq.com/s/CZNVl_GmYm_aPidMJrRHUg

五、 实用主义！腾讯知识引擎助力「销冠」量产，5 分钟创建智能助手

1. 腾讯推出的知识引擎允许快速创建智能助手，实现5分钟内搭建客服营销和企业知识社区类应用；

2. 腾讯混元大模型升级支持高效视频生成和增强的中文处理能力，与GPT-4水平相当；

3. 知识引擎利用"LLM+RAG"技术结合私有知识库，提高问答助手的效率和准确率，显著提升企业业务能力。

https://mp.weixin.qq.com/s/R2svncnqiSZqRmyxKLC9hQ

六、 索尼警告700多家公司，不要使用其音乐数据训练大模型

1. 索尼音乐集团警告超过700家公司不得未经授权使用其音乐数据训练AI大模型；

2. 被禁止的数据类型包括录音、歌词、封面艺术作品及元数据；

3. 索尼强调尊重创作者的知识产权是必要的，合法使用需清晰展示数据使用流程。

https://mp.weixin.qq.com/s/wIZDRbaHUQy0SO9gfeNRMg

前沿科技

七、 ChatGPT如何「思考」？心理学和神经科学破解AI大模型，Nature发文

1. 研究者正在使用可解释人工智能（XAI）技术尝试理解复杂的大模型（LLM）如 ChatGPT 的内部运作，这些模型被视为"黑匣子"；

2. 由于其庞大的规模和复杂性，LLM的行为理解对于提高模型的安全性和准确性至关重要，尤其在承担重要任务如医疗咨询时；

3. 研究人员利用神经科学技术和心理学方法，通过分析模型的"神经"活动和构建世界模型来揭示其决策过程，以及通过"思维链提示"增强其表现。

https://mp.weixin.qq.com/s/gqJHakdJuTOj6TUKLxVgXQ

八、 英伟达联合创始人捐赠 7500万美元在纽约打造量子谷 Quantum Valley！

1. Nvidia联合创始人Curtis Priem向母校RPI捐赠超过7500万美元，以建立名为“量子谷”的量子计算研究中心；

2. RPI将成为全球首个在校园内拥有IBM制造的127量子位的量子计算机系统的大学；

3. 该计算机系统将整合到RPI的课程中，加速教学和研究，预计每年租用成本为1500万美元，并计划未来升级。

https://mp.weixin.qq.com/s/PU21qC5R2-TMQcYO-S2qOg

报告观点

九、 三年内迎接AGI时代：OpenAI联合创始人John Schulman预测AI进化路线

1. John Schulman预测AGI将在2027年实现，ASI在2029年到来，预示AI在未来几年将在科学研究和复杂任务上实现自主性飞跃；

2. 到2025/2026年，AI将能独立完成整个编程项目，包括代码编写、测试及迭代，以及处理错误和边缘情况；

3. 关于数据使用，John认为当前对数据不足的担忧被夸大，强调即使少量数据也能显著提升AI性能，大模型更具样本效率。

https://mp.weixin.qq.com/s/_5Y5wZNev_OlVZBxO_pzGw

十、 AI教父Hinton最新万字精彩访谈：直觉，AI创新的洞见、思考以及未来

1. Geoffrey Hinton 在AI和神经网络的探索中强调了直觉的重要性，并以其学生Ilya Sutskever为例，讨论了其在选择合作伙伴和学生时直觉的关键作用；

2. Hinton 讨论了AI模型的规模和复杂性对科技进步的影响，特别是他和Ilya在反向传播算法研究中的合作，以及大型模型如何通过增加数据和计算能力来提高性能；

3. 他还提到了多模态学习对AI理解和推理能力的潜在影响，认为引入图像、视频和声音将极大地改变模型的理解能力，尤其是在空间理解方面。

https://mp.weixin.qq.com/s/4EP-rk38W36DWbWSM2--Mw

👇订阅下方合集，获取每日推送