在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

作者：机器之心发布时间：2023-05-25

机器之心报道机器之心编辑部深度学习技术在人工智能领域取得了重大进展，在各种科学和工业应用中发挥了关键作用。这些应用通常涉及复杂的序列数据处理任务，包括自然语言理解、对话式人工智能、时间序列分析等，...【查看原文】

相关资讯

RWKV – transformer 与 RNN 的强强联合

在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 Attention Is All You Need 之后，基于 transformer 的强大的模型一直在不断地涌现，它们在 NLP 相关任务上的表现远远超过基于 RNN (Recurrent Neural Networks, 递归神经网络) 的

ChatGPT

HuggingFace 2023-05-31

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

本期为TechBeat人工智能社区第510期线上Talk！北京时间7月5日(周三)20:00，新加坡国立大学博士—侯皓文的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “RWKV论文解读 - 在Transformer时代重塑RNN”，届时将解密RWKV注意力机制。Talk·信息▼主题：RWKV论文解读 - 在Transformer时代重塑RNN嘉宾：新加坡国立大学博士侯皓文时间：北京时间 7月5日(周三)20:00地点：TechBeat人工智能社区http://www.te

人工智能

TechBeat人工智能社区 2023-07-07

微软新出热乎论文：Transformer扩展到10亿token

当大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。比如明星大模型 GPT-4 支持 32k token，相当于 50 页的文字；OpenAI 前

微软 OpenAI 大语言模型 GPT-4

机器之心 2023-07-09

Transformer——ChatGPT背后的核心架构

Transformer——ChatGPT背后的核心架构什么是Transformer？Transformer是一种神经网络架构，它在自然语言处理（NLP）领域引起了革命。与先前按顺序处理输入数据（如逐字阅读）的模型不同，Transformer能够并行处理输入数据的各个部分。这种并行处理能力是游戏规则的改变者，因为它允许模型一次性地学习一个词与句子中所有其他词的上下文关系，而不是逐个学习。这意味着它能更像人类一样理解语言。Transformer的组成部分Transformer模型主要由两部分组成：编码器和解码

ChatGPT

知识日新 2023-12-09

微软将ChatGPT相关技术扩展到更多工具中

北京商报讯（记者杨月涵）美东时间周一，微软宣布，将ChatGPT的技术扩展到其PowerPlatform平台上，这将允许其用户在很少甚至不需要编写代码的情况下，就能开发自己的应用程序。

微软 ChatGPT 编程

北京商报 2023-03-07

近期资讯

全球最大万吨级纯电动运输船开工建造

12月30日，从三峡集团获悉，全球最大的万吨级纯电动运输船在湖北宜昌开工建设，正式进入建造阶段。·这艘万吨级纯电动运输船总长129.9米，型宽22米，型深7.7米，设计吃水6.5米，最大载重量达13740吨。·它搭载12个锂电池箱式电源，总电源量24000千瓦时，单个电源外观如同集装箱，不仅为船舶提供动力，还满足船上日常用电需求。

中国能源网 2024-12-31

一加Ace 5 Pro全面评测：最具性价比的骁龙8至尊旗舰游戏水桶机皇！

在一水的骁龙8至尊版顶级旗舰机型面前，这次的Ace5Pro以最具性价比的骁龙8至尊版性能旗舰的身份来到了我们跟前。一加Ace系列一贯以性能为核心基因，专注于实用与高效，舍弃了许多不必要的附加配置，因此，3399元的起售价造就了一加Ace5Pro，也促成了这款迄今为止最具性价比的骁龙8至尊版手机的诞生。

快科技 2024-12-31

华为轮值董事长孟晚舟新年致辞：前行路上，你我皆星辰

12月31日，华为轮值董事长孟晚舟发表了新年致辞，透露诸多信息。在致辞中，孟晚舟表示，人工智能的潮水正在涌入各行各业的生产系统，成为工人师傅们的得力助手，在数字化、智能化技术迅速普及的同时，低碳化技术正在点亮沙漠山野。

封面新闻 2024-12-31

科学还是魔法？《哈利·波特》与现代性的回声

人们获得了权力与知识，而代价是告别了充满诗意与富有人性的世界。从上世纪初托尔金的《魔戒》系列，刘易斯的《纳尼亚传奇》，两人的学生戴安娜·琼斯创作的《哈尔的移动城堡》，到世纪末罗琳的《哈利·波特》，每一次都精准锚定了人类企图逃离现实牢笼的幻想。人们对魔法的心态由古典时期的猎奇探索到中世纪时转变为恐惧，由恐惧所诞生的极端表现不是躲避而是暴力。

澎湃新闻 2024-12-31

消息称三星电子 2nm 制程初始良率优于上代，获韩企 NPU 代工订单

IT之家12月31日消息，韩媒ChusunBiz今日表示，三星电子正对下代2nm先进制程进行量产测试。报道指与上代开发进程十分坎坷的3nm相比，2nm制程的初始良率超出了预期。

IT之家 2024-12-31

华为服务日2025全新升级：八年坚持，将温暖服务带给用户

自2017年起，华为服务日活动已经持续开展八年，在每个月第一个连续的周五至周日为广大用户提供一系列实在的权益。2025年华为服务日活动推出笔记本电脑免费拆机清洁保养（含外观）服务，帮用户省钱省心又省事。围绕用户需求，2025年华为服务日活动贴心地推出了穿戴产品免费贴膜服务。

DoNews 2024-12-31

三星的尴尬：韩国不相信它了，宁愿花1000亿，另造一家“韩积电”

在技术上，三星这些年似乎是与台积电不相上下，大家一起进入10nm，一起进入7nm、5nm，甚至在3nm上，三星还领先了半年，采用了更先进的GAAFET晶体管技术。之前有人称三星3nm良率可能只有10-20%，10颗芯片里面，有8颗，甚至9颗是块的，根本就没法用，所以后来高通、联发科、英伟达等，都转单台积电了，连三星自己猎户座芯片，都不用。

科技plus 2024-12-31

极目新闻 2024-12-31

在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

推荐体验

相关资讯

RWKV – transformer 与 RNN 的强强联合

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

微软新出热乎论文：Transformer扩展到10亿token

Transformer——ChatGPT背后的核心架构

微软将ChatGPT相关技术扩展到更多工具中

近期资讯

全球最大万吨级纯电动运输船开工建造

一加Ace 5 Pro全面评测：最具性价比的骁龙8至尊旗舰游戏水桶机皇！

华为轮值董事长孟晚舟新年致辞：前行路上，你我皆星辰

科学还是魔法？《哈利·波特》与现代性的回声

消息称三星电子 2nm 制程初始良率优于上代，获韩企 NPU 代工订单

华为服务日2025全新升级：八年坚持，将温暖服务带给用户

三星的尴尬：韩国不相信它了，宁愿花1000亿，另造一家“韩积电”

iPhone SE 4涨价500元！

华为轮值董事长孟晚舟发声

武汉市第三医院：建设智慧医疗体系，让群众享受便捷医疗服务

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响