在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

作者：机器之心发布时间：2023-05-25

机器之心报道机器之心编辑部深度学习技术在人工智能领域取得了重大进展，在各种科学和工业应用中发挥了关键作用。这些应用通常涉及复杂的序列数据处理任务，包括自然语言理解、对话式人工智能、时间序列分析等，...【查看原文】

相关资讯

RWKV – transformer 与 RNN 的强强联合

在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 Attention Is All You Need 之后，基于 transformer 的强大的模型一直在不断地涌现，它们在 NLP 相关任务上的表现远远超过基于 RNN (Recurrent Neural Networks, 递归神经网络) 的

ChatGPT

HuggingFace 2023-05-31

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

本期为TechBeat人工智能社区第510期线上Talk！北京时间7月5日(周三)20:00，新加坡国立大学博士—侯皓文的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “RWKV论文解读 - 在Transformer时代重塑RNN”，届时将解密RWKV注意力机制。Talk·信息▼主题：RWKV论文解读 - 在Transformer时代重塑RNN嘉宾：新加坡国立大学博士侯皓文时间：北京时间 7月5日(周三)20:00地点：TechBeat人工智能社区http://www.te

人工智能

TechBeat人工智能社区 2023-07-07

微软新出热乎论文：Transformer扩展到10亿token

当大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。比如明星大模型 GPT-4 支持 32k token，相当于 50 页的文字；OpenAI 前

微软 OpenAI 大语言模型 GPT-4

机器之心 2023-07-09

Transformer——ChatGPT背后的核心架构

Transformer——ChatGPT背后的核心架构什么是Transformer？Transformer是一种神经网络架构，它在自然语言处理（NLP）领域引起了革命。与先前按顺序处理输入数据（如逐字阅读）的模型不同，Transformer能够并行处理输入数据的各个部分。这种并行处理能力是游戏规则的改变者，因为它允许模型一次性地学习一个词与句子中所有其他词的上下文关系，而不是逐个学习。这意味着它能更像人类一样理解语言。Transformer的组成部分Transformer模型主要由两部分组成：编码器和解码

ChatGPT

知识日新 2023-12-09

微软将ChatGPT相关技术扩展到更多工具中

北京商报讯（记者杨月涵）美东时间周一，微软宣布，将ChatGPT的技术扩展到其PowerPlatform平台上，这将允许其用户在很少甚至不需要编写代码的情况下，就能开发自己的应用程序。

微软 ChatGPT 编程

北京商报 2023-03-07

近期资讯

“格致论道·未来少年”科学讲坛举办 8位“阳光下的少年”登台演讲

中新网北京12月30日电(记者孙自法)记者12月30日从科学讲坛格致论道获悉，以“阳光下的少年”为主题的“格致论道·未来少年”第五期演讲活动近日在北京顺利举办，8位来自北京市海淀区的青少年登台演讲，分享他们各自奔赴热爱、敢于创新、勇于探索的成长经历和精彩故事。“格致论道·未来少年”科学讲坛以“阳光下的少年”为主题举办第五期演讲活动。

中国新闻网 2024-12-30

一场关于“量子力学”的跨年演讲明日和张朝阳一同迎接2025

搜狐创始人、董事局主席兼首席执行官、物理学博士张朝阳将以“生活在量子力学的世界里”为题，从微观视角解析我们存在的世界，和大家共同迎接2025年的到来。届时，搜狐视频“关注流”账号@张朝阳将全程直播。

搜狐科技 2024-12-30

杭州余杭杀出超级隐形冠军：年入8.35亿全球第十

近日，杭州余杭区杀出一个超级隐形冠军：鸿星科技，正式向上交所发起IPO冲刺。电子、消费电子、汽车电子、数据中心、医疗电子、智能家居等领域。什么是石英晶体元器件？它利用石英晶体（二氧化硅）压电效应制成，是一种频率控制元器件，可以产生稳定的脉冲，为电路提供基准频率信号，常用于电子设备的计时、频率控制等。

铅笔道pencilnews 2024-12-30

雷军预告小米SU7限定色明天亮相或为玫瑰红

【CNMO科技消息】12月30日晚，雷军预告了小米SU7的限定配色，表示：“再过2天，就是2025年，小米创业十五周年。”“我们准备了一份充满激情，又优雅浪漫的惊喜，小米SU7小米15周年限定色，明天见！”

手机中国 2024-12-30

WAVE 横山宏 MA.K AFSMKI AFSMKII 1/20 非涂装机甲拼装模型GK套件

比例：1/20尺寸：高约110毫米产品规格：塑料模型套件卡接式，无需粘合剂包含：标记水贴官方售价：216元到货时间：2025年2季度…

拆盒网 2024-12-30

越秀好产品∙温度篇丨空间载体，内容王道，“万物以人为尺度”

有温度的生活是健康的、有情感的、配套齐全的、贴心服务的……好产品的温度始终以人为本，以大产品的思维，跳出房子的框架之外，把房屋、环境、配套、城市界面都考虑在内，从空间场所到内容场景，实现软硬件一体化交付。

21世纪经济报道 2024-12-30

“手机壳”一键检测水质和果蔬农药残留重庆大学发布这些成果

12月30日，重庆大学举行2024年度概念验证项目发布会，学校概念验证中心正式揭牌启动。会上，重庆大学发布了“手机壳”一键监测水质和果蔬农药残留、高效稳定的太阳能电池、无感体征监测电子织物等多项科研成果。蔬菜水果农药残留情况怎么样？

上游新闻 2024-12-30

快手可灵VS抖音即梦，实测结果出炉

在AI图片、视频生成这条赛道上，随着入局者的增多，你追我赶之势愈发明显，各家都在不断升级“秀肌肉”。日前，发布仅6个月的快手可灵AI便宣布面向全球上线可图1.5图像模型，AI图片的画面质量和人像美感再上新台阶；同时推出全新的“AI模特”功能，以及发布基于可灵1.5模型的尾帧生成能力，对口型功能也上新更多音色。

观察者网 2024-12-30

敲出治愈节奏：在鸿蒙生态中，我的轻木鱼是这样诞生的

这一次，我们走进轻木鱼的诞生故事，探索这款基于HarmonyOS开发的元服务如何捕捉到这股"佛系解压"的浪潮，并以一种轻松有趣的方式帮助用户释放压力。无论是在职场卷生卷死的“打工人”，还是被生活压力包围的“社畜”，都在木鱼的节奏中寻找片刻安宁。

人人都是产品经理 2024-12-30

买新年“追光”装备来京东3C数码年货节享以旧换新至高补贴1500元

在跨年仪式感和氛围感成为“刚需”的当下，京东3C数码以年轻用户群体的多元化需求为出发点，在12月31日23点，由京东采销携手《心动的信号》嘉宾情侣杨汝晴、侯卓成，以及国家地理合作摄影师陈帆，在祖国最东边的黑龙江省抚远市开启诚意十足内容丰富的“追光”直播，与屏幕前的用户一同见证2025年的第一次日出。

iMobile爱科技 2024-12-30

在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

推荐体验

相关资讯

RWKV – transformer 与 RNN 的强强联合

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

微软新出热乎论文：Transformer扩展到10亿token

Transformer——ChatGPT背后的核心架构

微软将ChatGPT相关技术扩展到更多工具中

近期资讯

“格致论道·未来少年”科学讲坛举办 8位“阳光下的少年”登台演讲

一场关于“量子力学”的跨年演讲明日和张朝阳一同迎接2025

杭州余杭杀出超级隐形冠军：年入8.35亿全球第十

雷军预告小米SU7限定色明天亮相或为玫瑰红

WAVE 横山宏 MA.K AFSMKI AFSMKII 1/20 非涂装机甲拼装模型GK套件

越秀好产品∙温度篇丨空间载体，内容王道，“万物以人为尺度”

“手机壳”一键检测水质和果蔬农药残留重庆大学发布这些成果

快手可灵VS抖音即梦，实测结果出炉

敲出治愈节奏：在鸿蒙生态中，我的轻木鱼是这样诞生的

买新年“追光”装备来京东3C数码年货节享以旧换新至高补贴1500元

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响