终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了

作者：机器之心发布时间：2023-07-31

一直以来，大家都对 GPT-4 的模型架构、基础设施、训练数据集、成本等信息非常好奇。奈何 OpenAI 嘴太严，很长时间以来，大家也都只是猜测这些数据。不久之前，「天才黑客」乔治・霍兹（Geor...【查看原文】

相关资讯

终极“揭秘”：GPT-4模型架构、训练成本、数据集信息被扒出来了

不久之前，「天才黑客」乔治・霍兹（GeorgeHotz）在接受一家名为LatentSpace的AI技术播客采访时透露出一个小道消息，称GPT-4是由8个混合专家模型组成的集成系统，每个专家模型都有2200亿个参数（比GPT-3的1750亿参数量略多一些），并且这些模型经过了针对不同数据和任务分布的训练。

GPT-4

机器之心Pro 2023-07-12

GPT-4被破解训练成本模型架构的秘密都被挖出来了？

几个小时前SemiAnalysis的DYLAN PATEL和DYLAN PATEL发布了一个关于GPT-4的技术信息，包括GPT-4的架构、参数数量、训练成本、训练数据集等。本篇涉及的GPT-4数据是由他们收集，并未公开数据源。仅

GPT-4

2023-07-12

OpenAI 最新模型 GPT-4 大揭秘：从架构、基础设施、训练数据集、成本、视觉到 MoE

今天SemiAnalysis的DylanPatel和GeraldWong发表了一篇题为《GPT-4Architecture，Infrastructure，TrainingDataset，Costs，Vision，MoE》的文章，揭示GPT-4的所有细节。文章中详细介绍了GPT-4的架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型等非常具体的参数和信息。架构肯定会发展到超越当前简化的基于文本的密集和/或MoE模型的阶段。(站长之家)

OpenAI GPT-4

2023-07-11

关于GPT-4的参数数量、架构、基础设施、训练数据集、成本等信息泄露

关于GPT-4的参数数量、架构、基础设施、训练数据集、成本等信息泄露品玩7月11日讯，据Twitter博主Yam Peleg的推文，发布了一个关于GPT-4的技术信息，包括GPT-4的架构、参

GPT-4

品玩 2023-07-11

Sora 究竟有多烧钱？Sora的推理与训练的计算成本被扒出来了

DiT只对图像进行建模，但Sora是视频模型，我们假设Sora在把图片变成视频的过程中没有额外计算。尽管目前Sora消耗巨大，但它不仅仅是一项技术，还是一个起点，我们相信，未来的视频生成将会形成一套完整的生态…

Sora

巴比特资讯 2024-04-01

近期资讯

【实探】华为手机，大降价！

12月29日，中国证券报·中证金牛座记者在华为旗舰店实探发现，近期，华为Pura70系列、MateX5等多款手机开启降价促销优惠。

中国证券报 2024-12-29

AMD RX 9070 XT功耗超过300W！但拒绝16针供电

快科技12月29日消息，AMD的新一代显卡RX9070XT、RX9070将会在CES2025期间正式发布，预计1月底春节前就会上市，更多曝料也不断出现。不过在NVIDIA全线普及12V-2x616针供电接口的情况下，AMD并不会跟进，而是继续使用传统的PCIe8针接口，预计公版标配两个(最大供电能力就有375W)，非公版上三个也不罕见。

驱动之家 2024-12-29

快科技 2024-12-29

国产大飞机进展神速，CR929突破大瓶颈，波音是否会退出我国市场

飞机作为现在常见的一种交通工具，频繁地接受着人们的运输任务，而要说中国最缺的其实就是国产的大型飞机。一提到国产大型飞机，大家一定会先想到C919，但这种机型现在已经难以满足我国的一些应用条件，在这样的情况之下，我国和俄罗斯选择了共同研制，制造我国的CR929。

科学知识点秀 2024-12-29

SpaceX计划今年进行144次发射，已完成133次

钛媒体App12月29日消息，截至12月29日，SpaceX在2024年度已完成133次发射，距离该公司在年初设立的年度目标还差11次。

钛媒体快报 2024-12-29

华为官宣：奖金300万元！

奥林帕斯奖奖金100万元人民币（含税）/个，奥林帕斯先锋奖20万元人民币（含税）/个，合计300万元。

中国基金报 2024-12-29

AI用“错”了，人真的会变笨！没骗你

近两年来，AI技术发展迅猛，对我们生活渗透的速度，可以用一日千里形容。当工作中为了提效，和人工智能协作时，我们应该将人工智能视为一个古怪的队友，而不是一个无所不知的仆人。

科普中国 2024-12-29

六足机器人打完冰壶还要登月六条腿为什么能更强？

今年我们看到了很多“机器狗”的新闻，比如在珠海航展上，“机器狗”搭载各种作战装备变成了“战狼”，还有一只山东的“机器狗”驮着物资往泰山上运。

环球时报新媒体 2024-12-29

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了

推荐体验

相关资讯

终极“揭秘”：GPT-4模型架构、训练成本、数据集信息被扒出来了

GPT-4被破解训练成本模型架构的秘密都被挖出来了？

OpenAI 最新模型 GPT-4 大揭秘：从架构、基础设施、训练数据集、成本、视觉到 MoE

关于GPT-4的参数数量、架构、基础设施、训练数据集、成本等信息泄露

Sora 究竟有多烧钱？Sora的推理与训练的计算成本被扒出来了

近期资讯

【实探】华为手机，大降价！

AMD RX 9070 XT功耗超过300W！但拒绝16针供电

史诗升级！iPhone 17将全系用上高刷

基于数字化转型的中医药企业智慧供应链模式

看看今年花多少支付宝年度总结来了：首页下拉可领

国产大飞机进展神速，CR929突破大瓶颈，波音是否会退出我国市场

SpaceX计划今年进行144次发射，已完成133次

华为官宣：奖金300万元！

AI用“错”了，人真的会变笨！没骗你

六足机器人打完冰壶还要登月六条腿为什么能更强？

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响