据公开资料，GPT-3训练数据集中中文仅占不到0.2%。互联网上中文语料本就质量不高，等AIGC开始流行后，很可能我们日常所接触到的大多数中文文本都是将基于这不到0.2%的数据变换重整而来，更糟糕的是这些海量文本还会被用作训练…

发布时间: 2023-03-06 17:01:16

2分

数据加载中

关注推特

收听电报

据公开资料，GPT-3训练数据集中中文仅占不到0.2%。

互联网上中文语料本就质量不高，等AIGC开始流行后，很可能我们日常所接触到的大多数中文文本都是将基于这不到0.2%的数据变换重整而来，更糟糕的是这些海量文本还会被用作训练…
推特中文圈
( twitter.com )

1年前由象牙山刘能提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了
大陆资讯
( www.jiqizhixin.com)

1年前 • 观光团 • -- 点击 0 评论

“中国因为疫情闭关的三年，正是OpenAI的GPT发展、壮大、产品化的三年。我们的中文互联网不足以提供高质量的训练数据。没有好的中文数据，我们就只能搭全球互联网的数据顺风车。上面这些优质数据的产生，需要开放的社区，我们似乎无解。”
时政
( chinadigitaltimes.net)

1年前 • 中国数字时代 • -- 点击 0 评论

闪电预览

OpenAI开发者大会亮点：
GPT-4 Turbo
支持128K上下文，相当于同时处理300多页文本内容；
训练数据更新至2023年4月；
添加JSON模式，更新了多个函数调用能力；
支持图像输入，集成DALL·E 3，自动总结图片内容；
价格比GPT-4输入便宜3倍，输出便宜2倍。

自定义GPT…
时政
( twitter.com)

1年前 • 外汇交易员 • -- 点击 0 评论

开源之光:RedPajama重塑大语言模型的未来
LLaMA最强平替，超12万亿训练数据，全开源
1. 开源12万亿训练数据，参考LLaMA数据集配比。
2. 模型马上开源
*标题由Claude生成…
推特中文圈

开源推荐
( twitter.com)

1年前 • nash_su • -- 点击 0 评论

从下面文章里，GPT-4的细节已经大量泄露

GPT-4架构、基础设施、训练数据集、成本、愿景和MoE
揭秘GPT-4：OpenAI在其架构方面做出的工程权衡。

英文可以参考：

下面情况具体的细节：
IT技术
( semianalysis.com)

1年前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

目前英文 7B 规模的 SOTA 模型是 zephyr-7b-beta。它放弃了质量参差不齐的开源数据集，使用ChatGPT和GPT-4 全新标注了 UltraChat 和 UltraFeedback 数据集（已开源）。是 llama-index 项目实测出来唯一能够支持 Agent 的小参数模型。

与之相比，中文开源模型虽多，数据集却很少开源。
时政
( twitter.com)

1年前 • 九原客 • -- 点击 0 评论

GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB…
推特中文圈
( twitter.com)

1年前 • 硅谷王川 Chuan • -- 点击 0 评论

该模型基于 LLaMA2 微调，具备 OpenAI Function Call 功能。目前数据集和训练过程还没有完全公开。
时政
( github.com)

1年前 • 九原客 • -- 点击 0 评论

微软称其13亿参数AI超千亿级GPT-3.5效果!

微软最近发布了一款名为phi-1的13亿参数的语言模型，该模型的训练数据来自网络的"教科书等级"的高质量资料集，甚至包括了由GPT-3.5处理过的"逻辑严密"的内容。微软的研发…
IT技术
( twitter.com)

1年前 • GPTDAOCN • -- 点击 0 评论

推特中文圈

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了 大陆资讯 ( www.jiqizhixin.com)

大陆资讯

时政

时政

开源之光:RedPajama重塑大语言模型的未来 LLaMA最强平替，超12万亿训练数据，全开源 1. 开源12万亿训练数据，参考LLaMA数据集配比。 2. 模型马上开源 *标题由Claude生成… 推特中文圈 开源推荐 ( twitter.com)

推特中文圈

开源推荐

从下面文章里，GPT-4的细节已经大量泄露 GPT-4架构、基础设施、训练数据集、成本、愿景和MoE 揭秘GPT-4：OpenAI在其架构方面做出的工程权衡。 英文可以参考： 下面情况具体的细节： IT技术 ( semianalysis.com)

IT技术

时政

GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB… 推特中文圈 ( twitter.com)

推特中文圈

该模型基于 LLaMA2 微调，具备 OpenAI Function Call 功能。目前数据集和训练过程还没有完全公开。 时政 ( github.com)

时政

IT技术

创建一个新帐户

登录

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了
大陆资讯
( www.jiqizhixin.com)

开源之光:RedPajama重塑大语言模型的未来
LLaMA最强平替，超12万亿训练数据，全开源
1. 开源12万亿训练数据，参考LLaMA数据集配比。
2. 模型马上开源
*标题由Claude生成…
推特中文圈

开源推荐
( twitter.com)

从下面文章里，GPT-4的细节已经大量泄露

GPT-4架构、基础设施、训练数据集、成本、愿景和MoE
揭秘GPT-4：OpenAI在其架构方面做出的工程权衡。

英文可以参考：

下面情况具体的细节：
IT技术
( semianalysis.com)

GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB…
推特中文圈
( twitter.com)

该模型基于 LLaMA2 微调，具备 OpenAI Function Call 功能。目前数据集和训练过程还没有完全公开。
时政
( github.com)