QLoRA 是一种LLM微调的新技术。- 12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％- 4bit训练，但是性能与16bit相当这个数据有点离谱。。

发布时间: 2023-05-25 07:31:21

1分

数据加载中

关注推特

收听电报

QLoRA 是一种LLM微调的新技术。
- 12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％
- 4bit训练，但是性能与16bit相当
这个数据有点离谱。。
IT技术
( twitter.com )

1年前由 orange.ai 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

看了两篇最近比较火的论文，里面说的内容太过于牛逼，让我感觉有点吹牛 😂：

1. QLoRA：最大亮点是降低微调模型所需的硬件资源。使用这个技术，只需要用 48G 的 GPU 就能微调 650 亿参数的模型，同时还保留 16 位微…
推特中文圈
( twitter.com)

1年前 • JimmyWong • -- 点击 0 评论

红杉预判的AI技术栈

这张图主要概括了在大语言模型（LLMs）API和自定义模型训练/调整技术栈中广泛采用和早期采用的各种工具和框架。

在LLM API技术栈中，有以下的工具：…
IT技术
( twitter.com)

1年前 • GPTDAOCN • -- 点击 0 评论

#工程师学习这个飞书知识库「一站式 LLM底层技术原理入门指南」，最开始看前面我以为是那种比较水的内容，看了看发现讲得很清晰，用于零基础入门大语言模型（Large Language Model, LLM)底层技术原理，最直接面向群体为非科班出身但想要了解AI技术原理的投资人。

IT技术
( s3tlxskbq3.feishu.cn)

1年前 • Tw93 • -- 点击 0 评论

发现个好东西💎
这是一篇用于零基础入门大语言模型（Large Language Model, LLM）底层技术原理的飞书文档
其最直接面向群体为非科班出身但想要了解AI技术原理的AI爱好者们
这篇文档从浅到深，覆盖非常非常多的LLM相关内容细节，并且持续更新迭代最新的技术进展
链接如下：👇
时政
( s3tlxskbq3.feishu.cn)

8个月前 • vigorxu • -- 点击 0 评论

大语言模型微调之道2——为什么要微调

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

这视频中，我们探讨了为什么要微调大语言模型（LLM）。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:14:35

卧槽 !! 完了完了完了。。。这 8.4K stars 的 repo,特么害我今晚睡不着了呀：
这份开源的 llm 微调库，一网打尽了所有微调过的中文大预言模型。法律，金融，科技，居然还有农业
IT技术
( github.com)

7个月前 • 黄赟 • -- 点击 0 评论

这篇文章看完了，作者对 ChatGPT 的路线梳理和技术理解都远远超过了各种博主up主，如果想了解的话，一定要读。

通向AGI之路：大型语言模型（LLM）技术精要
推特中文圈
( zhuanlan.zhihu.com)

1年前 • orange.ai • -- 点击 0 评论

闪电预览

清华 ChatGLM 的 llm 微调，拍案叫绝 !!

微调前，文案如水
微调后，文案似水

关键是，训练数据集的组织，非常简约
这妥妥的“洗稿”神器
IT技术
( www.heywhale.com)

1年前 • 黄赟 • -- 点击 0 评论

#AI开源项目推荐：privateGPT

基于私有LLM（大语言模型）做个人的文档问答，不必担心隐私泄露

技术栈是 LangChain 和 GPT4All
- LLM默认用的 ggml-model-q4_0.bin.
- Em…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

QLoRA 是一种LLM微调的新技术。 - 12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％ - 4bit训练，但是性能与16bit相当 这个数据有点离谱。。 IT技术 ( twitter.com )

IT技术

推特中文圈

红杉预判的AI技术栈 这张图主要概括了在大语言模型（LLMs）API和自定义模型训练/调整技术栈中广泛采用和早期采用的各种工具和框架。 在LLM API技术栈中，有以下的工具：… IT技术 ( twitter.com)

IT技术

IT技术

时政

IT技术

卧槽 !! 完了完了完了。。。这 8.4K stars 的 repo,特么害我今晚睡不着了呀： 这份开源的 llm 微调库，一网打尽了所有微调过的中文大预言模型。法律，金融，科技，居然还有农业 IT技术 ( github.com)

IT技术

这篇文章看完了，作者对 ChatGPT 的路线梳理和技术理解都远远超过了各种博主up主，如果想了解的话，一定要读。 通向AGI之路：大型语言模型（LLM）技术精要 推特中文圈 ( zhuanlan.zhihu.com)

推特中文圈

清华 ChatGLM 的 llm 微调，拍案叫绝 !! 微调前，文案如水 微调后，文案似水 关键是，训练数据集的组织，非常简约 这妥妥的“洗稿”神器 IT技术 ( www.heywhale.com)

IT技术

#AI开源项目推荐：privateGPT 基于私有LLM（大语言模型）做个人的文档问答，不必担心隐私泄露 技术栈是 LangChain 和 GPT4All - LLM默认用的 ggml-model-q4_0.bin. - Em… IT技术 ( twitter.com)

IT技术

创建一个新帐户

登录

QLoRA 是一种LLM微调的新技术。
- 12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％
- 4bit训练，但是性能与16bit相当
这个数据有点离谱。。
IT技术
( twitter.com )

红杉预判的AI技术栈

这张图主要概括了在大语言模型（LLMs）API和自定义模型训练/调整技术栈中广泛采用和早期采用的各种工具和框架。

在LLM API技术栈中，有以下的工具：…
IT技术
( twitter.com)

卧槽 !! 完了完了完了。。。这 8.4K stars 的 repo,特么害我今晚睡不着了呀：
这份开源的 llm 微调库，一网打尽了所有微调过的中文大预言模型。法律，金融，科技，居然还有农业
IT技术
( github.com)

这篇文章看完了，作者对 ChatGPT 的路线梳理和技术理解都远远超过了各种博主up主，如果想了解的话，一定要读。

通向AGI之路：大型语言模型（LLM）技术精要
推特中文圈
( zhuanlan.zhihu.com)

清华 ChatGLM 的 llm 微调，拍案叫绝 !!

微调前，文案如水
微调后，文案似水

关键是，训练数据集的组织，非常简约
这妥妥的“洗稿”神器
IT技术
( www.heywhale.com)

#AI开源项目推荐：privateGPT

基于私有LLM（大语言模型）做个人的文档问答，不必担心隐私泄露

技术栈是 LangChain 和 GPT4All
- LLM默认用的 ggml-model-q4_0.bin.
- Em…
IT技术
( twitter.com)