昨天尝试微调了一下4o-mini，总结如下：- 训练成本还是有点高了，$3/M - 简单试了一下，共消耗了19M token，减去2M 免费额度，计费17M token，$50；不太敢敞开了调超参数...- Max step 判定有bug，看规划需要118个step，但是一直训练到186 步才结束，导致overfit了；-

发布时间: 2024-07-25 23:30:12

1分

数据加载中

关注推特

收听电报

2

1

0

昨天尝试微调了一下4o-mini，总结如下：
- 训练成本还是有点高了，$3/M - 简单试了一下，共消耗了19M token，减去2M 免费额度，计费17M token，$50；不太敢敞开了调超参数...
- Max step 判定有bug，看规划需要118个step，但是一直训练到186 步才结束，导致overfit了；
-
时政
( twitter.com )

4个月前由 Simon 提交

昨天尝试微调了一下4o-mini，总结如下：

训练成本还是有点高了，$3/M
- 简单试了一下，共消耗了19M token，减去2M 免费额度，计费17M token，$50；不太敢敞开了调超参数...
Max step 判定有bug，看规划需要118个step，但是一直训练到186 步才结束，导致overfit了；
中间保留了几个checkpoints，效果比3.5/babbage微调要好；

接下来试试llama 3.1 8b，如果效果一样，还是用开源训练成本低～

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

关键在于，GPT-4o-mini 是真便宜啊😂
时政
( twitter.com)

4个月前 • Wang Shuyi • -- 点击 0 评论

2

3

2

2

一个基于GPT-4o-mini 的PDF OCR工具：Zerox
Zerox先将PDF 文件转换成图像，再由GPT-4o-mini识别并输出Markdown，最后将所有页面对应的 Markdown 结果汇总在一起形成完整的Markdown 文档
支持零样本 OCR、精度高、提供API接口；可以处理包含表格、图表等复杂布局文件，支持多种格式，包括扫描版
时政
( twitter.com)

4个月前 • AIGCLINK • -- 点击 0 评论

3

2

1

1

如果没有被灰度到 gpt-4o，可以试试这个 URL：
时政
( chatgpt.com)

6个月前 • 𝙋𝙖𝙨𝙨𝙡𝙪𝙤 • -- 点击 0 评论

4

2

1

1

OpenAI 新模型 gpt-4o-2024-08-06 以及 gpt-4o-mini 支持结构化输出了，和以前的 JSON 模式不一样，现在的结构化输出不仅可以定义 JSON 的 Schema（也就是 JSON 输出的结构是什么样子），而且可以确保输出的 JSON 是 100% 正确的。
第一眼看到我是不相信的，毕竟被它的 JSON
IT技术
( twitter.com)

3个月前 • 宝玉 • -- 点击 0 评论

5

2

1

1

Open AI 还有货，发布 GPT-4o mini 模型。
MMLU 得分为 82%，碾压其他同级别小模型。
价格也很低为 0.15 美元/100 万token输入和 0.6 美元/100 万token 输出。
比 GPT-3.5 Turbo 便宜超过 60%。
具有 128k 的大上下文窗口，非常适合 RAG。
GPT-4o mini 在 API
IT技术
( twitter.com)

4个月前 • 歸藏(guizang.ai) • -- 点击 0 评论

6

2

1

1

WSJ 今日发布了爆料文章，揭秘了 OpenAI 公司内部的冲突、八卦，原来 Mira 的离职和 4o 有关。
Mira 和 GPT4o
今年春季，OpenAI 为了抢走 Google 的风头，紧急发布了 4o。
在发布 4o 之前，只给安全团队9天的测试时间。
安全团队每天工作20小时，但仍然无法进行完整的安全测试，最终 4o 上线。
4o
IT技术
( twitter.com)

2个月前 • orange.ai • -- 点击 0 评论

7

2

1

1

OpenAI 终于开放了 GPT-3.5 的微调的API，如果嫌开源模型不够好用，又舍得花钱的话，真的是个好的选择。

花了点时间研究了一下官方的文档和Cookie Book，帮大家总结一下微调的一些常见问题。

1. 什么是微调（Fine-tuning）？…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

8

2

1

1

看到微博上一位医生这条被 ChatGPT-4o 坑的微博（见图1），尝试从技术角度解读一下，这样也许能更好的理解现阶段大语言模型的优缺点，在实际应用中能扬长避短。
首先回顾一下原博文中的用法，以保证我们讨论的是一件事，避免因为我的误解而错误解读。
“病人连续 5 天的化验结果，24 页 PDF 发送给
IT技术
( twitter.com)

6个月前 • 宝玉 • -- 点击 0 评论

9

2

1

1

在大家都在翘首以盼 OpenAI 发布 GPT-5 的时候，OpenAI 却只是先后发布了 GPT-4o和 GPT-4o mini，甚至推理能力智能程度还不如当初的 GPT-4，但是这两个新模型不仅支持了多模态，而且参数都要小于 GPT-4，生成速度很快，推理成本也低了很多倍。
这背后，应该是因为新的 GPT-4o
IT技术
( twitter.com)

4个月前 • 宝玉 • -- 点击 0 评论

0.12465 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特