直接在手机本地运行大语言模型！没想到这么快就实现了。“MLC LLM 是一种通用解决方案，允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone，电脑支持Ma…

发布时间: 2023-04-30 14:28:22

1分

数据加载中

关注推特

收听电报

直接在手机本地运行大语言模型！没想到这么快就实现了。
“MLC LLM 是一种通用解决方案，允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone，电脑支持Ma…
推特中文圈
( twitter.com )

1年前由 sundyme 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法”
大陆资讯
( wallstreetcn.com)

11个月前 • 拉拉么 • -- 点击 0 评论

闪电预览

有人尝试了借助开源大语言模型，无需联网在本机实现和游戏 NPC 自由对话，技术栈：
- Mistral7b，开源大语言模型
- StyleTTS2 文字转语音
- llama.cpp 用来运行大语言模型的库
生成一句新对话的时间大约为 2-3…
IT技术
( twitter.com)

11个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:02:16

推荐阅读：把大语言模型封装成桌面应用
作者使用Electron+Transformer.js，把大语言模型打包成桌面应用，这样就可以本地运行大语言模型。
另外作者开发了一个框架叫ollama（ 2、Mistral等，但目前只支持Mac和Linux，还不支持Windows。…
IT技术
( github.com)

11个月前 • 宝玉 • -- 点击 0 评论

大语言模型微调之道2——为什么要微调

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

这视频中，我们探讨了为什么要微调大语言模型（LLM）。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:14:35

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。
大陆资讯
( zhidx.com)

1年前 • 墙头看世界 • -- 点击 0 评论

闪电预览

推荐阅读：《深入了解大语言模型运维 (LLMOps) [译]》
这篇文章 5 月份的，但并没有过时，对于大语言模型的运维(LLMOps)讲的非常系统。
随着大语言模型的普及，未来的 Ops 肯定离不开 LLMOps ，甚至于需要专门的团队做 LLMOps。
文章中把 LLMOps 分成了几个关键步骤：
第 1 步：选择基础模型…
IT技术
( twitter.com)

11个月前 • 宝玉 • -- 点击 0 评论

来自OpenAI的Safety团队的负责人Lilian Weng发表的新文章：《Adversarial Attacks on LLMs | 大语言模型遭受的对抗性攻击》
现在随着大语言模型的流行，针对大语言模型的攻击也日渐增多。她在文章中将针对大语言模型的攻击分成了5类：
1. Token 操纵
微调输入文本的少量…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

【Meta 开发了实时翻译闽南语的 AI】该模型目前仍在开发中，并且只适用于那类具有中间语言可以桥接两个不同语言的语言，如果两个语言之类没有密切相似的可桥接语言的话，将无法使用这个新模型，但该模型仍然为通用翻译开辟了更多的新语言。
大陆资讯
( www.oschina.net)

2年前 • 你妹的溢达 • -- 点击 0 评论

闪电预览

没想到现在中国海警的日语已经这么好了，可以直接用日语和日本人吵架了（这发音比池袋99%的留学生都上手）——
时政
( twitter.com)

1年前 • 纵横日本 • -- 点击 • 下载视频 0 评论

推特中文圈

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法” 大陆资讯 ( wallstreetcn.com)

大陆资讯

有人尝试了借助开源大语言模型，无需联网在本机实现和游戏 NPC 自由对话，技术栈： - Mistral7b，开源大语言模型 - StyleTTS2 文字转语音 - llama.cpp 用来运行大语言模型的库 生成一句新对话的时间大约为 2-3… IT技术 ( twitter.com)

IT技术

IT技术

IT技术

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。 大陆资讯 ( zhidx.com)

大陆资讯

IT技术

IT技术

大陆资讯

没想到现在中国海警的日语已经这么好了，可以直接用日语和日本人吵架了（这发音比池袋99%的留学生都上手）—— 时政 ( twitter.com)

时政

创建一个新帐户

登录

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法”
大陆资讯
( wallstreetcn.com)

有人尝试了借助开源大语言模型，无需联网在本机实现和游戏 NPC 自由对话，技术栈：
- Mistral7b，开源大语言模型
- StyleTTS2 文字转语音
- llama.cpp 用来运行大语言模型的库
生成一句新对话的时间大约为 2-3…
IT技术
( twitter.com)

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。
大陆资讯
( zhidx.com)

没想到现在中国海警的日语已经这么好了，可以直接用日语和日本人吵架了（这发音比池袋99%的留学生都上手）——
时政
( twitter.com)