优设问答你的职场经验书

大白(●—●) 邀你回答

2024/04/25

苹果也加入AI革新浪潮了,OpenELM 大模型开源,大模型领域会迎来新风向吗?

4月24日,苹果开源了大语言模型OpenELM。这与微软刚开源的Phi-3 Mini类似,是一款专门针对手机等移动设备的模型。

以下是一些重点信息的摘要: 1. 开源OpenELM: 苹果公司开源了一个名为OpenELM的大语言模型,这与微软开源的Phi-3 Mini类似,是专为移动设备设计的模型。 2. 模型参数: OpenELM提供了四种不同参数规模的模型,分别是2.7亿、4.5亿、11亿和30亿参数。 3. 功能: 该模型能够执行生成文本、代码、翻译、总结摘要等功能。 4. 预训练数据: 尽管最小的模型只有2.7亿参数,但苹果使用了1.8万亿tokens的数据进行预训练,这是其小参数下仍能表现出色的原因之一。 5. 深度神经网络库CoreNet: 苹果同时开源了用于训练OpenELM的深度神经网络库CoreNet,该库在开源后不久就在GitHub上获得了超过1100个星标。 6. 苹果的开源策略: 苹果通常在手机领域采取闭源策略,但此次开源可能是为了吸引用户,未来可能会推出闭源产品实现商业化。 7. 技术贡献: 苹果不仅发布了模型权重和推理代码,还发布了完整的训练和评估框架,包括数据准备、模型训练、微调和评估流程,以及多个预训练检查点和训练日志。 8. OpenELM架构: OpenELM的架构,包括其技术创新点,如无编码器的transformer架构、层级缩放策略、不使用全连接层中的可学习偏置参数等。 9. 训练流程与数据集: 苹果使用CoreNet作为训练框架,Adam优化算法,以及动态分词和数据过滤的方法。

开源地址:https://huggingface.co/collections/apple/openelm-instruct-models-6619ad295d7ae9f868b759ca?ref=maginative.com CoreNet地址:https://github.com/apple/corenet?ref=maginative.com 论文地址:https://arxiv.org/abs/2404.14619

2.4k 设计师围观了该问题
点赞 9 回答 2

刘谦Designer 邀你回答

2024/01/05

视频生成领域的 “ChatGPT 时刻”,什么时候会到来?

今年接触了太多 AI 工具了,AI 绘画的先不说,光是视频生成就已经让我震惊不已。今天刷到了一个 VideoPoet 作者的专访,分享的一些关于视频生成领域的观点非常有意思,其中关于视频生成领域的 “ChatGPT 时刻”的解读前瞻性十足,大家感兴趣的可以了解一下!

以下是引用: “ 视频生成的“ChatGPT 时刻”,我觉得大概是,哪怕模型生成的还是比较短的片段,比如 2-5s,但这个生成是可控的,人类也很难分辨是 AI 生成还是人类制作。从用户角度,只需要几美分的代价,就能获得一个可以被送到好莱坞专业 studio 的样片。如果类比的话,可以类比到图像领域 stable diffusion 1.x 或 2.x 版本,肯定还有再提升的空间,但已经到了能使用的程度,而且能激发很多应用。

我的预测是,到 2024 年底或 2025 年初,我们可能会到这个时刻。并且我认为,实现这个时刻肯定也需要 diffusion 参与,并且 diffusion 在未来一段时间,比如 1 到 2 年内,可能仍然是主流,扮演很重要的角色。这里说的 diffusion 已经包含了 transformer。

“ChatGPT 时刻”意味着模型到了一个相对稳定的阶段,但后面还会再改,只不过是在这个基础上做小的改动,可能一开始版本只能做到逼近好莱坞,有一些缺点,但可以商业化运用了,但要达到真正稳定需要更长时间。随后还可能仍会迭代升级。

现在市场上所有的视频生成都达不到这个标准,所以我认为视频生成的方法可能还需要进一步迭代,有可能要达到“ChatGPT 时刻”需要新的模型和方法,它不一定是全新的模型或者架构,可能是现在市场上的某个技术路线或者方案再往前走一步。”

2.4k 设计师围观了该问题
点赞 37 回答 4

近期热门问题

128位高手大咖在线答疑解惑

说清楚

完整的描述具体问题和细节

1

耐心等

回答问题需要认真思考,请耐心等待

2

巧咨询

还有疑问?及时追问获取更多答案

3
我要提问