4月24日,苹果开源了大语言模型OpenELM。这与微软刚开源的Phi-3 Mini类似,是一款专门针对手机等移动设备的模型。
以下是一些重点信息的摘要: 1. 开源OpenELM: 苹果公司开源了一个名为OpenELM的大语言模型,这与微软开源的Phi-3 Mini类似,是专为移动设备设计的模型。 2. 模型参数: OpenELM提供了四种不同参数规模的模型,分别是2.7亿、4.5亿、11亿和30亿参数。 3. 功能: 该模型能够执行生成文本、代码、翻译、总结摘要等功能。 4. 预训练数据: 尽管最小的模型只有2.7亿参数,但苹果使用了1.8万亿tokens的数据进行预训练,这是其小参数下仍能表现出色的原因之一。 5. 深度神经网络库CoreNet: 苹果同时开源了用于训练OpenELM的深度神经网络库CoreNet,该库在开源后不久就在GitHub上获得了超过1100个星标。 6. 苹果的开源策略: 苹果通常在手机领域采取闭源策略,但此次开源可能是为了吸引用户,未来可能会推出闭源产品实现商业化。 7. 技术贡献: 苹果不仅发布了模型权重和推理代码,还发布了完整的训练和评估框架,包括数据准备、模型训练、微调和评估流程,以及多个预训练检查点和训练日志。 8. OpenELM架构: OpenELM的架构,包括其技术创新点,如无编码器的transformer架构、层级缩放策略、不使用全连接层中的可学习偏置参数等。 9. 训练流程与数据集: 苹果使用CoreNet作为训练框架,Adam优化算法,以及动态分词和数据过滤的方法。
开源地址:https://huggingface.co/collections/apple/openelm-instruct-models-6619ad295d7ae9f868b759ca?ref=maginative.com CoreNet地址:https://github.com/apple/corenet?ref=maginative.com 论文地址:https://arxiv.org/abs/2404.14619
大家最近有关注 iPhone 15 吗?据说现在已确定iPhone 15 Pro Max 将搭载全新4800万像素的主摄像头,与上一代iPhone 14 Pro Max所使用的索尼IMX803相比,该传感器的尺寸接近于1英寸。iPhone 15 Pro Max的主摄像头采用了索尼IMX903,并且采用了全新的堆叠技术,使其具备出色的影像能力。
而且苹果用户一直诟病的信号问题,这次也貌似得到了解决。iPhone 15 Pro Max的饱和信号性能提升了约一倍,使得其图像传感器比以往更加出色。iPhone 15 Pro Max还引入了超大底传感器,可以和安卓阵营的1英寸影像旗舰相媲美。最最最劲爆的还是 iPhone 15 Pro Max 独家搭载了一款潜望式长焦镜头,可实现6倍光学变焦功能。
还有一点,必须要说一下,iPhone 15 Plus(基础款)的外观将采用灵动岛设计,同时中框也更加圆润。而15 Pro系列将引入类似于Apple Watch Ultra上的动作按钮,用户可以自定义功能,这也意味着静音开关将不再存在。
大家今年有没有准备换 iPhone 15 啊?