陈丹琦团队又带着他们的降本大法来了——加拿大pc28开奖预测
数据砍掉三分之一，大模子性能却完全不减。
他们引入了元数据，加速了大模子预考察的同期，也不增多单独的诡计支出。
在不同模子范围（600M - 8B）和考察数据开端的情况下，均能杀青性能方面的升迁。
诚然之前元数传说念过好多，但一作高天宇示意，他们是第一个展示它如何影响下流性能，以及具体如何推行以确保推理中具备无数实用性。
来望望具体是如何作念到的吧？
元数据加速大模子预考察
讲话模子预考察语料库中存在着立场、范围和质料水平的远大各异，这关于设备通用模子才能至关热切，然而高效地学习和部署这些异构数据源中每一种数据源的正确举止却极具挑战性。
在这一布景下，他们提议了一种新的预考察情势，称为元数据转念然后冷却（MeCo，Metadata Conditioning then Cooldown）。
具体包括两个考察阶段。
预考察阶段（90%），将元数据（如文档 URL 的十足域名c）与文档拼接（如 “URL: en.wikipedia.org [document]”）进行考察。
（举例加拿大pc28开奖预测，如若文档的 URL 是 https://en.wikipedia.org/wiki/Bill Gates，那么文档 URL 的十足域名c等于 en.wikipedia.org；这种 URL 信息在许多预考察语料库中齐很容易得回，它们大多来自 CommonCrawl2（一个通达的积蓄握取数据存储库））
当使用其他类型的元数据时，URL 应替换为相应的元数据称呼。
他们只诡计文档秀美的交叉熵赔本，而不洽商模板或元数据中的秀美，因为在初步实验中发现，对这些秀美进行考察会略略挫伤下流性能。
终末10%的考察姿首为冷却阶段，使用法度数据考察，领受元数据转念阶段的学习率和优化器景况，即从上一阶段的终末一个查验点运行化学习率、模子参数和优化器景况，并赓续凭据假想养息学习率：
1）禁用跨文档Attention，这既加速了考察速率（1.6B 模子的考察速率提高了 25%），又提高了下流性能。
2）当将多个文档打包成一个序列时，咱们确保每个序列从一个新文档脱手，而不是从一个文档的中间脱手—当将文档打包成固定长度时，这可能会导致一些数据被丢弃，但事实阐明这成心于提上下流性能。
本次实验使用了Llama Transformer架构和Llama-3 tokenizer。咱们使用四种不同的模子大小进行了实验：600M、1.6B、3B 和 8B，以及联系优化成立。
放手流露，MeCo 的弘扬彰着优于法度预考察，其平均性能与 240B 秀美的基线至极，而使用的数据却减少了 33%。
终末记忆，他们主要完成了这三项孝敬。
1、 MeCo 大幅加速了预考察。
实考据明，MeCo 使一个 1.6B 的模子在少用 33% 的考察数据的情况下，达到了与法度预考察模子换取的平均下流性能。在不同的模子范围（600M、1.6B、3B 和 8B）和数据源（C4、RefinedWeb 和 DCLM）下，MeCo 流显露一致的收益。
2、MeCo 开启了带领讲话模子的新情势。
举例，使用factquizmaster.com（非的确URL）不错提高知识性任务的性能（举例，在零次知识性问题解答中十足提高了6%），而使用wikipedia.org与法度的无要求推理比拟，毒性生成的可能性裁汰了数倍。
我会国际发展部工作人员向与会嘉宾介绍了我会在柬埔寨的项目开展情况并向中柬各方给予的大力支持表示感谢。本次丝路心相通柬埔寨爱心物资共发放1.2万套爱心包裹和2000辆爱心单车。
“与传统的细胞治疗相比，CAR-M-c-MET疗法能够精准地识别并攻击胰腺癌细胞，就像给炸弹（CAR-M）装上了精确的制导技术一样，可以精确识别靶标c-MET，实现定向‘爆破’。从而减少对正常细胞的伤害，同时提高治疗效果。与其他传统的细胞治疗相比，CAR-M细胞具有更强的向肿瘤组织迁移浸润的能力，能更好发挥对肿瘤细胞的杀伤和吞噬作用。”刘乔飞表示。
3、消解了 MeCo 的假想采取，并阐明 MeCo 与不同类型的元数据兼容。
使用散列 URL 和模子生成的主题进行的分析标明，元数据的主要作用是按开端将文档归类。因此，即使莫得URL，MeCo 也能有用地整合不同类型的元数据，包括更简洁的选项。
陈丹琦团队
论文作家来自普林斯顿NLP小组（附庸于普林斯顿讲话与智能PLI）博士生高天宇、Alexander Wettig、Luxi He、YiHe Dong、Sadhika Malladi以及陈丹琦。
一作高天宇，本科毕业于清华，是2019年清华特奖得主，现在普林斯顿五年龄博士生，展望本年毕业，赓续在学界搞规划，规划范围包括当然讲话科罚和机器学习的交叉范围，至极关怀大讲话模子（LLM），包括构建诈骗情势、提高LLM功能和效果。
Luxi He现在是普林斯顿诡计机专科二年龄博士生，现在规划重心是相识讲话模子并改善其一致性和安全性，硕士毕业于哈佛大学。
YiHe Dong现在在谷歌从事机器学习规划和工程使命，专注于结构化数据的示意学习、自动化特征工程和多模态示意学习，本科毕业于普林斯顿。
— 完 —加拿大pc28开奖预测