加拿大pc28预测在线网站 用大模子吃瓜更智能了!阿里通义实验室提议新时期线追忆框架,全面晋升新闻追忆效用
当今,大模子不错帮你梳理新闻时期线了,以后吃瓜就更浅薄了!
AI Agent的风,我们赛博乐子东谈主也得吹吹。
这即是来自阿里巴巴通义实验室与上海交通大学的新商议,他们提议了一种基于Agent的新闻时期线纲目新框架——CHRONOS。
它不仅不错帮你从海量新闻中追忆出垂死事件,更垂死的是,它还不错梳理出明晰的时期线,以后上网冲浪时各式复杂事件都一目了然。
其中的CHRONOS一词取自希腊传说中的时期之神柯罗诺斯。
该框架通过迭代多轮的自我发问面貌,连络检索增强生成时期,从互联网上检索关连事件信息,并生成时期端正的新闻纲目,为新闻时期线纲目生成提供了一种全新的处罚决策。
先来一王人瞅瞅几个例子。
比如对于新闻“国足1-0巴林”,CHRONOS约略追忆海量新闻,呈现事件的一脉相承。
对于粉饰时期更长的新闻“中国探月工程”,CHRONOS也能聚焦重隐痛件,呈面前期线发展,使得用户约略一目了然。
补王人灵通域TLS短板
时期线追忆(Timeline Summarization, TLS)任务是一种当然说话处理范围的经典时期挑战,它旨在从无数文本数据中索求时弊事件,并依时间端正陈设,以提供对某一主题或范围历史发展的结构化视图。
举例,在新闻范围,时期线追忆不错匡助用户快速了解一个新闻事件的一脉相承。该任务不仅条件识别出垂死的事件,还需要交融事件之间的时期关系和因果讨论,以便生成一个连贯、爽气且信息丰富的时期线纲目。
凭据可检索事件的开头,不错将TLS任务细分为阻塞域(closed-domain)和灵通域(open-domain)两个设定:在阻塞域TLS任务中,时期线是从一组预界说的、与特定主题或范围关连的新闻著述中创建的,而灵通域TLS指的是从互联网上平直搜索和检索新闻著述来生成时期线的经过。
往时的责任东要鸠合于处罚阻塞域上时期线生成问题,而灵通域TLS则需要精深的信息检索和筛选才调,以及在莫得全局视图的情况下识别和设立事件之间讨论的才调,为这项任务提议了新的要乞降挑战。
迭代检索的CHRONOS框架
为了交接上述挑战,团队提议CHRONOS框架,通过迭代发问进行关连事件检索,生成准确、全面的时期线纲目,约略灵验地处罚灵通域和阻塞域两种设定下的TLS任务。
1. 动机
时期线生成的中枢在于设立事件之间的时期和因果关系。
每个新闻事件都不错被示意为一个不同的节点,任务的地点是设立这些节点之间的边,以展示它们的关连性,并最终酿成一个异构图,从主题新闻的节点源流。
因此,通过一个检索机制来检索关连的新闻著述,不错灵验设立这些边,酿成事件之间的讨论。
2. 概括
CHRONOS行使大模子的才调,通过模拟东谈主类信息检索的经过,即通过提议问题、基于检索落拓进一步提议新的问题,最终鸠合对于关连事件的全面信息并追忆为时期线。
CHRONOS包括以下几个模块:
自我发问 (Self-Questioning):最初搜索粗粒度的新闻配景信息,然后迭代地提议问题,以检索更多关连新闻。
问题改写 (Question Rewriting):将复杂或进展欠安的问题判辨为更具体、更易检索的查询。
时期线生成 (Timeline Generation):通过吞并每一轮检索生成的时期线来追忆一个凸起垂死事件的时期线。
3. 自我发问3.1 粗粒度配景调研
在自我发问的开动阶段,CHRONOS使用地点新闻的标题当作时弊词进行搜索,以鸠合与地点新闻最平直关连的信息。
这些信息组成了新闻配景(News Context),为自我发问打下初步基础。
3.2 发问示例摄取
在粗粒度配景调研之后,CHRONOS行使大模子的高下体裁习才调,通过极少样本指示来带领模子生成对于地点新闻的问题。
为了评估问题样本色量,引入了时序信息量(Chrono-Informativeness, CI)的意见,用来测度模子提议的问题检索与参考时期线对王人事件的才调,即高CI值的问题更有可能辅导检索到与地点新闻事件关连的著述,用检索生成的时期线和参考时期线中包含日历的F1分数进行测度。
基于最大化问题集时序信息量的地点,构建一个“新闻-问题”的示例池,用于带领新地点新闻的问题生成。
对于每个新的地点新闻,通过余弦相似性动态检索与地点新闻最相似的样本,确保了样本的高下文关连性和时期信息的准确性。
3.3 迭代发问
CHRONOS通过连气儿迭代发问,缓缓真切探索事件的细节。
每一轮迭代都基于前一轮的检索落拓,以发现新的问题和信息,直到知足时期线中事件数目或达到最大迭代次数。
3.4 问题改写
查询改写(Query Rewriting)是检索增强生成中常用的优化要津。
在CHRONOS框架中,团队通过对开动发问阶段产生的闲居或复杂问题改写为2-3个更易于检索的子问题,约略生成更具体、更有针对性的查询,从而提高搜索引擎的检索效用。
他们雷同在指示中加入极少样本,带领大模子进行灵验改写,将复杂问题转动为更具体的查询,同期保抓问题的原始意图。
3.5 时期线生成
CHRONOS通过两阶段生成圆善的时期线追忆:生成(Generation)和吞并(Merging)。
生成:通过分析每一轮检索到的新闻著述来识别时弊事件和详备信息。行使大模子的交融和生成才调,索求每个事件的发生辰期和关连细节,并为每个事件撰写爽气的刻画。这些事件和刻画被组织成初步的时期线,按照时期端正陈设,为后续的吞并阶段提供基础。
吞并:将多轮检索生成的初步时期线整合成一个连贯的最终纲目。这照旧过波及对王人不同时间线中的事件、处罚任何日历或刻画上的突破,并摄取最具代表性和垂死性的事件。
全新数据集OPEN-TLS
为了评估TLS系统,商议团队还鸠合了由专科记者撰写的对于近期新闻事件的时期线,构建了一个名为Open-TLS的新数据集。
与以往阻塞域的数据集比拟,Open-TLS不仅在数据集限度和内容上愈加种种化,粉饰政事、经济、社会、体育和科学时期等多个范围,何况在时效性上更具上风,为灵通域TLS任务提供了一个更全面和更具挑战性的基准。
实验落拓
1. 实验设定
实验基于GPT-3.5-Turbo、GPT-4和Qwen2.5-72B分歧构建CHRONOS系统,评测灵通域和阻塞域两个设定下TLS的性能进展。使用的评估想法主要有:
ROUGE-N: 测度生成时期线和参考时期线之间的N-gram交流。具体包括:(1)Concat F1:通过将系数日历纲目连气儿起来预备ROUGE,以评估举座的一致性;(2)Agree F1:仅使用匹配日历的纲目预备ROUGE,以评估特定日历的准确性;(3)Align F1:在预备ROUGE之前,先凭据相似性和日历接近性对瞻望纲目和参考纲目进行对王人,评估对王人后的一致性。
Date F1:测度生成时期线中日历与参考时期线中确实日历匹配进度。
2. 灵通域TLS
在灵通域TLS的实验中,CHRONOS与几个基线要津进行了比较,包括平直搜索地点新闻(DIRECT)和重写地点新闻以创建查询用于检索(REWRITE)。
对比之下,CHRONOS通过迭代自我发问和检索关连新闻著述的要津,权臣提高了事件追忆的质地和日历对王人的准确性,在系数想法上都跳动于基线要津。
3. 阻塞域TLS
在阻塞域TLS的实验中,CHRONOS与之前的代表性责任进行了比较,包括:(1)基于事件团聚要津的CLUST (Gholipour Ghalandari and. Ifrim, 2020);(2)基于事件图模子EGC(Li et al., 2021)和(3)行使大模子进行事件聚类的LLM-TLS(Hu et al., 2024)。
在Crisis和T17这两个经典数据集上的比较落拓披露,CHRONOS达到了与这些责任访佛的进展,在两个数据集的AR-2想法上得到了SOTA效用,讲解了其在不同类型事件和时期跨度上的精深性能和相宜性。
4. 运行时期分析
CHRONOS的另一个上风体当今效用方面。
与雷同基于大模子、但需要处理新闻库中系数著述的LLM-TLS要津比拟,它通过检索增强机制专注于最关连的新闻著述,权臣减少了处理时期。
这种效用的晋升使其在施行应用中更为实用,尤其是在需要快速反应的场景中。
郑敬基1962年出生于中国香港,祖籍福建省泉州市。他的演艺生涯始于上世纪80年代,最初以歌手身份出道,成为二人男子组合“风云乐队”成员,并凭借与黄宝欣合唱的《酒杯敲钢琴》一曲成名。随后,他涉足影视领域,参演了众多TVB剧集,如《烈火雄心》《卡拉屋企》《九五之尊》《反黑先锋》等,尽管多以配角身份出现,但凭借多年的演艺经历,他在荧幕上拥有了一定的曝光度和辨识度,成为不少港剧观众熟悉的面孔。
小S在网上晒出全家集体庆圣诞的合照,一家人咧嘴大笑,看起来十分开心。
案例商议:苹果居品发布时期线
团队真切分析了模子在处理具体新闻事件时的进展,通过摄取具有代表性的新闻事件,如苹果公司的要紧居品发布,约略不雅察到CHRONOS若何通过行远自迩的自我发问和信息检索来生成时期线。
在案例商议中,CHRONOS展示了其约略准确索求时弊事件和日历的才调,同期也揭示了在某些情况下可能需要改革的地方,举例对某些事件的遗漏或日历幻觉。
结语
CHRONOS框架通过连络大型说话模子的迭代自我发问和检索增强生成时期,为时期线追忆任务提供了一种新颖且灵验的处罚决策。
这种要津的中枢在于模拟东谈主类的信息检索经过,通过不休地提议和回话新问题来缓缓真切交融事件,最终身成一个全面且连贯的时期线纲目。
实验落拓已经充分讲解了CHRONOS在复杂事件检索和构建时期线方面的才调,展示了该框架在施行新闻时期线生成应用中的应用后劲和准确性。
同期,这种迭代发问的检索生成要津是否具有泛化到通用任务上的才调也值得未来进一步商议。
Reference:
[1] Demian Gholipour Ghalandari and Georgiana Ifrim. 2020. Examining the state-of-the-art in news timeline summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1322–1334, Online. Association for Computational Linguistics.
[2] Manling Li, Tengfei Ma, Mo Yu, Lingfei Wu, Tian Gao, Heng Ji, and Kathleen McKeown. 2021. Timeline summarization based on event graph compression via time-aware optimal transport. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 6443–6456, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.
[3] Qisheng Hu, Geonsik Moon, and Hwee Tou Ng. 2024. From moments to milestones: Incremental timeline summarization leveraging large language models. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 7232–7246, Bangkok, Thailand. Association for Computational Linguistics.
— 完 —加拿大pc28预测在线网站