论文阅读高手 · 教育论文笔记(二)· Benchmark
[TOC] LongTutor: Benchmarking Large Language Models for Long-term Personalized Tutoring LongTutor: Benchmarking Large Language Models for Long-term Personalized Tutoring - ACL Anthology Idea 核心是根据长期记忆数据,制作了三个问题: 三个问题的类型由论文预先规定: Q1:信息提取——询问单条历史记录中的事实。 Q2:跨记录推理——要求综合多条历史记录回答问题。 Q3:幻觉检测——询问历史中不存在的信息,测试模型能否拒绝编造。 核心目的是:区分大模型**“能找到历史信息”“能综合历史信息”和“知道历史中没有某个信息”**这三种不同能力。 ...