【论文解读|SIGIR2021】RCD: Relation Map Driven Cognitive Diagnosis for Intelligent Education Systems

admin管理员组

文章数量:1561807

文章目录

• 摘要
• 1 引言
• 2 相关工作
• 3 相关概念
• • 3.1 关系图
  • 3.2 问题定义
• 4 RCD
• • 4.1 模型概览
  • 4.1 嵌入层
  • 4.2 融合层
  • • 4.2.1 知识概念融合
  • 4.3 可扩展的诊断层
• 5 实验
• • 5.1 数据集
  • • 5.1.1 Junyi
• 6 结论

论文链接： Relation Map Driven Cognitive Diagnosis for Intelligent Education Systems
代码链接： https://github/bigdata-ustc/RCD

相关图神经网络应用研究
GKT
GIKT
PEBG
HGKT
EKT

静态图

摘要

认知诊断（CD）是智能教育中的一个基本问题，其目的是发现学生对不同知识概念的掌握程度。一般而言，以往的研究大多将其视为一个层间交互建模问题，如IRT中的学生-练习交互或DINA中的学生-概念交互，而概念之间的教育相互依存等内层结构关系仍未得到充分的探讨。此外，在CD系统中，学生-练习-概念层次关系缺乏全面的建模。为此，本文提出了一个新的关系图驱动的认知诊断框架(RCD），通过一个多层的学生-练习-概念关系图统一建模交互的结构关系。具体来说，我们首先将学生、练习和概念表示为层次布局中的单个节点，并构建三个定义良好的局部关系图来合并层间和内层关系，包括一个学生-练习交互图、一个概念-练习相关图和一个概念依赖图。然后，我们利用多级注意力网络来整合每个局部图中的节点级聚合和平衡不同局部图间的图级聚合。最后，我们设计了一个可扩展的诊断函数来预测学生的学习成绩，并对网络进行联合训练。在真实数据集上的大量实验结果清楚地显示了我们的RCD在诊断准确性提高和关系感知表示学习方面的有效性和可扩展性

1 引言

认知诊断(CD)已经被认为是智能教育应用中的一个关键任务[3,6,20]，如学生评估[4,22]和资源推荐[25]。原则上，一个CD系统由三个部分组成:学生、练习和知识概念。具体来说，根据学生的练习记录(如答对与否)，CD的目标是发现他们对特定知识概念[27]的实际掌握程度。
如图1 (a)所示，CD系统可以抽象为一个三层的学生-练习-概念层次结构。现有的CD研究基本上可以概括为从更高的角度建模不同层次之间的交互作用。例如，项目反应理论(IRT)[13]，多维IRT (MIRT)[1,36]和矩阵分解(MF)[24,41]试图用线性函数模拟学生与练习之间的交互，而神经认知诊断(NCD)[44]利用神经网络的高阶学生-练习互动。也有一些研究(例如，确定性输入，噪声与门(DINA)[10])通过将练习映射到相应的概念，直接使用所谓的q -矩阵来模拟学生与概念的交互。

虽然已经做出了很大的努力，但学生-练习-概念层次所包含的丰富信息还没有得到有效利用。具体来说，在这方面存在两个问题。首先，层次之间的多层交互应该完全建模，而不是部分建模(例如，学生-练习或学生-概念)。由于每一层的实体都具有特定的特性以及与其他层之间的独特交互，一个完整和全面的建模将对CD任务最有利。第二，除了层间的相互作用(如学生与练习之间)，还有复杂的内层结构，尤其是概念之间。已有足够的教育学研究[12,48]证明了知识概念之间存在相互依赖关系，通常用概念依赖图[30]来表示。不失一般性，图1（d）阐明了一个具有两个典型关系的概念依赖关系图:相似性和先决条件。具体来说，相似关系涉及到属于同一主题的一对概念。先决条件关系包括一对概念，假定学生应该逻辑地先学习一个，再学习另一个。这种结构信息显然有助于认知诊断系统任务。

然而，由于学生-练习-概念层次的复杂性，实现理想的CD系统仍存在困难。一方面，系统包含不同类型的关系，使其高度异构。另一方面，这些关系不是完全无组织的，而是在层次布局中。本文提出了一种基于关系图驱动的认知诊断(RCD)框架，该框架统一地对学生-练习-概念多层关系图的交互关系和结构关系进行建模。具体来说，与之前的工作不同，RCD使用嵌入层显式地表示学生练习概念层次结构中的所有实体。为了有效地学习关系感知的表示，我们引入了三种定义良好的局部映射，即学生-练习交互映射、练习-概念关联映射和概念依赖映射(在第3节中描述)，节点在这些映射上递归地聚合来自邻居的信息。由于每个节点被多个子图共享，因此设计了融合层（Fusion Layer），对每个节点应用复杂的节点级和子图级聚合，利用注意力网络自动平衡多层次信息。然后，给定关系感知表征，RCD通过一个精心设计的诊断函数预测学生的表现。此外，作为一个总框架，预期RCD将有能力扩展现有的方法。换句话说，RCD经过了良好的设计，因此它可以很自然地将额外的交互和结构信息混合到当前的方法中，并提高它们的性能。最后，在真实数据集上的大量实验清楚地证明了RCD的有效性和可扩展性。

---

综上所述，我们的主要贡献如下:

• 我们综合建模了CD的层次化学生-练习-概念关系，并将多种关系的互动性和结构性信息清晰地整合在一起。此外，我们设计了一个多层次的注意网络，以专注地了解模型如何偏好不同的子图。
• 我们提出的RCD与现有的CD方法具有很高的可扩展性，这很容易改进以前的CD研究，这些研究只以一种自然的方式模拟学生-练习的交互作用。
• 我们在真实世界的数据集上进行了广泛的实验，以验证RCD的有效性和可扩展性，包括定量比较、定性分析和可解释的可视化。

2 相关工作

认知诊断 认知诊断的任务源于一个教育学假设，即每个学生在静态场景(如考试)中的认知状态是稳定的，因此可以通过他们的交互行为(如历史练习记录)进行诊断。因此，现有的CD研究大致可分为两类:学生-练习交互模式和学生-概念交互模式。第一种类型的工作刻画了学生特征(例如，能力水平)和练习特征(例如，难度水平)，并通过交互函数对练习行为的表现进行建模。作为典型代表，传统的IRT[13]、MIRT[1,36]和MF[24,41]使用线性函数，而近期的NCD[44]则利用神经网络学习高阶非线性函数。另一种类型的工作直接建立学生-概念的互动，通过简单地忽略个别练习的特点，并用相应的概念替换它们。例如，DINA[10]用一个二进制向量表示每个学生是否掌握了知识概念。虽然现有的方法已经取得了很大的进步，但没有一种方法能够彻底地模拟学生、练习和概念，从而使丰富的信息得不到充分利用。
知识概念结构 根据教育理论[12,34,35]，知识概念通常不是单独存在的。有许多概念关系，它们规定了概念之间隐含的相互依存关系。在不失一般性的前提下，这些关系可分为有向关系和无向关系。方向性关系一般表示知识影响概念之间的传播，如先决关系[8]和补救关系[38]。相反，无向关系通常表示概念之间的知识重叠或相互作用，如相似关系[47]和协作关系[19]。概念之间丰富的结构信息已被证明对许多教育任务相当有帮助[8,29,39]。通过对关系图的建模，我们的RCD将知识概念结构恰当地融入到认知诊断中。

图结构建模 近年来，图结构建模[9]已经成为最受欢迎的话题之一，因为它对许多图结构数据建模的性能显著[7,52]。基于图的模型[15,33,45]的目标是学习节点或边的结构表示，以进一步支持各种图挖掘任务。作为最先进的技术，图神经网络(GNN)[14,17,37]在建模图结构方面取得了巨大的成功。GNN的核心思想是通过神经网络递归聚合来自邻近节点的特征信息。然而，之前gnn中的许多工作，如GAT[43]和GraphSage[16]，都是专为同构图设计的，对于许多具有各种类型的节点和边的现实问题，如上文提到的学生练习概念关系，这些工作是不够的。近年来，人们对图的异构性问题进行了大量的研究，主要集中在保存基于元路径的结构信息上。例如，metapath2vec和GTN使用手动设计或自动学习的元路径捕获层次结构。HAN[46]和HetG[51]考虑了多层次信息和注意机制，进一步改进了异质图学习。

3 相关概念

3.1 关系图

关系图表现为三个局部图，从上到下分别是概念依赖图、练习-概念关联图和学生-练习交互图。

3.2 问题定义

给定：学生练习序列 L L L，练习和概念的关系 R q c R_{qc} Rqc​和关系图 G G G
目标：通过建模学生表现预测过程诊断学生的认知状态，即在特定知识概念上的熟练度

4 RCD

在本节中，我们首先简要介绍我们的模型的一般描述。然后详细介绍了模型的各个部分。最后，我们演示了模型的可扩展性。

4.1 模型概览

我们的RCD模型可以基于异构关系图联合学习学生、练习和概念的关系感知表示，并利用所学的表示来推断学生对概念的熟练程度。如图2所示，RCD包含三个主要部分:嵌入层、融合层和可扩展诊断层。具体来说，通过获取响应记录，嵌入层输出概念、练习和学生的向量化嵌入表示。在融合层，我们实现了一个多层次的注意结构来自动平衡多层关系图之间的交互信息，从而有效地嵌入学习。在融合交互信息后，诊断层利用关系感知嵌入，通过预测每对学生练习的反应得分来推断学生的认知水平。特别是，我们的模型具有优越的可扩展性，因为它可以自然地将额外的交互和结构信息混合到当前的方法中，并提高它们的性能。

4.1 嵌入层

4.2 融合层

下面，我们将分别介绍如何更新概念、练习和学生嵌入。

4.2.1 知识概念融合

对于那些直接依赖，如先决关系[8]和补救关系[38]，前者的熟练程度预期要高于后者[8,29]，在直接依赖关系中，影响从前一个概念向后继概念单向传播。

4.3 可扩展的诊断层

5 实验

由于这项工作的主要贡献是设计了具有交互式和结构化信息的关系图，以实现准确和可解释的认知诊断(CD)，我们进行了实验，以回答以下研究问题:

• RQ1:与现有的认知诊断模型相比，我们提出的RCD在准确性方面表现如何?
• RQ2:在当前的方法中使用RCD混合交互作用和结构信息时，模型的性能如何?
• RQ3: RCD对学生-练习-概念多层次互动的建模效果如何?
• RQ4:RCD在关系图中捕捉学生与练习概念互动的能力如何?
• RQ5: RCD在诊断学生知识状态方面的可解释性

5.1 数据集

我们在Junyi和ASSIST两个真实数据集上进行了实验，这两个数据集都包含学习者的练习表现记录和练习概念相关性。此外，Junyi还提供了专家标注的概念依赖关系。在这两种学习系统中，学生可以重新提交答案，直到他们通过评估。由于这些原始数据集不适合静态诊断，我们首先对每个数据集进行预处理，只对每个受[21]启发的学生的多次提交使用第一次提交。为了保证每个学生都有足够的数据用于诊断，我们删除了每个数据集尝试少于15个响应记录的学生，类似于[31,44]。数据集的完整统计信息如表1所示。

5.1.1 Junyi

对于Junyi数据集，概念依赖关系包含先决关系和相似性关系。

6 结论

在本文中，我们提出了一个通用的认知诊断框架，即关系图驱动的认知诊断(RCD)，该框架综合考虑了学生-练习-概念之间的关系进行认知诊断。具体来说，我们首先将学生、练习和概念表示为层次布局中的单个节点，并构造了三个定义良好的局部关系图来合并层间关系和内层关系。然后，我们设计了一个多层次的注意网络，将各个局部地图中的节点级关系聚合和来自不同地图的平衡图级聚合结合起来。然后，我们设计了一个可扩展的诊断函数来预测学生的学习成绩。最后，在真实数据集上的大量实验清楚地表明了我们的RCD框架的有效性和可扩展性。我们希望这项工作能引起进一步的研究。

本文标签： 论文RelationmapRCDDriven