学习分析视角下的问题解决能力测评框架研究

彭政东 ,  严大虎

中国医学教育技术 ›› 2025, Vol. 39 ›› Issue (3) : 393 -402.

PDF (753KB)
中国医学教育技术 ›› 2025, Vol. 39 ›› Issue (3) : 393 -402. DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202503017
技术与教育

学习分析视角下的问题解决能力测评框架研究

作者信息 +

A study on the assessment framework of problem solving ability from the perspective of learning analytics

Author information +
文章历史 +
PDF (771K)

摘要

教育过程中会产生大量的学习数据,使编程问题解决过程中的“学习黑箱”变得复杂,实际编程情境中学生表现不佳,基于残缺数据的学习分析难以精准反映学生的学习状况和问题解决能力。本研究基于学习分析黑箱模型,通过对学习者、学习过程及其环境数据进行采集、分析与报告,从而精准评测学生的问题解决能力,构建学习分析视角下的问题解决能力测评框架,运用时序分析技术和统计分析技术等,将学习数据与不同维度的问题解决能力实现映射,解密编程问题解决过程中的学习黑箱,并通过教学干预优化学习环境和教学设计,提高学生的问题解决能力。研究遵循理论牵引、应用支撑和数据论证的测评思路,在“数据库技术及应用”编程课程中开展实验以验证框架的有效性。结果表明,该测评框架的构建有助于学生问题解决能力的培养,在编程教学中具有实用价值和指导意义。

Abstract

In the process of education, a large amount of learning data will be generated, which makes the “learning black box” in the process of programming problem solving complicated. In the actual programming situation, students’ performance is poor, and learning analysis based on incomplete data is difficult to accurately reflect students’ learning status and problem solving ability. Based on the black box model of learning analysis, this study collects, analyzes and reports the data of learners, learning process and their environment, so as to accurately evaluate students’ problem solving ability, build a problem solving ability evaluation framework from the perspective of learning analysis, and map learning data with different dimensions of problem solving ability by using time series analysis and statistical analysis techniques. The learning black box in the process of programming problem solving is decrypted, and the learning environment and teaching design are optimized through teaching intervention to improve students’ problem-solving ability. Following the evaluation ideas of theoretical traction, application support and data demonstration, experiments were carried out in the programming course “Database Technology and Application” to verify the effectiveness of the framework. The results show that the evaluation framework is helpful to the cultivation of students’ problem-solving ability and has practical value and guiding significance in programming teaching.

Graphical abstract

关键词

问题解决能力 / 学习分析 / 测评框架 / 编程课程

Key words

problem solving skills / learning analytics / assessment framework / programming course

引用本文

引用格式 ▾
彭政东,严大虎. 学习分析视角下的问题解决能力测评框架研究[J]. 中国医学教育技术, 2025, 39(3): 393-402 DOI:10.13566/j.cnki.cmet.cn61-1317/g4.202503017

登录浏览全文

4963

注册一个新账户 忘记密码

随着21世纪科技的飞速发展,各国对高校教育培养具备创新素质和实践能力的人才的期望日益强烈,问题解决能力已经成为衡量高校人才全面发展的重要指标。中国《国家中长期教育改革和发展规划纲要(2010 — 2020 年)》[1]明确提出要着力提高学生善于解决问题的实践能力。此外,经济发展与合作组织所开展的PISA测评结果显示,数字化学习环境下学生问题解决能力的培养较差,这也驱使着问题解决能力的培养成为中国高等教育的一项重要内容。在实际教学中,编程教育一直是培养学生问题解决能力的主要阵地,这归因于学生在编程过程中会通过分析问题、编写代码并纠错调试以解决问题,这与问题解决的过程相契合。但当下仍然存在众多问题使得编程学习中问题解决能力的培养和精准测评难以有效开展。
具体来说,智能技术的发展虽然使编程学习的途径和方法逐渐多元化,减轻了学习负担,但学生仍面临着诸多困难。例如,在编程学习中,学生经常会遇到“能解决特定问题,但无法迁移到实际情境中”的困境,难以做到举一反三。部分学生通过学习仍然无法明晰“能解决何种问题”,甚至在解决问题后对“是否能解决类似问题及相关问题”没有明确的判断,这表明学生问题解决的思维能力有所欠缺。同时,编程过程中所产生的大量学习数据使学生在问题解决过程中的“学习黑箱”变得复杂。由于问题解决过程更多是内隐加工的形式,传统的“黑盒”测试对其背后的潜在原理与运作机制大多无从知晓,而当前常用的纸笔测试、实验测评、问卷测试等难以精准揭示学生不同维度问题解决能力存在的不足,因此可以从学习分析的角度入手,对学习者及其环境数据进行测量、采集、分析与报告,以理解和优化学习及其环境,为问题解决能力测评提供有力支持。但是,真实学习情境中的数据量大,数据来源广,进行学习分析会存在数据收集不全面等问题,导致基于残缺数据的学习分析难以精准反映学生的学习状况和问题解决能力。为解决上述问题,本研究构建了学习分析视角下的问题解决能力测评框架并开展实验以验证其有效性。

1 问题解决能力研究综述

着眼于问题解决过程,不难发现问题解决能力和问题解决能力测评是不可或缺的,三者相互依存,相互影响。问题解决过程是问题解决能力得以体现和应用的平台。问题解决能力又决定着问题解决过程的效率和效果。而问题解决能力测评则是对问题解决过程与能力的量化和评估。测评的结果又为优化问题解决过程和提升能力提供依据和指导。因此,本研究从以下三方面展开综述,并阐述其在实际编程情境中的内涵。

1.1 问题解决过程研究现状

最早在心理学领域,问题解决过程被分为问题表征、策略选择、策略运用和结果评价四个阶段。根据杜威的观点,问题解决阶段包括“遭遇困难、界定困难所在、建议问题的解答并提出假设、演绎推理出解答的结论、验证假设”[2]。奥苏伯尔将其划分为四步,即呈现问题情境、明确问题目标与已知条件、填补“已知条件”和“目标”之间的空隙、解答后的检验[3]。PISA综合前人研究提出了新的整合模型并将其分为四阶段,即探索和理解、表征与分析、计划和执行、监测与反思[4]。中国学者袁维新等[5]将问题解决划分为发现问题、分析问题、提出假设和检验假设四个阶段。通过总结发现,这些问题解决过程都关注了发现问题、选择策略、运用策略以及评价结果,这与编程过程高度契合。学生通过提取要点、分析问题、算法设计、程序编写与调试、交流优化程序等流程解决编程问题,编程学习正是由于其所具备的逻辑性和抽象性而被视为问题解决能力培养的有力手段。

本研究结合实际的数据库编程课程情境,参考PISA测试将编程问题解决过程划分为:①理解问题,从不同的问题呈现形式中识别编程问题要点,理解题目信息,确定问题分类。②描述问题,找到编程问题中的变量,并明确变量间的关系,提出相应的假设。③展示问题,能够表征自己对编程问题的理解和认知,能以不同的形式展现问题及其逻辑。④解决问题,根据所学知识分析问题,作出决策,设计解决方案,不断调试、诊断并实施。⑤反思解决方案,审视问题解决的全过程,从不同的角度反思评价解决方案。⑥交流解决方案,选择合适准确的形式向他人表述交流并改进问题解决方案。在上述过程中,学生作为问题解决主体的地位得以凸显。

1.2 问题解决能力研究现状

不同领域的研究者从各自研究的视角出发,对问题解决能力进行了概念界定。在学科教学领域,问题解决能力被界定为“解题的能力”,心理学认为问题解决能力是智能的重要表现等[6]。近年来,国际社会日益关注对问题解决能力的培养和评价,《2003年PISA测试的框架:数学、阅读、科学和问题解决的知识与技巧》手册[7]把问题解决能力定义为个人运用认知过程来面对并解决一个真实、跨学科情境中问题的能力,在解决问题的过程中需要用到的知识和技巧,而不局限于某一学科或单独的领域,这也是使用最广泛的一个定义。

本研究指向的是如何提升大学生的编程问题解决能力。在编程特征的基础上,将问题解决能力界定为:学生在各种编程课程的问题情境下,能够发现问题并基于知识和经验对编程问题展开分析和推理,通过自主或合作探究的方式,寻求问题解决的策略或方法,进而解决问题的一种高阶思维能力。其中,编程问题解决能力可分为理解、分析、推理、实践、反思和表达六个维度,具体内涵如下:①理解,即利用所学知识或经验理解文本、图表、编程语句及具体编程情境的能力,包括对编程问题中显性的和隐性的线索获取、识别编程问题要点、对问题情境的感受等。②分析,即分析编程问题中的变量及其相互之间的关系,分清直接变量和间接变量,检索并组织能够用于提出问题解决假设的信息。③推理,即通过解决方案假设,将自己对编程问题的理解表征出来,推理不同的假设可能导致的相关结果,并能够根据结果反推验证提出假设的合理性。④实践,即通过操作将提出的假设付诸实践以解决问题,包括通过符号的形式(做题)或实际操作的形式解决编程问题。⑤反思,即根据结果对问题情境、提出的假设和操作的过程进行审视,找出存在的问题并优化需改进的地方。⑥表达,即与他人交流对问题情境的理解、将问题解决的过程和结果表述出来的能力,包括口头表达能力和书面表达能力。

1.3 问题解决能力测评研究现状

问题解决能力一般以某种成果的呈现形式来表征,在对其进行测评时,往往在量化测评方面存在一定的困难,许多学者从不同维度对问题解决能力进行测评。Heppner等[8]根据李克特五点量表编制了问题解决能力调查问卷,包括解决问题的信心、风格和情绪控制力等方面。目前,PISA问题解决能力测评已在多个国家应用并得到普遍认可,具有较高的信度和效度。2003年PISA测评维度包括问题类型、问题解决过程和认知方法,2012年PISA测评维度包括问题情境的性质、嵌入任务的解决问题过程和问题的背景。杨滨等[9]根据国际成型的PISA学生问题解决能力测试,运用质性和量化相结合的研究方法,综合观察数据、作品分析、问卷及访谈等多种数据来源,构建了Q-C-Q综合测评体系和数据整合分析模型,对学生问题解决能力的六种子能力进行分项测评。

随着技术的发展,问题解决能力的测评方式有所变化,总体上由问卷测试、纸笔测试、实验测试等转变为依托智能技术收集学生的全方面过程数据实现精准测评,但仍然存在难以检测问题解决过程中的认知变化和心理变化等因素的困难。问卷测评、实验测评的方式容易受学生主观因素的影响,学生在设定的问题和实验情境下填写问卷并完成相关任务,最后的结果会受限于测评者制定的评价标准,往往存在不确定性。而纸笔测试只记录相关答案,缺乏问题解决过程和使用的策略。这些测评方式在一定程度上忽视了过程性评价[10]。在数字化智能环境下,学者们尝试依托智能技术将问题解决能力嵌入学习过程,通过对大量关联数据进行采集分析并提供实时反馈来优化问题解决过程,以实现多维测评。例如:胡艺龄等[11]提出并构建了反映问题解决心理过程的能力评价模型,借助学习分析技术来探索问题解决过程中的认知表示逻辑和行为符号,以时间为标记来描述学生行为轨迹,从而做到实时评价。李锋[12]依托在线技术将问题解决能力评价嵌入学习过程,跟踪、收集与分析学生问题解决过程中的指标数据,以评价报告的方式进行反馈。本研究通过记录全方面的学习数据,重现信息加工层面的认知模式和知识建构过程,从而助力测评并解密学习黑箱。

2 问题解决能力测评框架构建

2.1 基于学习分析的问题解决能力测评框架构建

本研究参考李海峰、王炜基于2022版《学习分析手册》总结的学习分析黑箱模型[13]构建问题解决能力测评框架,在线上智能辅导系统和线下教学融合的“数据库技术及应用”大学编程课程中,对学生编程学习的问题解决过程(理解问题、描述问题、展示问题、解决问题、反思解决方案、交流解决方案)进行剖析,从学习分析的视角对问题解决过程中的行为符号和学生的认知过程实现映射。运用时序分析和统计分析等技术手段,有效组织、分析并理解学习数据,建立问题解决能力与学习数据之间的对应关系,基于数据分析的结果对不同维度的问题解决能力进行测评,解密学习黑箱,探索学习规律、学习绩效、学习策略或方式,发现学习中的潜在问题,预测学习结果,并提供相应的学习策略促进有效学习;同时,教师根据结果优化教学设计或提供教学干预来改善学习环境。其中,学习分析黑箱模型如图1所示,学习黑箱指尚未探明的学习者内部心理加工学习机制、学习规律及内外相互作用的学习原理。以教学设计为核心的学习环境、学习过程、学习内容、学习者是主要对象和重要数据来源,学习内容及其设计影响着学习环境和学习过程的数据生成和数据类型。

实际的教学过程与学生问题解决过程高度契合,可以引导学生更高效地解决问题,主要包含六个步骤:①创设编程学习的情境,开展混合式编程教学。教师根据学生的背景经验和知识水平设定适当难易程度的(诸如班级学生数据表、公司雇员表等)编程问题情境和问题群,其中问题群的设计要基于教学目标和能力要素,规划每节课的教学内容,并布置相应的问题。②引导问题识别,提炼要点。教师引导学生识别问题,学生根据实际问题和学习需求,选择并使用智能系统中的资料或其他学习资源,为编程问题解决过程中的假设、问题表征等提供真实依据,在真实场景中把握问题切入点,提取要点。③组织分析问题,开展自主或协作学习。教师组织学生通过自主或协作等学习方式进行编程问题解决,找到编程问题中的变量并确定变量间关系,用自己的理解对问题进行描述表征。④引导问题解决与方案制定。教师引导学生运用所学知识和相关资源处理问题,确定解决方案,不断调试并优化方案来解决问题。⑤组织反思与交流。教师组织个人或小组相互交流,吸纳优秀解法和建议,在这一过程中深入理解问题,促进知识迁移并反思不足。⑥课堂测评与总结,完成相应的教学目标。教师根据学生的表现,结合各项过程性数据和能力测评的结果对学生进行行为监测、动态分析和综合评价,及时调整教学方案,学生及时调整学习策略。其中,解决编程问题的思路遵循“提取要点—分析问题—设计算法—编写程序—调试、完善程序—交流、优化程序”这样一个完整链条。

本研究针对编程问题解决过程进行学习分析,从问题解决能力的六个维度,即理解、分析、推理、实践、反思和表达展开全面测评,并遵循理论牵引、应用支撑和数据论证的评估思路来验证测评框架的有效性。具体的问题解决能力测评框架如图2所示。

研究参考PISA2003问题解决能力测评分类标准,并结合数据库编程课程的实际学习状况,将每个维度的编程问题解决能力划分为四个等级,不同维度问题解决能力等级如表1所示。

2.2 数据源分析

基于学习分析对多来源数据进行深入挖掘分析得出精确的结果来测评学生的问题解决能力是研究的重点所在。当学生处在实际的问题情境中时可能会面临各种突发情况或采取不同的学习策略,尽管当下众多编程课程都会提供学习平台,但平台难以全面采集学生的相关数据,例如部分学生会查阅其他网站、观看视频教学等进行学习。因此,本研究加入课堂观察表及学习策略、学习困难、课程及系统意见等方面的问卷和访谈等补充数据来源。最后,对各来源数据进行整合分析,生成图表类型的可视化结果,深入了解学生解决问题的过程并分析能力薄弱之处。

数据指学生在学习环境中进行学习的一切举动和行为产生的数据,包括学习者数据和学习环境数据。学习者数据包括学生基本信息、学生认知状态(如测试数据、知识掌握等级等)、学生行为数据(如互动交流、信息搜索、操作交互等);学习环境数据包括教学目标、评价指标和学习资源等。本研究中涉及的学习数据详情如图3所示。

3 问题解决能力测评框架的应用

3.1 测评工具及方法

为全面准确地掌握学生编程问题解决能力的实际情况,结合数据库编程课程的特点以在线智能系统和设计的问题解决能力前后测问卷、学习方式等方面的调查问卷、访谈提纲、课堂观察记录表作为测量工具。以下是测量工具的详细说明。

首先,设计的编程问题解决能力前后测问卷包含6 个维度,共计25 个题目。其中,理解、分析、推理、反思等四个维度主要通过问卷、访谈及课堂观察的方式进行测评,而实践、表达等两个维度主要通过智能系统收集的学习行为数据以及部分问卷进行测评。同时,还设计了调查学生学习工具、学习感受、学习困难等方面的问卷问题。

其次,对教师和部分学生进行访谈补充收集数据。通过访谈了解教师对课程开展的真实看法,包括课堂教学效果、学生学习情况、能力培养过程存在的问题等,分析教师的访谈信息有助于精准捕捉学习痛点。对部分学生的访谈内容包括课堂满意度、问题的解决情况、智能系统的使用、学习的收获和课程建议等,并深入分析以了解学生的学习实况和感受等。

随后,课堂观察表的设计参考崔允漷教授[14]的LICC课堂观察框架,该框架将课堂要素分为教师教学、学生学习、课堂性质和课堂文化等四个部分,其中学生学习为核心,其余为影响学习的关键要素。本研究结合编程教学实况,以学生学习为主要维度,选取互动、自主、达成等三个视角记录课堂学习情况。

此外,对编程智能系统中的数据进行分类,根据数据特征与不同维度的能力实现映射,运用时序分析技术和统计分析技术对数据进行整合分析并展开测评,将结果以可视化图表的呈现形式进行表征。

最后,基于数据分析的结果改进学习策略或教学干预以优化学习条件,提高学习效果。

3.2 教学实验设计

本研究在“数据库技术及应用”编程课程中展开为期六周的问题解决能力测评框架应用实践,以“SQL查询语句”为学习内容,涉及简单查询、条件查询、排序查询等知识点。研究对象是江苏省某211高校2021级教育技术专业的60 名大二年级的本科生,他们在大一年级学习了Python课程,有一定的编程基础,其学习背景相似。

实验分为以下步骤:在课程开始前,教师发布课程资源和智能系统的使用方法,学生通过练习对学习环境和内容有初步的认识。其次,为期六周的课程每周都有一节理论课和一节实验课,课时均为90 min。理论课上,教师教授SQL编程语言,学生学习理论知识并跟随课程进度在系统上进行练习。实验课上,学生在系统上进行测试和自由操作练习。在授课过程中研究者进行课堂观察,并抽取部分学生开展访谈,了解教学和学习中存在的问题,同时结合系统时间序列数据的分析结果对学生进行行为监测和动态分析,参考框架测评的结果、教学效果以及课堂观察情况进行教学干预。最后,学生在课程结束后进行期末测试并撰写自我总结报告。此外,分别在课程期中、期末阶段对学生进行问题解决能力水平测量、问卷调查与访谈。

3.3 数据结果分析

本研究进行数据分析时将学习者行为数据作为重点,涵盖学习状态数据和学习事件数据等。部分学习环境数据的分析结果在行为数据中有所涉及。在进行数据处理时主要运用时序分析技术和统计分析技术,将数据与能力要素实现映射。以下是详细的数据分析结果。

3.3.1 在线智能系统数据分析

①学习资源数据分析 通过时序分析技术对智能系统后台数据显示的课件、编程知识相关的网站链接、编程知识点文件的相关信息(登录时间、学习时长、各模块的查看次数)进行整合分析发现,每周班级内学生点击查询课件的平均次数为4 次(取整),编程知识点相关的网站链接点击查询平均次数为7 次(取整),相关知识点文件的点击查询平均次数为5 次(取整),学习时长平均为2.7 h,并且随着学习的推进,学生查看各类学习资料的次数逐渐减少,而进行在线编程训练和测试的次数明显增多,表2是班级每周平均学习资料点击次数及学习时长统计数据详情。结果表明,根据时间序列分析和课堂观察的结果对学生存在的问题进行教学干预,学生会在相应的知识点上增加学习时长并进行训练,同时随着知识点掌握熟练程度的提高,学习资料的点击次数呈下降趋势,学习重心逐渐向实践层面转移。此外,结合访谈和问卷结果发现,学生还会在其他编程网站或平台上进行知识点的查询和练习,这表明学生自主学习和实践解决问题的能力有所提升,并不局限于课程平台进行学习。

②考试题库数据分析 考试题库数据主要从以下几方面展开分析,即学生自主进行的日常题库练习以及期中、期末两次考试。通过整合统计60 名学生参与为期六周(每周两次课,课时均为90 min)的题库测验次数,排除不完整或无效的测验215 次,以及教师六周内课堂布置的测试次数共计360 次之后,得出学生进行自主练习的有效测验次数共计928 次,通过计算得出学生平均每次在课上的测试次数为2.6 次,标准差为6.98。导致标准差不稳定的原因是部分学生在平台上进行了大量的题库测试,远高于其他学生。而部分学生参加测验的次数较少,通过课堂观察和访谈发现他们将精力放在自由编程练习上。多数学生在基于测评结果的教学干预下,自主参与测验的次数呈上升趋势,并且练习的题目更具针对性。60 名学生的测验次数如图4所示。可以看出大部分学生的自主学习能力较强,形成了良好的学习习惯,会在教师安排的基础之上自主进行测试来查漏补缺。

③测试题型选择方面分析 学生面对客观题、简答题、综合题组成的题库时其选择次数有所差异,客观题的选择次数最多(426 次),其次是简答题的选择次数(309 次),综合题的次数最少(193 次)。这一结果是受教师授课进度和学生学习进度的影响。此外,由于客观题大多考查单个知识点的掌握情况,以选择、判断、填空的形式呈现,因此与题库中的其他题型相比,学生在相同的时间内更容易验证自身对单个知识点的掌握情况。简答题更考验学生编写代码的能力,与客观题相比耗时更长,但可以在一定程度上提高代码编写能力,因此选择练习的次数也较高。综合题选择较少的原因是其更考验学生的综合能力,题目涵盖的知识点更加综合全面且数目一般在两个及以上,难度相对较高,学生在完成大部分数据库查询语言知识点的学习后才适合进行选择练习。通过选择不同的题库进行练习,学生可以在查漏补缺的同时提高自身的编程能力和问题解决能力。

④课程成绩分析 通过对比2021级本科生与上一届学生的最终课程成绩(同一教师教授),分析问题解决能力测评框架的实验效果。通过量化对比发现,2021级的成绩(91.54 分)高于上一届学生的平均成绩(89.95 分),对比两份成绩的波动情况发现,2021级学生的成绩整体离散程度更小。结合访谈、问卷分析出导致该结果的主要原因有两点:第一,基于能力测评框架对每个流程产生的数据进行动态监测和行为分析,可以及时发现学生的知识薄弱之处并进行教学干预。2021级学生进行自主测验的次数明显高于上一届,编程熟练度也更高。第二,结合课堂观察记录表和系统自我报告数据发现,2021级学生的反思和交流能力更强,在课上会进行更多的交流和讨论,并且能及时进行反思来改进方案,发现编程过程存在的问题。

⑤在线训练平台数据分析 通过整合在线训练平台中的编程记录(个体和班级的学习数据,包括提交的具体内容、次数、时长、正误信息和数量等)发现,在知识点掌握的熟练程度上,从高到低依次为简单查询>排序查询>Where 语句>多表查询>子查询>组查询,班级整体的正确率随着难度的增加呈下降趋势。作为基础知识的前三种查询语句正确率均超过85%,过程性教学干预的实施使得前三种编程语句练习的正确率呈上升趋势,这也有利于后续复杂内容的学习。通过对编程答案和班级编程记录的点击查看次数进行整合发现,随着教师的干预,编程出现错误的学生查看记录和进行练习的次数会更多,查看记录或他人的正确写法可以及时地发现问题并进行反思,正确率较高的学生每周的练习次数比较稳定。

⑥学习反思笔记数据分析 本研究利用Nvivo软件对学生的自我学习总结进行质性分析来探究存在的问题以及学习收获等,通过提取关键词发现,近85%的学生都提到了数据库的学习方法和策略,多数学生都总结了本学期学习数据库编程语言的学习心得和学习所取得的进步。少数学生还在此基础上归纳了数据库编程语言学习的流程方法等。这说明多数学生在编程学习中已经形成了个性化的问题解决流程和方案,编程问题解决的综合能力有所提升。其次,大约20%的学生对本课程提出了授课建议以及课程系统功能设计方面的改进,这也反映了学生对更完善的编程问题解决学习环境的诉求。总体来看,该课程取得了较好的教学效果。

3.3.2 课堂观察表数据分析

整合课堂观察表数据发现,在互动层面,多数学生能针对遇到的问题及时与周围的同学或教师进行沟通交流,部分学生则通过查看系统中其他同学的编程写法来发现自身问题。在自主学习方面,前三周内平均约65%的学生能针对教师提出或遇到的问题自主进行思考和练习,主要表现为查阅相关的知识点、查询其他编程网站而不限于课程系统、记录课程笔记、自主编程练习试误,其余学生则更需要教师的引导来解决存在的问题。但随着课程进度的推进,绝大多数学生都能通过自主学习去解决相应的问题。在学习达成方面,学生对教师布置的任务完成度较高,每堂课基本完成了学习目标,任务完成的正确率也随着课程进度的深入有所提升。整体来看,学生不同维度的问题解决能力均有所提升。

3.3.3 问卷及访谈结果分析

本研究的问卷参考PISA问题解决能力量表以及具体的编程环境,设置了25 个问题对6 个不同维度的能力进行前后测分析,其中实践维度设置了5 个题目,其余维度均为4 个,且每个题目根据不同维度问题解决能力等级表分为4级,为方便统计将分值设置为0~3 分。通过数据对比发现,2021级学生不同维度的问题解决能力均有所提升,具体情况如表3所示。结合访谈结果发现,随着学习的深入和教学干预的进行,学生理解、分析、推理问题的能力均有所提升,对问题有自己的认知和处理方式。在实践层面,学生的能力提升较大且能够自主运用不同的方式解决问题,编写代码的能力显著提升。在反思和表达层面,学生越来越注重对问题解决的过程进行反思总结,发现不足之处并加以改进。

通过整合其他方面的调查问卷和访谈结果发现,学生的学习途径和工具各不相同,但都偏向于使用可以提供编程练习的工具,他们认为通过大量的题目练习可以有效提高其编程能力和逻辑思维,更有利于未来在真实情境下解决问题。在学习中碰到的绝大多数问题是对较为抽象的概念理解困难,最初在程序编写和调试方面会有畏难情绪,但随着学习的深入和经验的提升,这些问题都逐渐得以解决。分析教师的访谈结果也发现,随着课程的教授,学生动手编程的能力显著提升,对于编程问题有自己的处理方式,会主动请教其他同学或教师,但在实践层面还需积累经验,反思和表达的能力也需要多加训练。

本研究通过分析各个来源的学生行为数据并与能力要素实现映射,结合时序分析技术对学生进行动态监测和行为分析,能够及时发现学生的知识薄弱之处,解密学习黑箱。系统整合数据发现,各能力维度等级较高的学生各方面数据均处于班级中上游,他们会花费更多的时间在编程练习上,并且点击流数据和学习状态数据都比较高,遇到问题时会及时依据不同的学习内容和教学干预来调整学习策略。而等级较低的学生在测评框架和教学干预的作用下会更及时地发现自身不足,由于自身能力水平的限制,他们需要在牢固掌握底层知识基础的前提下,加强弱项编程模块练习,寻找适合自身的学习方法,加强反思和交流来更高效地进行查漏补缺。

4 研究总结与展望

4.1 研究结论

本研究针对编程过程中“学习黑箱”复杂、学生表现不佳、学习分析数据残缺等现实问题,构建学习分析视角下的问题解决能力测评框架。该框架采用智能技术全方位整合分析学习数据,解密编程问题解决过程中的学习黑箱,基于测评结果指导教学调整,优化学习条件来提高学生的问题解决能力,并在数据库编程课程中取得了良好的实践效果。研究从理论牵引、应用支撑和数据论证三点着力,有效促进了问题解决能力测评框架的实践与有效性验证。

①理论牵引:学习分析为问题解决能力测评框架构建提供底层支持

在实际的编程问题情境中,学生应该怎样提升成绩和能力,直击学习痛点的教学以及精准深入的能力测评一直都是研究的难点。本研究针对编程问题解决过程中的学习黑箱,基于学习分析来构建问题解决能力测评框架,从问题解决的每一个环节入手,全面捕捉不同类型的数据并深入挖掘分析,将测评的能力要素嵌入学习过程,旨在实现对学生编程问题解决能力和学习状况的精准测评。基于数据分析测评的结果提供反馈和干预,优化教与学的过程,聚焦教与学的数据驱动决策。这与当下数字化环境中学习分析领域的应用研究趋势相契合,对学生问题解决能力的精准评测研究有一定的潜在价值。

②应用支撑:以编程智能系统为主的学习环境助力数据挖掘与能力测评

编程问题解决能力的培养与发展需要循序渐进,期间产生的过程行为数据数量众多、维度多样,需要全方位、多角度地采集分析数据来确保能力测评的精准性和有效性。在本研究中,教师基于编程智能系统为主的混合式学习场景,面向学生创设编程问题解决能力培养为目标的现实问题情境,为其提供诸多的学习资源与实践支持。运用时序分析技术整合收集学生在系统中各个模块的学习过程数据,包含学习状态数据和学习事件数据等,对学生进行动态监测和行为分析,并利用统计分析技术剖析数据,将数据与能力要素实现映射,实现对学生能力的精准测评,解密学习黑箱并及时提供教学干预来提高学生的问题解决能力。研究符合当下依托智能技术跟踪过程性数据作为测评依据进行能力评价的趋势,未来可以参考其他研究借助各类智能设备对个体产生的多维度、多模态数据进行采集和编码来深入持续推进问题解决能力测评工作。

③数据论证:基于真实场景的智能化测评与实验验证问题解决能力测评框架的有效性

测评理念和数据采集挖掘等技术的进步影响着能力测评的有效性,同时已有研究强调问题解决能力的多维评价。本研究通过构建问题解决能力测评框架,在数据库编程课程中对大学生的编程问题解决能力进行智能化测评并开展实验,对过程性学习数据展开分析并基于结果指导教学调整,优化学习条件。实证数据分析结果显示,将学习数据与问题解决的认知过程和能力要素实现映射可以使原本抽象的能力在一定程度上具象化,在理解、分析、推理、实践、反思和表达六个不同维度的编程问题解决能力均有所提升,也验证了该测评框架的有效性和科学性,对编程教学研究有一定的实用价值和指导意义。未来可以从新的视角来丰富评测信息和思路,如吴斓等[15]提出的基于“聚焦个体—精进小组”视角丰富评估信息、纳入多源会话数据来提高评估效果等发展建议。

4.2 展望

本研究基于学习分析的视角,构建的问题解决能力测评框架整体取得了较好的效果,但是本研究仍然存在以下几方面的不足:首先,研究的样本量较小,具有一定的局限性,研究样本的多样性和规模性有待进一步提升,在后续的研究中可以采用多校或多地区合作,纳入不同背景和能力水平的学生,增加研究的代表性和普适性。其次,整合分析学习数据时采用的分析技术在智能性层面有所欠缺,未能应充分挖掘数据背后的深层信息和潜在规律,引入更智能先进的分析技术对数据进行全面采集与编码、精准分类、深入挖掘与分析。此外,本研究的实践应用场景是数据库编程语言课程,在未来的研究中可以探索该测评框架在其他编程课程和不同学科中的实践效果,收集大量的实证数据来不断优化和完善该测评框架,并引入新的视角来丰富评测信息和思路,持续提高其有效性和可靠性,使其能更好地服务于教育教学的实践需求。

参考文献

[1]

国家发展和改革委员会. 国家中长期教育改革和发展规划纲要(2010 — 2020年)[EB/OL]. (2010-07-29)[2024-10-20].

[2]

DEWEY J. How we think, a restatement of the relation of reflective thinking to the educative process[J]. Ankara Üniversities İlahiyat Fakültesi Dergisi, 2007(1): 185-188.

[3]

邵瑞珍. 教育心理学:修订本[M]. 上海市教育委员会组编. 上海: 上海教育出版社, 1997.

[4]

檀慧玲, 李文燕, 万兴睿. 国际教育评价项目合作问题解决能力测评: 指标框架、评价标准及技术分析[J]. 电化教育研究, 2018, 39(9): 123-128.

[5]

袁维新, 吴庆麟. 问题解决: 涵义、 过程与教学模式[J]. 心理科学, 2010, 33(01): 151-154.

[6]

伍远岳, 谢伟琦. 问题解决能力: 内涵、 结构及其培养[J]. 教育研究与实验, 2013(4): 48-51.

[7]

OECD. The PISA 2003 assessment framework:mathematics, reading, science and problem solving[M]. Paris: OECD Publishing, 2003.

[8]

HEPPNER P P, PETERSEN C H.The development and implications of a personal problem-solving inventory[J].Journal of Counseling Psychology,1982,29(1):66-75.

[9]

杨滨, 张炳林. 学生问题解决能力综合测评法研究[J]. 电化教育研究, 2017, 38(8): 24-30.

[10]

严蜜斯, 邵健谊. 问题解决能力测评研究综述[J]. 中国教育技术装备, 2021(15): 7-9.

[11]

胡艺龄, 顾小清. 基于学习分析技术的问题解决能力测评研究[J]. 开放教育研究, 2019, 25(2): 105-113.

[12]

李锋. 学生问题解决能力的评价: 在线伴随的视角[J]. 中国远程教育, 2019(8): 79-84.

[13]

李海峰, 王炜. 学习分析研究:基本框架和核心问题:2022版《学习分析手册》的要点与思考[J]. 开放教育研究, 2022, 28(6): 60-71.

[14]

崔允漷. 论课堂观察LICC范式: 一种专业的听评课[J]. 教育研究, 2012, 33(5): 79-83.

[15]

吴斓, 董艳, 郑娅峰, . 基于计算机的协作问题解决能力评估研究:问题与建议[J]. 电化教育研究, 2022, 43(10): 65-71.

AI Summary AI Mindmap
PDF (753KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/