基于Rasch分析模型的科学素养案例研究

以下文章来源于百研工坊 ，作者东南大学百研工坊

百研工坊.

引领科学前沿、服务科学教育！ “百研工坊”主办主体为东南大学脑与学习科学系教育部“国培计划”小学科学项目培训团队，是东南大学面向小学科学教育研究与实践的唯一公众号。

【摘要】本研究旨在分析初中生自然科学学科的科学素养。研究采用了案例研究的方法。受访者包括40名男孩和30名女孩，平均年龄为15岁。他们在西万隆县一所私立初中九年级就读。研究使用的工具是一个书面测试，由30个简单的选择题组成，涉及科学素养的三个方面，即科学知识、科学能力和对科学的态度。数据分析使用Rasch分析模型(RAM)，并由Winsteps 4.4.5辅助。正在讨论的结果是个人—项目信效度，怀特图，和项目功能差异(DIF)。结果显示，学生的平均科学素养能力属于低水平，部分问题存在性别差异。因此，科学素养需要在教与学的活动中得到促进和有效参与，以使学生在他们的学习计划中适应科学素养的环境。

1. 介绍

随着世界各国联系日益紧密，各国遇到的问题日益多样化和全球化。人们可能不得不处理许多会对他们的安全和福祉产生重大影响的决策案例，例如商品和技术的有效使用以及常规能源消耗。这些例子仅仅反映了人们在科学问题上需要做出的选择，因此表明了促进每个人科学素养的紧迫性。21 世纪初，经济合作与发展组织 (OECD)、欧盟 (EU) 和美国 (US) 已经确定并分析了未来公民面对全球竞争所需的能力。全球竞争是指在地方、国家和国际背景下的激烈技能竞争。

科学素养是应对21世纪各种问题的关键。21世纪的公民需要学习科学技术的基础知识。科学和技术的进步是一个巨大的支撑，以提高个人的福祉，促进经济增长，促进社会平等，以及带来许多其他好处。科学素养有助于人们学会成为负责任的公民，并充分意识到全球问题。

学生科学素养的发展涉及科学知识、科学过程、科学态度和科学能力。因此，学生不仅可以理解科学的概念，还可以通过基于科学考虑做出明智的选择来建立实施科学方法解决问题的习惯。根据经合组织（OECD）公布的科学评估框架，科学素养有三个方面，即科学知识、科学能力和对科学的态度。科学知识包括内容性知识、程序性知识和认知性知识。科学能力包括科学地解释现象，科学评估和设计科学调查，科学解释数据和证据。对科学的态度是对科学技术的兴趣、重视科学调查和环境意识。

印度尼西亚从 2000 年开始参加评估，直到2018年举行的最后一次评估。大多数时候，印度尼西亚学生在科学领域的成绩都在不断下降。这些分数也低于经合组织的科学平均水平。许多可能的因素会影响学生的科学素养，例如教育设施、课程内容、课程设计、学习活动和社会影响。性别、文化、经济和社会因素起到了直接作用。性别差异是一个被广泛覆盖的问题，也被纳入与科学相关的研究及其与科学学术成就的关系。性别差异是一种值得研究的情况，其中男孩和女孩之间的成就可能存在巨大差距。

科学被认为是21世纪文化的一部分。科学的良好结构为批判性思维、事实数据的使用、受控研究和比较研究的价值以及解决新问题的能力提供了机会。学习科学是关于完成科学概念以及将这些概念和理论应用到现实生活中，以解决人们每天发现的简单或复杂问题的能力。

在科学素养研究中，大多数数据分析使用Microsoft Excel软件以及IBM社会科学统计软件包（SPSS）统计中的参数和非参数程序。两种常用方法的替代方法是Rasch分析模型（RAM）。该程序是数据分析的理想解决方案，可用于分析教育评估的反应。RAM是一种项目反应理论（IRT）分析模型，由George Rasch开发，并由Ben Wright以Rasch模型系统的形式使用计算机软件进行推广。使用RAM的好处之一是，在分析受访者的能力时，它不仅关注原始分数，还关注受访者的回答模式、受访者回答问题的能力以及项目的难度。

从上述所有观点出发，本研究通过在自然科学学科中实施测试来衡量科学素养。目的是分析学生在构成2015年PISA所提出的科学素养的三个方面的成就。科学素养包括三种类型的科学知识、三种科学能力和三种对科学的态度。使用Winsteps 4.4.5支持的Rasch分析模型进行数据分析。研究结果有望为下一次科学素养研究以及科学素养评估工具的开发提供信息。

2. 方法

本研究为个案研究，旨在分析科学素养工具的效果。本研究的参与者是印度尼西亚西爪哇岛西万隆地区一所私立初中的70名九年级学生。参与者包括40名男孩和30名女孩，平均年龄为15岁。参与者是初中最后一个学期的学生，已经学习了自然科学科目的大部分内容。

数据是通过书面测试的方式收集的，笔试包括30个简单的选择题，其中有四个选项。PISA 2015科学评估框架被用作开发该工具的指南。科学素养的所有方面，如科学知识、科学能力和对科学的态度，都使用同一工具进行测量。这些问题也涵盖了初中自然科学范围内的各种主题的个人、国家/地方和国际背景。

收集数据后，使用Rasch分析模型(RAM)进行分析。选择RAM是因为前面已经详细阐述了它的优点。为了支持分析，RAM使用Winsteps 4.4.5辅助。为确定学生的科学素养，采用项目信度、个人信度、怀特图和项目功能差异(DIF)进行分析。怀特地图提供了关于学生的能力和问题或项目的难度水平的信息。探讨DIF是否存在由该工具引起的性别偏见。在分析中，受访者和性别被编码。例如，代码08B表示08号应答者，性别是男孩。数字后面的字母为G，则代表女孩。

3. 结果与讨论

3.1 个人-项目信度

利用Rasch分析模型(RAM)对数据进行分析，得出三种可靠性值。这是由Cronbach Alpha值所表示的总体工具信度，由个人信度值所表示的个人信度，以及由项目信度值所表示的项目信度。项目信度值反映了问题的质量，而人信度则反映了学生回答的一致性。下图1显示了分析的汇总统计数据，其中包括所有三个可靠值。

图1 个人信效度分析结果

由图1可知，Cronbach Alpha (kg -20)的总体信度值为0.50，说明个人与项目之间的交互作用在0.50 - 0.60的范围内，属于较差类别。个人信度值为0.47，由于低于0.67，也属于弱类别。个人测量可以提供关于被调查者在工具中的平均得分的信息。个人测量值是0.09，非常接近于默认设置的0.00。这个值可以解释为，总体受访者在工具中回答正确或不正确的问题没有趋向性。另外，如果平均值大于(正)或小于(负)，则表明受访者的回答存在趋向性。在这种情况下，受访者的平均能力与项目难度处于同一水平。

从图1中可以获得的另一个数据是INFIT MNSQ和OUTFIT MNSQ。这些值可以说明受访者在本研究中的适用性。Infit和Outfit Mean Square (MNSQ)值分别为0.99和1.05。这些接近于1.00的理想值。这些值意味着这些学生非常适合作为本次研究的调查对象。

图2 项目信效度分析结果

从图2可以看出，项目的可靠性属于非常好的类别，因为0.95的值属于范围值大于0.94的最高类别。因此，从个人和项目的可靠性值 (0.47和0.95)来看，被调查者的回答一致性较弱，但题目的质量很好。项目适宜性标准由 (MNSQ)和 (ZSTD)表示，MNSQ的可接受值在0.5到1.5之间，ZSTD的可接受值在-2.0到+2.0之间。因此，MNSQ和ZSTD的值分别为1.05和0.10，说明该项目适合在本研究中使用。

3.2 怀特图

通过变量图，受访者的能力分布和项目难度分布将立即以相同的logit量表显示。高logit分数表明受访者的能力较高，项目难度增加，反之亦然。该图允许研究人员确定受访者的能力、性别信息和他们能够解决的项目类型之间的关系。这两种分布是并排呈现的，即左侧的受访者能力和右侧的项目难度分布，如图3所示。

根据图3，问题4（Q4）的logit值最高，其次是Q2和Q26。这意味着第四题是最难的问题，没有人能正确回答。本项目旨在衡量在国家范围内科学解释数据和证据的能力以及科学熟练程度为3级的程序性知识。即使Q2和Q26与Q4也有不同类型的能力和水平，分别是评估和设计科学调查以及2级和5级的程序性知识，其中三个有共同之处。这是因为它们都被归类为程序性知识项。此外，受访者30G和40B是得分最高的学生。这两个成绩最高的都是Q3和Q9题。问题3被指定为评估和设计科学探究和程序知识的项目，在当地设置的水平等级为3。同时，问题9是对科学问题的态度，即对科学技术的兴趣。

另一方面，Q15是最简单的问题，其次是Q20、Q6和Q1。所有学生都能正确回答这四个问题。问题15：在个人环境中，科学解释现象和2级认知知识的措施。Q1也一样，它衡量的是相同的能力，但它是一个基于本地环境的3级内容性知识问题。相比之下，Q20和Q6对科学的态度是相同的，那就是环境意识。代码为01B和58G的受访者得分最低，他们的logit值和Q16齐平。本项目衡量在个人背景下科学解释数据和证据以及2级程序性知识。

图3 Wright图显示了学生科学素养能力（左）和项目难度（右）的分布

3.3 性别差异

性别差异可通过项目功能差异(DIF)检测。这种分析通常用于发现对某一类别的受访者的指示是否存在偏差。根据低于0.05的项目概率值，可以识别项目内的偏差。如果一个项目的概率值小于0.05，该项目显示偏差。本研究DIF分析结果如下图4所示。

图4 项目功能差异分析

如图4所示，有6个项目问题，其值低于0.05。这些都表明对受访者的性别有偏见。在已经表明有偏差的6个问题中，Q13和Q14的概率值最高，为0.0348。这两个题目具有相同的3级和科学解释现象的能力。相比之下，Q29的道具概率值最低，为0.0041。这意味着这个项目对性别有极端的偏见。Q29是一项对科学的态度问题，即对科学和技术的兴趣。

4. 结论

综上所述，用Rasch分析模型（RAM）对初中生的科学素养进行分析，发现初中生的科学素养属于低水平。工具的整体可靠性和被试可靠性都被归类为比较差的。相比之下，项目可靠性属于非常好的类别，这意味着项目具有测量科学素养的优异质量。个人信度和项目信度的差异表明，被调查者的回答一致性较弱，但工具的项目质量较好。在30个问题中，有6个问题表明存在性别差异。

因此，培养学生的科学素养需要得到更多的认可，尤其是在科学教育中。科学素养可以从作为教育主要部门的学校开始提升。教师应开始让学生参与执行科学素养指标的学习活动。随着时间的推移，学生将习惯于以培养科学素养的方式安排的课程活动。

（来源：“百研工坊”微信公众号，编译：罗培，研究生导师：柏毅，作者：N Mubarokah）

中国青少年科技辅导员协会

提醒广大科技辅导员

戴口罩 勤洗手 少集会

不给病毒可乘之机！

原标题：《基于Rasch分析模型的科学素养案例研究》

阅读原文