Better Model, Worse Predictions: The Dangers in Student Model Comparisons

• Autoři: ČECHÁK Jaroslav; PELÁNEK Radek
• Rok publikování: 2021
• Druh: Článek ve sborníku
• Konference: International Conference on Artificial Intelligence in Education
• Fakulta / Pracoviště MU: Fakulta informatiky
• Doi: http://dx.doi.org/10.1007/978-3-030-78292-4_40
• Klíčová slova: Additive factor model; Student modeling; Simulation; Model comparison
• Popis: The additive factor model is a widely used tool for analyzing educational data, yet it is often used as an off-the-shelf solution without considering implementation details. A common practice is to compare multiple additive factor models, choose the one with the best predictive accuracy, and interpret the parameters of the model as evidence of student learning. In this work, we use simulated data to show that in certain situations, this approach can lead to misleading results. Specifically, we show how student skill distribution affects estimates of other model parameters.

Související projekty

• Aplikovaný výzkum: vyhledávání, analýza a vizualizace rozsáhlých dat, zpracování přirozeného jazyka, umělá inteligence pro analýzu biomedicínských obrazů.
• Zapojení studentů Fakulty informatiky do mezinárodní vědecké komunity 21