AI로 학생의 성취도를 예측하는 현실적인 방법

최근 개별 맞춤형 교육을 위해 학생의 현재 학습 상태를 진단하고, 이를 바탕으로 학생의 학습 현황에 맞는 교육적인 처방을 내리기 위한 기술이 많이 연구되고 있습니다. 그런데 학생의 미래 학업 성취도를 미리 예측할 수 있다면, 학업 부진이 예상되는 학생의 원인에 대해서도 진단을 내려준다면 어떨까요?

학생의 학업 성취를 미리 예측할 수 있다면, 그에 따라 적절한 교육적인 조치를 취함으로써 학습의 효과를 높일 수 있을 것입니다. 오늘은 교육 전문가들의 의견을 반영하여, 실용적으로 실제 교육 현장에서 활용할 수 있는 학업 성취 예측 방법을 제안한 연구를 소개하고자 합니다.

학업 성취를 예측한 기존의 연구들

학생의 미래 학업 성취를 예측하기 위한 연구들은 생각보다 오랜 시간 동안 꾸준히 진행되어 왔습니다. 특히, 대학에서 어떤 강의에 F를 받거나 평균 점수 이하를 받을 만한 ‘위험군 학생’을 미리 판별하기 위한 연구들이 많이 시행되었는데요.

이와 관련해서 기존의 연구들은 크게 다음과 같은 정보를 바탕으로 학생의 미래 학업 성취를 예측했습니다. 예를 들면, 부모의 학력이나 고등학교 때의 성적을 바탕으로 어떤 학생이 대학 강의에서 F를 받을지를 예측한 것이죠.

오늘 소개드릴 연구에서는, 이렇게 꾸준히 진행되어 온 학업 성취 예측 기술에 대해 한 가지 의문을 제기합니다.

“과연 이러한 방법들이 실제 교육현장에서 사용될 수 있을까?”

실용적인 속성 선택

이번 연구에서는 교육 현장에서 실용적으로 사용될 수 있는 학업 성취 예측 기술을 제안하기 위해 기존 연구 분석, 교육 현장의 관계자 인터뷰, 전문가 협의, 상관관계 분석 등 네 가지 단계를 거쳐 속성을 선택(feature selection)합니다. 특히, 교육 관계자 인터뷰에서는 다음과 같은 의견들이 모아졌습니다.

예를 들어, 교육 관계자들은 “부모의 경제적인 수입 등으로 인해 학생에게 낮은 학업 성취가 예상된다고 하면, 현실적으로 교사가 도와줄 수 있는 일이 얼마나 있을지 잘 모르겠다”는 의견을 보였습니다. 또한, 학생이 온라인 클래스에 얼마나 접속했는지에 대해서도 어떻게 교육적인 조치를 해야 할지 잘 모르겠다는 의견이 있었죠. 그리고 어떤 학생이 위험군으로 예상된다면, 왜 그렇게 예측되었는지에 대한 설명이 필요하다는 의견도 많았습니다.

이러한 교육 관계자들의 의견을 바탕으로 전문가 협의와 통계적 분석 과정을 거쳐, 연구에서는 학습 공지를 확인한 횟수, 과제 제출 횟수, 과제 및 퀴즈 점수 등 실제 현장에 사용될 수 있을 만한 속성들을 선택합니다.

인공지능을 활용한 학업성취 예측

필요한 속성들을 정의한 뒤에는, 인공지능을 이용해서 실제 학생들의 학업 성취를 예측합니다. 연구에서는 국내 모 대학교의 7개 강좌(2021-2022학년도)를 수강한 학생들의 동의를 얻어, 수강생 총 940명의 LMS 데이터를 활용했습니다.

그리고 여러 인공지능 모델을 이용해, 강의 중반까지의 데이터로 수강생들의 최종적인 학업 성취를 예측하였습니다. 즉, 학기가 반 정도 지났을 때쯤 어떤 수강생이 학기말에 낮은 점수를 받을 지를 인공지능으로 미리 예측하였습니다. 실험 결과, 최대 87.9%만큼 정확하게 위험군 학생을 예측할 수 있었다고 합니다.

또한, 인공지능의 예측 결과에 대한 설명이 필요하다는 교육 관계자들의 목소리를 반영하기 위해, 설명가능한 인공지능(eXplainable AI, XAI) 기법을 사용하였습니다. 연구에서는 그 중에서도 SHAP*이라는 기법을 선택하였습니다.
*SHAP: 팀 게임에서 각 멤버의 기여도를 공정하게 계산하는 방법인 섀플리값(Shapley value)을 응용한 설명 가능한 인공지능 기법입니다. SHAP을 이용하면 개별 예측 결과에 대해 각 속성이 얼마나 기여했는지 알 수 있습니다.

예를 들면, 아래 그림은 SHAP을 활용해 학생 A의 학업 성취 예측 결과에 대한 근거를 설명한 것입니다. 그림 속 학생 A는 노력이 필요한 위험군으로 판단되었습니다. 빨간색 부분은 이 학생이 부족했던 요소이고, 파란색 부분은 이 학생이 우수했던 요소입니다.

이 학생은 과제 시간과 과제 제출 횟수는 우수한 편이었지만, 1단원 퀴즈 점수와 출석 점수, 토론 페이지 접근 횟수가 부족했으며, 이 요소들의 영향력이 더 커서 결국 위험군으로 판단되었습니다. 따라서 이 학생에게는 1단원에 대한 추가 학습 자료를 제공할 필요가 있다고 이야기할 수 있습니다.

결론

학습 지원 시스템에서의 학습자 행동 데이터를 기반으로 한 학습 성취 예측은 꾸준히 연구되어온 분야입니다. 오늘 소개드린 연구에서는 특히 교육 현장에서 실용적으로 활용이 가능한 속성들을 정의하고, 설명 가능한 인공지능 기술을 적용하여 각 학생의 진단 결과에 대한 해석을 제공했다는 데 의의가 있습니다.

References

Jang, Y., Choi, S., Jung, H. et al., Practical early prediction of students’ performance using machine learning and eXplainable AI. Educ Inf Technol 27, 12855–12889 (2022).

Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. Advances in neural information processing systems, 3

🟢 클래스팅 AI Research와 Data&ML팀은 개별 학생을 잘 이해하고 돕기 위한 맞춤형 학습, 교육 전반의 목적을 달성하기 위한 인공지능과 데이터 엔지니어링을 연구합니다. 이 연구에 관한 자세한 내용은 클래스팅 R&D 블로그에서 확인하실 수 있습니다.