動態與案例

學習評量數位化之十:試題分析工具應用舉例

發行編號:HB20230212C
日期:2023年02月12日(更新:20260825)

從試題落點、難度到地位分析的數據化診斷

讓每一道題目都能被檢視、修正與持續優化,提升命題品質與學習診斷效能

學習評量數位化不只把紙本答案轉成分數,更重要的是能保留大量而完整的作答數據。教師透過試題分析工具,可以更精準、高效地檢視評量結果,找出需要修正的題目,進而優化試題設計品質,提升學習評量與診斷分析的效能。

以下以TEAM Model醍摩豆智慧教學平台及玉山學校2021學年度第一次國英數模擬考為例,說明完成智慧教室評量卷卡合一評量或自主學習評量後,如何交叉運用試題落點、試題難度與試題地位三種工具,把評量數據轉化為可採取行動的命題與教學依據。

試題落點分析
以視覺化落點快速掌握整份試卷的穩定度,辨識適當、需要局部修正或應重新檢討的題目。
試題難度分析
查看難易度、鑑別度、正答率、選項分布及R1-R6作答曲線,深入診斷單一試題。
試題地位分析
回到雙向細目分析表,核對題目的認知層次與知識點,確認試卷是否對準評量目標。
玉山學校2021學年度第一次國英數模擬考案例圖1:玉山學校2021學年度第一次模擬考(國英數)
評量數據與試題落點、難度及地位分析工具圖2:評量數據與試題分析工具

一、試題落點分析:先從全卷視角掌握命題品質

學情分析系統根據試題穩定度(試題注意係數,Caution Index for Items)繪製試題落點圖,每一個點代表一道試題。系統依學習評量數據計算各題穩定度,數值介於0至1之間;數值越接近0,代表試題表現越穩定,反之則越不穩定。

A區|試題適當
試題表現相當適當,可用來區分學生的學習表現。
A'區|局部修正
試題含有異質成分,建議進一步檢視並進行局部修正。
B區|試題較難
試題難度較高,較適合用來區分高成就學生。
B'區|重新檢討
試題含有嚴重異質成分,應審慎檢討,必要時刪除不用。

以本案例為例,打開學情分析視窗,選擇試題分析標籤,再選擇學科,即可進入該學科的試題落點分析頁面。

學情分析中的試題落點分析頁面圖3:試題落點分析頁面

快速查看整份試卷的試題品質

落點分析圖可作為試卷品質的視覺化儀表板。以圖3為例,試題分布在A區與A'區,沒有題目落在B區或B'區,因此可初步判斷這份試卷的整體命題品質良好,未出現明顯需要刪除的試題。

由全卷總覽直接深入單題診斷

試題落點分析頁面具有互動連結功能。教師只要點選圖中的試題編號或落點,即可進一步查看該題的難度分析資料,不必在不同報表之間反覆查找。

比較各班單題得分率

除了落點圖,試題分析頁面也提供年級單題得分率統計,可比較同一道試題在各班級的得分率,協助教師觀察不同班級間的表現差異。

比較單一試題在各班級得分率的統計畫面圖4:年級單題得分率統計

一次檢視全卷的關鍵分析指標

試題分析總表彙整每一道題目的題型、知識點、落點區域、配分、難易度、鑑別度及R1-R6得分率,讓教師能以同一張表格快速比較全卷試題。

彙整題型、知識點、落點、難易度及鑑別度的試題分析總表圖5:試題分析總表

掌握不同群體與班級的得分表現

試題得分率表呈現每一道題目的高分組、低分組、全學年及各班得分率,教師可以據此辨識哪些題目在不同群體間呈現較大差異。

高分組、低分組、全年級及各班試題得分率表圖6:試題得分率表

匯出Excel,延伸統計與校本分析

系統可將評量數據匯出為Excel表格,方便教師或行政團隊進一步進行統計、跨班比較、校本研究與長期追蹤。

試題分析總表匯出為Excel表格圖7:試題分析總表匯出Excel表格

二、試題難度分析:從單題數據找出真正的問題

在試題分析頁面點選任一題號,或在落點圖上點選任一落點,系統便會自動連結至試題清單與資料分析頁面。教師可從整份試卷的總覽快速下鑽到單題,縮短分析路徑。

可選擇題號並查看題目內容與統計資料的試題分析頁面圖8:試題清單與資料分析頁面

選擇試題編號後,頁面會呈現該題的題幹、選項、答案、解析、知識點、認知層次與資料分析等資訊,使命題內容與實際作答結果能在同一個畫面中相互對照。

第22題分析案例

以第22題為例,頁面提供下列多層次分析資料:

試題基本指標落點區域:A'配分:3難易度:0.71鑑別度:0.42正答率:0.689
高、低分組比較高分組正答率:92%低分組正答率:50%
R1-R6得分率R1:80% R2:100%R3:55% R4:82%R5:33% R6:67%
選項作答人數A:6人 B:31人C:4人 D:4人
第22題的落點、難易度、鑑別度、正答率及選項分析資料圖9:試題之資料分析內容

用R1-R6作答曲線補足單一指標的限制

R1-R6作答曲線可呈現高分組至低分組的正答率變化,補充只看難易度或鑑別度可能忽略的資訊。對一個適當且具有鑑別力的題目而言,R1至R6的得分率通常應逐步降低,如圖10-a所示;若出現R4得分率遠高於R3的上下波動,如圖10-b,則表示題目可能需要進一步檢視或修正;圖10-c的水平曲線也提示各能力群組間未呈現明顯區分。

下滑、上下波動與水平三種R1-R6作答曲線比較圖10:R1-R6作答曲線分析比較圖

將上述三個題目的R1-R6作答曲線與試題落點交叉比對,可看到其落點分別位於A區、A'區與A區。這種交叉檢視方式,有助於教師從不同角度確認題目是否具有合理的難度、穩定度與鑑別表現。

三個題目分別落在A區、A'區與A區的試題落點比較圖11:試題落點分析比較圖

判讀提醒:試題品質不宜只由單一數值下結論。將落點區域、難易度、鑑別度、選項分布與R1-R6曲線合併觀察,再回看題幹、選項及教學內容,才能形成較完整的專業判斷。

三、試題地位分析:確認題目是否對準評量目標

除了檢視作答結果,命題品質還需要回到試卷的整體設計。在醍摩豆雲教學平台中,選擇試卷分析按鈕,即可查看每一道題目在雙向細目分析表(two-way specification table)中的評量地位。

選擇試卷分析按鈕進入試卷分析頁面圖12:選擇試卷分析按鈕,開啟試卷分析頁面

雙向細目分析表以認知層次知識點構成試卷架構藍圖,教師可以檢查題目配置是否符合原先設定的評量目標,並觀察不同知識點及認知層次的題數與配分是否適當。如此一來,分析不再只停留在「學生答對多少」,也能回到「這份試卷究竟評量了什麼」。

以認知層次與知識點呈現題目配置的雙向細目分析表圖13:雙向細目分析表與試卷分析頁面

從大量數據走向更有依據的命題與教學決策

學習評量數位化可以持續累積大量評量數據,而試題落點、試題難度與試題地位等數據化、視覺化分析工具,則把這些資料整理成教師可以理解與運用的診斷依據。從全卷品質總覽、單題表現追查,到評量藍圖核對,不但能節省人工整理與分析時間,也有助於提升試題分析品質。

更重要的是,試題分析的目的並非只為評定題目好壞,而是協助教師重新檢視命題設計、學生迷思與教學重點。當評量數據能快速回到教學現場,每一次施測都能成為修正試題、調整教學與支持學生學習的下一個起點。

※ 本文參考TEAM Model智慧教育創辦人吳權威(Power Wu)於「醍摩豆.智連環」發表的文章:學習評量數位化之十:試題分析工具應用舉例

本文關鍵字HiTeach、TEAM Model、醍摩豆、學習評量數位化、試題分析、試題落點分析、試題難度分析、試題地位分析、注意係數、鑑別度、R1-R6作答曲線、雙向細目表、學情分析、數據驅動教學



TOP