學習評量數位化不只把紙本答案轉成分數,更重要的是能保留大量而完整的作答數據。教師透過試題分析工具,可以更精準、高效地檢視評量結果,找出需要修正的題目,進而優化試題設計品質,提升學習評量與診斷分析的效能。
以下以TEAM Model醍摩豆智慧教學平台及玉山學校2021學年度第一次國英數模擬考為例,說明完成智慧教室評量、卷卡合一評量或自主學習評量後,如何交叉運用試題落點、試題難度與試題地位三種工具,把評量數據轉化為可採取行動的命題與教學依據。
圖2:評量數據與試題分析工具學情分析系統根據試題穩定度(試題注意係數,Caution Index for Items)繪製試題落點圖,每一個點代表一道試題。系統依學習評量數據計算各題穩定度,數值介於0至1之間;數值越接近0,代表試題表現越穩定,反之則越不穩定。
以本案例為例,打開學情分析視窗,選擇試題分析標籤,再選擇學科,即可進入該學科的試題落點分析頁面。
落點分析圖可作為試卷品質的視覺化儀表板。以圖3為例,試題分布在A區與A'區,沒有題目落在B區或B'區,因此可初步判斷這份試卷的整體命題品質良好,未出現明顯需要刪除的試題。
試題落點分析頁面具有互動連結功能。教師只要點選圖中的試題編號或落點,即可進一步查看該題的難度分析資料,不必在不同報表之間反覆查找。
除了落點圖,試題分析頁面也提供年級單題得分率統計,可比較同一道試題在各班級的得分率,協助教師觀察不同班級間的表現差異。
試題分析總表彙整每一道題目的題型、知識點、落點區域、配分、難易度、鑑別度及R1-R6得分率,讓教師能以同一張表格快速比較全卷試題。
試題得分率表呈現每一道題目的高分組、低分組、全學年及各班得分率,教師可以據此辨識哪些題目在不同群體間呈現較大差異。
系統可將評量數據匯出為Excel表格,方便教師或行政團隊進一步進行統計、跨班比較、校本研究與長期追蹤。
在試題分析頁面點選任一題號,或在落點圖上點選任一落點,系統便會自動連結至試題清單與資料分析頁面。教師可從整份試卷的總覽快速下鑽到單題,縮短分析路徑。
選擇試題編號後,頁面會呈現該題的題幹、選項、答案、解析、知識點、認知層次與資料分析等資訊,使命題內容與實際作答結果能在同一個畫面中相互對照。
以第22題為例,頁面提供下列多層次分析資料:
R1-R6作答曲線可呈現高分組至低分組的正答率變化,補充只看難易度或鑑別度可能忽略的資訊。對一個適當且具有鑑別力的題目而言,R1至R6的得分率通常應逐步降低,如圖10-a所示;若出現R4得分率遠高於R3的上下波動,如圖10-b,則表示題目可能需要進一步檢視或修正;圖10-c的水平曲線也提示各能力群組間未呈現明顯區分。
將上述三個題目的R1-R6作答曲線與試題落點交叉比對,可看到其落點分別位於A區、A'區與A區。這種交叉檢視方式,有助於教師從不同角度確認題目是否具有合理的難度、穩定度與鑑別表現。
判讀提醒:試題品質不宜只由單一數值下結論。將落點區域、難易度、鑑別度、選項分布與R1-R6曲線合併觀察,再回看題幹、選項及教學內容,才能形成較完整的專業判斷。
除了檢視作答結果,命題品質還需要回到試卷的整體設計。在醍摩豆雲教學平台中,選擇試卷分析按鈕,即可查看每一道題目在雙向細目分析表(two-way specification table)中的評量地位。
雙向細目分析表以認知層次與知識點構成試卷架構藍圖,教師可以檢查題目配置是否符合原先設定的評量目標,並觀察不同知識點及認知層次的題數與配分是否適當。如此一來,分析不再只停留在「學生答對多少」,也能回到「這份試卷究竟評量了什麼」。
學習評量數位化可以持續累積大量評量數據,而試題落點、試題難度與試題地位等數據化、視覺化分析工具,則把這些資料整理成教師可以理解與運用的診斷依據。從全卷品質總覽、單題表現追查,到評量藍圖核對,不但能節省人工整理與分析時間,也有助於提升試題分析品質。
更重要的是,試題分析的目的並非只為評定題目好壞,而是協助教師重新檢視命題設計、學生迷思與教學重點。當評量數據能快速回到教學現場,每一次施測都能成為修正試題、調整教學與支持學生學習的下一個起點。
※ 本文參考TEAM Model智慧教育創辦人吳權威(Power Wu)於「醍摩豆.智連環」發表的文章:學習評量數位化之十:試題分析工具應用舉例。