SAT reading score analysis

視線追跡データを分析し、学生の眼球運動と多様な全国共通テストにおける成績との相関関係を検出するためのオープンソースソフトウェアの開発

Tokyo Techies 学生研究プロジェクト:    

読み取りパターンと高得点SATとの相関分析の為の視線追跡装置を用いたオープンソースソフトウェア (審査終了論文)

Tokyo Techiesの学生によるプロジェクト

研究アドバイザー:フォン・グエン


抄録

「読み取りパターン」と「大学進学適性試験 (SAT)の読解テストにおける高得点取得」の相関性を調査する為の 視線追跡装置を使用したオープンソースアプリケーションの紹介。視線追跡装置は、読者が画面のどこを見ているのかを追跡し、視線の座標を提示する。収集されたデータによって、画面の特定の部分を見た読み取りパターンと時間を測定し、分析することができる。統計分析は、文章を読むのに費やされた時間と質問を読むのに費やされた時間との比が、正解の数と最も高い相関を持つことを示している。このソフトウェアは、GNU General Public Licenseの下でリリースされており、すべての教育者が自由に利用できる。

キーワード

視線追跡装置・ 視線・ 読み取りパターン・ 大学進学適性試験(SAT)

謝辞

Tokyo Academicsのスタッフ及びこのプロジェクトを支えてくれた学生に感謝の意を表します。


  1. 序論SATはアメリカの多くの学生が大学入学のために選択する全国共通テストです。学生たちは、最高得点を達成するために最も効果的な方法は何か模索しています。以前まで、SATの読解項目の分析は、テスト後の調査を通じて行われてきました。これは非常に主観的なもので、学生の偏った回答に完全に依存した形となっています[1]。生徒が様々な文章を読むにあたり最も効果的な方法を探るため、SAT読解項目のより客観的な分析を行うべきであると我々は考えます。視線追跡技術は近年開発され、一般消費者が利用可能な物となっている。この装置はカメラと高解像度赤外線センサーで視線を追跡するものである。データ収集方法は非常に単純で、非侵入型、尚且つ客観的である。この非侵入型の方法を使用することによりデータ収集する一方、受験シナリオを出来る限り正確に再現する事が可能となる。図1はその技術の実演である。我々の方法は、生徒がSAT読解テストを受けている際の読み取りパターンに関するデータを収集して保存するために視線追跡装置を使用する物である。視線追跡装置から収集された公平なデータにより、様々な読み取りパターンを分析することができる。読み取りパターンと素点の相関分析により、SAT読解文の最も効果的かつ効率的な方法の発見が可能となった。我々の調査結果では、いくつかの読み取りパターン(例えば質問を読むのに費やされた時間の割合と文章を読むのに費やされた時間の割合)がSATのスコアに大きな影響を与える一方で、他のパターン(例えば文章と質問間の切り替えの合計量)は、SAT読解文の成績にほとんど影響を与えない事が明らかになりました。私たちのアプリケーションはオープンソースであり、客観的なSAT分析に興味があるすべての教育者に利用可能であり、ソースコードはGithubから入手できます。https://github.com/19howea/EyeTribeDataCollection.git.
    1 視線追跡装置技術 (3)
  2. 関連研究伝統的に、大学がテストに関するデータを集める方法は、偏りのある定性的なテスト後の調査を通してである。これは非常に信頼性が低く、分析困難なデータセットを作成する結果となっている。我々の研究以前には、SATの読み取りパターンを評価するための公平かつ、非侵入型、そして統計的な方法は実在していません。私たちの方法は、より総合的かつ詳細な方法でテストの得点を向上させる技術を学生に提供することを目的としている。私たちのオープンソースコードは、さまざまなバックグラウンドを持つ世界中の教師が自分の経験と比較しつつ、自分達の学生を分析する事を可能にします。
  3. アプローチと方法論我々の研究では、被験者の視線のパターンを検出するためにEyeTribe視線追跡装置を使用しました。EyeTribeアイトラッカーが正確に作動する最大のスクリーンは24インチモニターです。私たちのコードは24インチモニター用に最適化されており、この大スクリーンは被写体がスクリーンのどこを見ているのかを明確にする事ができます。データ収集方法 私達はデータを収集するために、カーンアカデミーのSAT読解文を環境として使用する[4]、文章が左側にあり、質問が右側にある。Eye-Tribeデバイスが目を追跡している間、学生はテストをオンラインで受ける必要がある。生徒が見ている場所の座標は、分析用にCSVファイルに保存されている。24インチモニターでは、座標は(0,0)から(600,1024)である。Eye-Tribeデバイスは1秒間に30個の座標を記録することができる。図2は、カーンアカデミーのインターフェースで受験者の視線を視覚化したものである。

    図2.カーンアカデミーのSAT読解テストインターフェースでの視線のヒートマップ。更に、正解、不正解、未回答の質問、および民族性、性別、年齢など、その他のさまざまなテスト対象の項目に注目する。表1は、統計モデルに使用されるグラウンドトゥルースデータの例を示している。
    表1.グランドトゥルースデータの例。解析方法。収集したデータから、12の読み取りパターンの項目を選出し、正解数と比較する。項目のリストとその説明は表2を参照。

    番号 項目 説明
    1 合計時間 文章を読むのにかかる合計時間
    2 文章を見た合計時間の割合 文章のみを見ていた合計時間の割合
    3 質問を見た合計時間の割合 質問のみを見ていた合計時間の割合
    4 被験者が文章から質問に視線を移す、またはその逆に切り替える合計回数 被験者が文章の途中から質問へ視線を移す、またその逆の切り替えを行った合計回数
    5 開始時に文章を読むことだけに費やした時間 テスト開始時に文章を読むことだけに費やした時間の量
    6 文章を読むことだけに費やされた10秒間隔の量 文章の読み取りに費やされた10秒のうち80%以上を占める10秒間隔の量
    7 質問を読むためだけに費やされた10秒間隔の量 文章の質問を読むのに費やされた10秒間のうち80%以上を占める10秒間隔の量
    8 文章を読むためだけに費やした最初の4分間の割合 文章を読むためだけに費やした最初の4分間の割合
    9 質問を読むためだけに費やした最初の4分間の割合 質問を読むためだけに費やした最初の4分間の割合
    10 文章を読むためだけに費やした最後の4分間の割合 文章を読むためだけに費やした最後の4分間の割合
    11 質問を読むためだけに費やした最後の4分間の割合 質問を読むためだけに費やした最後の4分間の割合
    12 文章を読む速度 被験者が文章を読む速度

    12個の項目を選出後、どの項目が最も大きな影響を与えるかを調べる為に、上記の各項目と正解の数との相関を計算する。相関係数は-1から1の範囲となった。相関係数が1または−1に近づくほど、前述した項目と正解数との間の相関は強くなる。潜在的なSAT読解力スコアを最大化する方法を模索するため、どの項目が最も影響があるかを調査する。項目間の相関係数と正解数はPearsonの相関式[2]で計算される。

    (1)

     

    • rは相関係数
    • nはデータの総数
    • xは特徴ベクトル、xはxの平均
    • yは正解ベクトル、ȳはyの平均
    • Sxはxの総和Syはyの総和

     

    実験の設定

    私たちは実験者として14歳から18歳までの高校生を選んだ。彼らがこの分析の主なターゲットである事が理由である。まず彼らは文章を読み、制約なしで質問に答えた。次に、サンプルセットを収集した後、各参加者に2つの異なる方法でテストを受けさせた。一つは、「文章を読んでから質問を読む方法」、二つ目は「質問を読んでから文章を読む」という方法である。私たちは10カ国、33人の学生からデータを集めました。合計で、1000分以上の生の読み取りパターンデータを収集しました。それらの実績もまた、上記および表1の例に記録されています。

  4. 結果概要学生が文章を読むより、質問を読む事に長い時間を費やすと、好成績となることが判明した。(図3)また、文章を読む時間と質問を読む時間との切り替えが多い場合、好成績を上げる結果には至りませんでした。現在、データセットが小さいために精巧なデータとは言えませんが、正確な結果を得るために最も大切な要因は何なのか、より多くのデータを収集するように取り組んでいます。

    図3. 12の項目に対する相関のグラフ。すべての項目の相関係数と正しい答えが表3に示されいてる。表3.読み取りパターンの項目と正解数の相関係数
番号 項目 相関関数
1 合計時間 0.3798
2 文章を見た合計時間の割合 0.0008
3 質問を見た合計時間の割合 -0.0008
4 被験者が文章から質問に視線を切り替える、またはその逆に切り替える時間 -0.3327
5 冒頭に文章を読むことだけに費やした時間 0.3978
6 文章を読むためだけに費やされた10秒間隔の量 0.2381
7 質問を読むためだけに費やされた10秒間隔の量 0.1517
8 文章を読むためだけに費やされた最初の4分間の割合 0.2557
9 質問を読むためだけに費やされた最初の4分間の割合 -0. 2557
10 文章を読むためだけに費やした最後の4分間の割合 -0.3015
11 質問を読むためだけに費やした最後の4分間の割合 0.3015
12 文章を読む速度 -0.3302
  • 考察と結論この研究の目的は、全国共通テスト、特にSATの読解テスト用に数量化可能なデータセットを提供する事により、受験者のスコアを向上させる効果を高めることでした。私たちのアプローチの利点は、簡易的かつ数量化可能であり、いかなる学生のタイプにでも使用できることです。私たちのプログラムは、客観的なSAT読解用データに関心あるすべての人が利用できるオープンソースプログラムです。我々の研究から、切り替え数と読み取り速度の相関性は最も低い負の相関を持ち、合計時間と最初に文章を読むのに費やされた時間が最も高い正の相関を持つことを見出しました。 つまり、最初に文章、そして質問を読み、両者の切り替え時間を最小にする事で与えられた時間を有効に使う事が可能となり、結果的に高得点を出すのに最も効果的な方法となるのです。我々の研究を更に改善する為に、多様な集団からより多くのデータを収集する事で我々の分析をより客観的に立証し、そして、SAT読解テストの読み取りパターンの影響に関するより強固な証拠を提示できるよう、高得点者と低得点者に対して統計的なテストを使用したいと考えている。

 


引用文献

[1] “New SAT Survey Press Release.” New SAT Survey Press Release, Public Relations The Princeton Review, The Princeton Review, Princeton Review

[2] Daren S. Starnes, Josh Tabor, Dan Yates, David S. Moore, “The Practice of Statistics”, pp. 154.

[3] Roberts, Hannah. “Facebook’s Oculus Purchased a Company That Specializes in Eye-Tracking Technology.”       Business Insider, Business Insider,   http://www.businessinsider.com/oculus-acquires-danish-startup-the-eye-tribe-2016-12

[4] Khan Academy, https://www.khanacademy.org/mission/sat/exams

© 2020 Tokyo Techies. All rights reserved.