電話を使った英語スピーキングテストTSSTの「品質」をアカデミックに研究した結果を報告-『アルク英語教育実態レポート』11月14日発表
PR TIMES / 2017年11月14日 16時1分
言語テストの専門研究者が学術的な手法を使って「TSST」5406件のデータを詳細に分析。TSSTの採点者の質、タスクの難易度、スコアの出し方、受験者の能力の引き出し方など多方面から評価
株式会社アルク(東京都千代田区 代表取締役社長:安嶋 明、以下アルク)の語学教育専門研究機関「アルク教育総合研究所」は、11月14日に『アルク英語教育実態レポート(Vol. 10) Telephone Standard Speaking Test (TSST)の妥当性』を発表しました。
[画像: https://prtimes.jp/i/888/980/resize/d888-980-779104-1.jpg ]
英語学習者に成果をもたらす有益な方法を追求し、その調査・研究結果をお伝えする『アルク英語教育実態レポート』。この度発表する『アルク英語教育実態レポート(Vol. 10) Telephone Standard Speaking Test (TSST)の妥当性』では、言語テストとしてのTSSTの「品質」を学術的な観点から検証し、高い妥当性の証拠があることが見られたことをご報告いたします。
【分析対象】
2015~2016年に実施したTSSTデータを分析した。受験者5,406名、採点者32名、タスク771問の採点データが含まれる。
【分析手法】
分析は、Facets (Version 3.71.4; Linacre, 2014) の評価尺度モデルを用いて多相ラッシュ分析を行った。受験者、タスク、採点者の3相を含めた。
【分析結果】
分析を通じて、以下のような課題に応えようとした。
(1) スコアの全体の分散は、多相ラッシュ分析によってどの程度説明されるか
(2) 採点者の厳しさに違いはあるか
(3) 採点者内の一貫性は高いか
(4) タスクの難易度は意図通りか
(5) タスクが測る能力は一貫しているか
(6) 受験者の能力推定値は、安定しているか
(7) TSSTスコアの出し方は適切か
(8) 受験者は、複数のタスクでの反応や複数の採点者による採点の点で、一貫した能力を示しているか
(9) ルーブリックのレベルは十分に弁別されているか
(10) ルーブリックは受験者を十分に弁別できているか
(11) 採点者とタスク、採点者と受験者、タスクと受験者の間に偏った評価傾向は見られるか
◆採点者について
採点の厳しさの度合いで32名は2グループに分かれたが大きな開きはないこと、一人の採点者に注目しても採点の一貫性は非常に高く保たれていることが分かった。
◆タスクについて
タスクの難易度は2層に分かれ、テスト制作側の意図通りになっているといえる。しかし、タスクは10個あるので、もう少し異なる難易度のタスクを入れることが、より精密にスピーキング能力で受験者を分けるための一つの改善方法になると思われる。
◆TSSTスコアの出し方について
多相ラッシュ分析を用いて算出した受験者能力値と、採点者3名の判断によるTSSTスコアの相関関係を調べたところ、非常に強い関係が見られた (r = .95)。そのため、多相ラッシュ分析による推定値と、3名の採点者の採点に基づき決めた最終スコアは一貫しており、TSSTスコアの算出方法は適切であると考えられる。
◆受験者について
受験者が10問への回答で一貫した能力を示しているかを、受験者のインフィット平均平方値を用いて検討したところ、「アンダーフィット」と判定された受験者が多い傾向があった。これは、スピーキング能力が低目だがいくつかの難し目のタスクでは高得点だった、またはその逆の場合がある、ということである。該当タスクに関しては再検討してみる必要があると思われる。
【アルク英語教育実態レポート】
URL:https://www.alc.co.jp/press/report/pdf/alc_report_20171114.pdf
URL:https://www.alc.co.jp/company/report/(アルク調査レポート)
URL:https://www.alc.co.jp/company/pressrelease/ (プレスリリース)
<本件に関する報道関係者向けお問合せ先>
アルク 広報担当 河合(かわい)
e-mail:ko-ho@alc.co.jp
TEL:03-3556-2711 (平日 9:00~18:00)
[アルクとは]
アルクは、1969年4月の創業以来、企業理念として「地球人ネットワークを創る」を掲げ、実践的な語学力を身につける教材の開発をすすめてきた語学教育総合カンパニーです。創刊から45年を超える『ENGLISH JOURNAL』など学習情報誌をはじめ、受講者数延べ120万人の通信講座「ヒアリングマラソン」シリーズ、書籍、研修、eラーニング教材、各種デジタルコンテンツの提供など、語学分野における学習者向けの様々な支援を行っております。URL:https://www.alc.co.jp/
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
アルク、 120万人が利用した「1000時間ヒアリングマラソン」が語学学習アプリ「booco」で復活!
PR TIMES / 2024年4月23日 18時15分
-
多様化する中学受験…実施校が爆増した「新タイプ入試」「英語入試」に受かるのはどんな子か
オールアバウト / 2024年4月22日 20時45分
-
学科名変更のお知らせ2025年4月名古屋商科大学、国際学部 英米学科に
PR TIMES / 2024年4月10日 16時45分
-
「大学付属校」には"欠点"がある…教育ジャーナリストが「想定以上のランクも狙える」と勧める進学ルート
プレジデントオンライン / 2024年4月9日 9時15分
-
「聞くだけ」で応募できる!『春の英語初級者 応援イベント』開催決定!楽しく学べる大人向け英語アプリ「ディズニー ファンタスピーク」
PR TIMES / 2024年3月29日 18時45分
ランキング
-
1リッチモンド、顧客満足度1位に「なっちゃう」神髄 目指さずとも…要因は"委ねる"から生まれる主体性
東洋経済オンライン / 2024年4月23日 10時30分
-
2いなば食品、大炎上でも「不買運動」が起きぬ理由 キリンはあれだけ盛り上がったが…どこに違いが?
東洋経済オンライン / 2024年4月23日 18時10分
-
3「会社の飲み会」を避ける人は大損している…飲み会は無駄という若手が知らない"お値段以上のリターン"
プレジデントオンライン / 2024年4月23日 6時0分
-
4【要注意】自宅に「エコキュートの無料点検をします」と突然の来訪! 悪徳業者の「詐欺」の場合もあるの? 正規業者との見分け方や注意点を解説
ファイナンシャルフィールド / 2024年4月22日 5時0分
-
5今から家買う人は知らないとマズい「耐震」の真実 過去の大地震の被害データを分析してわかること
東洋経済オンライン / 2024年4月23日 13時0分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください