« 「他人事ととらえず対策を」朝日新聞で- | トップページ | 見出しに見る勘違い(その885) »

2023年3月 6日 (月)

世界の大学Rankingを決める ‘Methodology’

毎年,世界の大学のランキングが発表され,世界における日本の大学のランキングの低さが確認できます。
いくつかの同様のサイトがありますが,最近見たランキングでは 日本の1番の東京大学は世界で39番でした。

日本は他の非英語圏の国と比較して,高等教育に対しても英語(学術書,教育者など)を必要としない稀有な国(日本語,日本人でほぼ充足可能)であること(従って 論文が日本語で書かれ,留学生には日本語能力が必要,・・・)が 理由の一つなのではと考えています。
実際はどうなのか- ‘World University Rankings’ を発表している ‘Times Higher Education’ の-
World University Rankings 2023: methodology” を読んでみました。
下記,拙訳・転載します・

***********************
世界中の機関から収集した情報から,世界大学ランキングを厳密にまとめている。これは,表を作成するために約1,800の研究機関に関するデータを評価する方法である。2022105

Times Higher Education World University Rankings’ は,教育,研究,知識の伝達,国際的な展望など,主要な使命のすべてにわたって研究集約型(research-intensive)の大学を評価する唯一のグローバル・パフォーマンス・テーブルである。慎重に調整された 13のパフォーマンス指標を使用して,最も包括的で(comprehensive)バランスの取れた比較を提供し,学生,学者,大学のリーダー,業界,政府から信頼されている。

パフォーマンス指標は,次の5つの領域にグループ化されている:教育 (学習環境);研究 (ボリューム,収入,評判); 引用(Citations(研究への影響); 国際的な見通し(スタッフ,学生,研究); 産業所得(知識移転)。

001_20230213184601

Teaching (the learning environment): 30%
教育(学習環境):30%

Reputation survey(好感度調査): 15%
Staff-to-student ratio(スタッフと学生の比率): 4.5%
Doctorate-to-bachelor’s ratio(博士号と学士号の比率): 2.25%
Doctorates-awarded-to-academic-staff ratio(博士号取得者と教職員の比率): 6%
Institutional income(機関収入): 2.25%

2021年11月から 20223月にかけて,このカテゴリーを支える最新の学術評判調査(Academic Reputation Survey (毎年実施,今年は ‘THETimes Higher Education’ が実施) が実施され,教育における機関の認識された名声を調べた。この調査は,分野や国全体でバランスのとれた回答が得られるように実施されている。分野や国が過大または過小評価されている場合,‘THE’ のデータ・チームは回答を重み付けして,学者の世界的な分布を完全に反映させた。2022年のデータを 2021年の調査結果と組み合わせると,40,000 を超える回答が得られる。

教育機関が次世代の学者の育成にどれほど力を入れているかを示すだけでなく,大学院の研究生の高い割合は,卒業生にとって魅力的であり,大学院生の育成に効果的な最高レベルの教育の提供を示唆している。この指標は,博士号の授与量が分野によって異なることを反映して,大学独自の科目構成を考慮して正規化されている。

機関の収入は,学術スタッフの数に対してスケーリングされ,購買力平価 (PPPpurchasing-power parity) で正規化される。これは,教育機関の一般的なステータスを示し,学生とスタッフが利用できるインフラストラクチャと施設の広い意味を示す。

Research (volume, income and reputation): 30%
研究(ボリューム,収入,評判)

Reputation survey(評判調査): 18%
Research income(研究収入): 6%
Research productivity(研究の生産性): 6%

このカテゴリの最も顕著な指標は,毎年恒例の学術評判調査(Academic Reputation Survey (上記参照) への回答に基づいて,大学間での研究の卓越性に対する大学の評判を見る。研究収入は,教職員数に比例し,購買力平価 (PPP) で調整される。これは,国の政策や経済状況の影響を受ける可能性があるため,議論を引き起こす(controversial)指標である。しかし,収入は世界クラスの研究の発展に不可欠(crucial)であり,その多くは競争の対象となり,相互評価(peer review)によって判断されるため,我々専門家はそれが有効な尺度であると示唆した。この指標は,各大学の異なる科目プロファイルを考慮して完全に正規化されており,これは,科学科目の研究助成金が,最高品質の社会科学,芸術,人文科学の研究に授与される助成金よりも大きいことが多いという事実を反映している。

生産性を測定するために,‘Elsevier’ の ‘Scopus’ データベースによって索引付けされた学者ごとの学術雑誌に掲載された出版物の数をカウントし,機関の規模でスケーリングし,主題で正規化する。これは,質の高い査読(peer-reviewed)付きジャーナルに論文を掲載する大学の能力を感じさせる。2018年のランキングから,大学が教職員を出さないと宣言している科目で発表された論文にクレジットを与える方法を考案した。

Citations (research influence): 30%
引用 (研究の影響): 30%

我々の研究影響力指標は,新しい知識やアイデアを広める上での大学の役割に注目している。

大学の出版物が世界中の学者によって引用される平均回数を把握することにより,研究の影響力を調べる。今年,計量文献(bibliometric)データの提供者である ‘Elsevier’ は,5年間に発行された 1,550万のジャーナル記事,記事のレビュー,会議議事録,書籍,書籍の章の 12,100万件を超える引用を調査した。このデータには,‘Elsevier’ の ‘Scopus’ データベースによって索引付けされた 27,100 を超える学術雑誌と,2017 年から 2021 年の間に索引付けされたすべての出版物が含まれている。2017年から 2022年までの 6年間に作成されたこれらの出版物への引用も収集されている。

引用は,各大学が人類の知識の総和にどれだけ貢献しているかを示すのに役立つ:それらは,どの研究が際立っていて(stood out),分野に関係なく,我々の理解の境界を拡大するために,他の学者によって取り上げられ,構築され,最も重要なことに,世界の学術界で共有されていることを示す。

データは,異なる主題分野間の引用量の変動を反映するように正規化されている。これは,伝統的に被引用回数が多いテーマで高レベルの研究活動を行っている機関が,不当な優位性を得ないようにすることを意味する。

国で調整された引用スコアと国で調整されていない引用スコアの生の測定値の等しい測定値をブレンドした。

2015年から 2016年にかけて,著者1,000人を超える論文を,少数の大学の引用スコアに過度の影響を与えていたため,除外した。2016年から 2017年にかけて,これらの論文を再統合する方法を設計した。‘Elsevier’ と協力して,我々は,これらの論文の著者である学者が属するすべての大学が論文の価値の少なくとも 5% を受け取り,論文に最も多くの貢献者を提供した大学が比例してより大きな貢献を受け取ることを保証する端数カウント・アプローチを開発した。

International outlook (staff, students, research): 7.5%
国際的な展望(職員,学生,研究):7.5%

Proportion of international students(留学生の割合): 2.5%
Proportion of international staff(外国人スタッフ比率): 2.5%
International collaboration(国際協力): 2.5%

世界中から学部生,大学院生,教員を引き付ける大学の能力は,世界の舞台で成功するための鍵である。3番目の国際的な指標では,少なくとも 1人の国際的な共著者がいて,より多くのボリュームの報酬を与える,大学の関連出版物全体の割合を計算する。この指標は,大学の科目構成を考慮して正規化されており,「引用: 研究への影響(Citations: research influence)」カテゴリと同じ 5年間のウィンドウを使用している。

Industry income (knowledge transfer): 2.5%
業界収入(知識移転):2.5%

イノベーション,発明,コンサルティングで産業界を支援する大学の能力は,現代のグローバル・アカデミーの中心的な使命となっている。このカテゴリは,機関が雇用する学術スタッフの数に対してスケーリングされた,産業 (PPP で調整された)からの機関への研究収入を調べることによって,そのような知識移転活動を把握しようとする。

このカテゴリは,企業が研究に支払う意思がある程度と,商業市場で資金を集める大学の能力を示唆している-これは,機関の質の有用な指標である。

Exclusions
除外

大学が学部生を教えていない場合,または研究成果が 2017年から 2021年の間に関連する出版物が 1,000件未満 (年間最低 150 ) である場合,その大学は世界大学ランキングから除外される可能性がある。研究成果の 80%以上が 11の科目分野の 1つに限定されている場合,その大学も除外される可能性がある。

Data collection
データ取集

機関は,ランキングで使用する機関データを提供し,承認する。まれに,特定のデータ・ポイントが提供されない場合があるが,影響を受ける指標について控えめな見積もりを入力する。これを行うことで,機関が見落としているデータや提供していないデータの値を「ゼロ」にすることで,機関に過度に厳しいペナルティを課すことを回避するが,それらを差し控えたことに対して報酬を与えることはない。

Getting to the final result
最終結果に到達

指標への一連の特定のデータ・ポイントから移行して,最終的に機関の合計スコアへは,根本的に異なるデータを表す値を一致させる必要がある。これを行うために,各指標に標準化アプローチを用いて,上記で詳述した比率で指標を組み合わせる。我々が使用する標準化アプローチは,特定の指標内のデータの分布に基づいており,累積確率関数を計算し,特定の機関の指標がその関数内のどこにあるかを評価する。

学業評判調査(Academic Reputation Survey)を除くすべての指標について,‘Z-scoring’ のバージョンを使用して累積確率関数を計算する。 学術評判調査のデータ分布には,指数成分を追加する必要がある。

(転載了)
****************

結局のところ,日本の大学のランキングが低い理由は?
データ詳細を確認しないと分かりませんが,「(論文)引用」が一つの理由であることは間違いないでしょう。
更に ‘Effective Language Learning’ によれば 習得が最も困難な言語として 日本語が挙げられています。

| |

« 「他人事ととらえず対策を」朝日新聞で- | トップページ | 見出しに見る勘違い(その885) »

つぶやき」カテゴリの記事

コメント

コメントを書く



(ウェブ上には掲載しません)


コメントは記事投稿者が公開するまで表示されません。



« 「他人事ととらえず対策を」朝日新聞で- | トップページ | 見出しに見る勘違い(その885) »