[澳洲]　澳洲學界對研議中之澳洲研究卓越評估制度之建言--分析方法取決於數據型態

篇名　澳洲學界對研議中之澳洲研究卓越評估制度之建言--分析方法取決於數據型態
編譯　國科會駐澳大利亞代表處科技組
出處　The Australian, 8 July, 2009/ 國科會國合處簡訊網
連結　http://stn.nsc.gov.tw


澳洲聯邦政府預算報告，再次重申對高等教育部門績效評估的關切，此評估是必要的，但衡量方式必須是適宜的，且要避免過度依賴量化指標。

華爾街只著眼數據而做決策，而未探求背後的來龍去脈；其結果最終導致全球金融風暴。他們使用有問題的且不可靠的指標，而使得其量化的結果背離現實狀況。

個人主觀的評斷、經驗及直覺等因子，在數據分析的方法時都應被考慮以避免偏頗，才能得到正確的結果。據說 Morgan Stanley 之所以在華爾街風暴中未受影響，就是因為其在紐約的資深投資夥伴的直覺；即使量化指標仍持續的顯現樂觀的結果，他們以直覺及多年的經驗知道有狀況即將發生，得以預先處理以降低風險承擔。

澳洲研究委員會投入鉅資推動The Excellence in Research for Australia (ERA)，並尋求建立量化及質化指標之平衡，其中值得讚賞的是亦考慮到成本效益之因素。

在最近《Academy of Management Learning and Education》 (AMLE) 期刊中，由加拿大 McGill 大學 Nancy Adler 及 Melbourne 大學 Anne-Wil Harzing 所發表的文章中說明量化指標衡量學術表現的專斷。他們認為目前的評量系統並無法正確、公平的評定個人或者是機構的表現。用不可靠的量化指標來排名往往扭曲了對於機構表現的認知。

研究政策必須以兼顧當前目標，以及適應未來無法預料之新社會、經濟變化的靈活性為出發點。而政策的決定則必須根基於對當下情勢以及根本變化的深入了解。將推出的 ERA 量化統計分析將可提供對過去研究績效之了解，但無法提供有效政策所需之充分資訊。且其無法衡量創意的品質和廣泛度以及該創意對社會及經濟成長之影響。

例如在「創新研究」相對較小但不斷成長的研究領域中，在 the Thomson ISI Social Sciences Citation Index 的期刊文章中，約 2% 是澳洲作者的。這大約等同於澳洲其他各研究領域的百分比。若依此數據，會以為這個研究領域是令人滿意的，但是目前此領域僅有少部分的學者能夠在國際上保持好的水準，整體而言此領域之成果仍是貧乏的。

量化分析研究能夠說明什麼正在發生，而質化分析研究則能說明事情發生的原因。ERA 程序使用的是同儕評審，著重某些特定的領域，並且強調專業憑斷的重要性。但是，經驗顯示了使用簡單劣質的指標是如何容易被採用，以及可能造成嚴重的傷害。

ERA 面對的挑戰是去確保量化指標能夠涵括研究社群同儕的洞悉和判斷，並取得學術社群的認同，認為這是好的評估方式。