- 相關(guān)推薦
幾個英語作文自動評分系統(tǒng)的原理與評述
在英語作文教學(xué)中，對學(xué)生作文進(jìn)行批改一直被師生共識為提高寫作能力的有效手段。但是，考慮到時間、精力、作文收發(fā)等方面，又不得不承認(rèn)效率不高。在大規(guī)模語言考試中，作文又是必不可少的題型，閱卷工作量和閱卷的信度等問題一直以來都不能讓我們?nèi)缫�。針對這一難題，電腦智能自動評分系統(tǒng)提供了可以信賴、值得期盼的解決方案。
在PEG、IEA、E-rater、冰果、MY Access、IntelliMetric等幾種智能評分系統(tǒng)中，本文選取IntelliMetric系統(tǒng)進(jìn)行研究，對其評價標(biāo)準(zhǔn)進(jìn)行理論分析，對其所評分的作文進(jìn)行跟蹤評析，發(fā)現(xiàn)其通過對學(xué)生作文按照若干評分標(biāo)準(zhǔn)問題進(jìn)行回應(yīng)和打分的方法能夠快速、有效地解決了作文評分的效率問題，可靠性和準(zhǔn)確性不亞于人工評分的水平，完全可以作為人工評分的補(bǔ)充手段。由此看來，智能評分系統(tǒng)的發(fā)展值得期盼。
一、IntelliMetric系統(tǒng)概述
IntelliMetric系統(tǒng)發(fā)布于1998年1月，是第一個提供給教育機(jī)構(gòu)的智能作文評分軟件，相比傳統(tǒng)的人工評閱具有許多優(yōu)點，如：準(zhǔn)確 度大于個人評分，尤其大于單人人工評分；提供即時反饋等等。發(fā)布以后，系統(tǒng)得到了廣泛的應(yīng)用。
IntelliMetric系統(tǒng)作為一個智能評分系統(tǒng)，充分模擬了人工評分的過程。系統(tǒng)開發(fā)時經(jīng)過了大量的測試培訓(xùn)，即不斷通過人工糾正其自動認(rèn)定的給分點，直至契合。值得提出的是，系統(tǒng)不是將所有的給分點簡單地相加，而是通過分析給分點之間的聚合關(guān)系，模擬人工從整體上看待作文并給出判斷，這一點上跟人工評分的過程是一致的。
對于每一個給分點刺激和提示，IntelliMetric系統(tǒng)創(chuàng)建了一個獨(dú)特的解決方案，主要的給分點、次要的給分點、聚群給分點和分散給分點，都有不同的分?jǐn)?shù)賦值。每一個刺激或提示，這相當(dāng)于人工閱卷時我們先將作文的得分點做上標(biāo)記，然后回過頭來審視通篇看所有的這些給分點是否形成整體，主題是否突出，連貫是否流暢。正因為如此，IntelliMetric系統(tǒng)能夠?qū)崿F(xiàn)令人滿意的高匹配的評閱結(jié)果。
二、IntelliMetric系統(tǒng)評分依據(jù)
IntelliMetric系統(tǒng)的評分依據(jù)主要根據(jù)其對作文進(jìn)行的300多個變量的分析，這些變量包括語義學(xué)、造句法等與主題有關(guān)的一切因素，其數(shù)量和認(rèn)定的準(zhǔn)確度還在發(fā)展當(dāng)中。概括起來，IntelliMetric系統(tǒng)評分依據(jù)從宏觀到微觀具有幾個方面功能特征：
首先是聚焦度（Focus）和整體性（Unity），系統(tǒng)高度關(guān)注指向?qū)懽髂康牡木劢苟群鸵恢滦�，對給分點的聚合關(guān)系賦值有統(tǒng)籌考慮，同時，也不排斥出現(xiàn)的單個觀點的出現(xiàn)，注意到意義的關(guān)聯(lián)度，做到點和面的全盤考慮。
其次是深化（Development）和拓展（Elaboration），系統(tǒng)關(guān)注文章內(nèi)容的廣度和概念的拓展深度，關(guān)注對主題的深化表述論述過程，注意意義點之間的線性關(guān)聯(lián)，做到點與點的流程考慮。
三、IntelliMetric系統(tǒng)局限性及關(guān)于智能評分系統(tǒng)的思考
IntelliMetric系統(tǒng)再好，它還是屬于工具，少不了它的局限性。 首先，系統(tǒng)測試時大大依賴于標(biāo)準(zhǔn)的人工評閱專家。系統(tǒng)需要明確的給分點提示和整體把握流程，而這樣的專家往往也是仁者見仁智者見智的，很難取得統(tǒng)一。輸入不夠?qū)е螺敵鼍窒�，使用系統(tǒng)進(jìn)行機(jī)評時我們會發(fā)現(xiàn)系統(tǒng)遺漏了給分點或整體把握不靈的情況。
從目前各種智能評分系統(tǒng)的使用看來，各種系統(tǒng)的設(shè)計都利用了多種現(xiàn)代信息處理技術(shù)， 主要包括自然語言微觀和宏觀處理技術(shù)、檢索技術(shù)和統(tǒng)計分析技術(shù)等，但由于所使用的各種技術(shù)成熟程度不同，主要由于對自然語言處理微觀宏觀標(biāo)準(zhǔn)的建立和人工智能化程度還遠(yuǎn)遠(yuǎn)不夠，系統(tǒng)的分析能力難免存在較大局限性。目前，由于涉及專利問題，各種智能評分系統(tǒng)所采用的自然語言處理微宏技術(shù)都還沒有公開，這是一個遺憾，對我們進(jìn)一步開展研究很不利。
智能評分系統(tǒng)在對評分模型進(jìn)行訓(xùn)練并建立基礎(chǔ)數(shù)據(jù)庫、形成建模，是提高其工作質(zhì)量，即作文評分的信度的關(guān)鍵。接下來，我們應(yīng)充分借鑒語言測試領(lǐng)域的成果，充分發(fā)展自然語言處理微宏技術(shù)，在語言表述、思想內(nèi)容和結(jié)構(gòu)等方面進(jìn)行聯(lián)動賦值，并植入智能系統(tǒng)。還要在程序上進(jìn)一步模擬人工流程，對自動評分模型進(jìn)行反復(fù)訓(xùn)練調(diào)試，才能提高機(jī)評的信度，為語言教學(xué)提供強(qiáng)有力的輔助。
【幾個英語作文自動評分系統(tǒng)的原理與評述】相關(guān)文章：
英語作文評分08-07
英語作文評分標(biāo)準(zhǔn)07-28
六級英語作文的評分方法11-28
oa辦公自動化系統(tǒng)12-21
2017廣東高考英語作文評分標(biāo)準(zhǔn)08-03
自動鉛筆英語作文10-18
職評述職報告09-25
自動控制原理實訓(xùn)心得體會08-10