无论你是学生,还是已经离校很多年,对于被AI批改试卷这件事儿,可能早就见怪不怪,可让机器决定人的命运,这件事儿始终都充满质疑。今天就和DT君一起来看看,AI改卷正面临着怎样的前景吧。
最近,老外特别关注AI在中国教育界的进展,例如人脸识别进课堂、高中AI教材出版等等,这一次关注的焦点是:AI代替老师批作业。
起因是,英文《南华早报》最近有篇报道说,中国有大约6万所学校都在用人工智能来批改学生的作业,每四所学校中就有一所在用。
学生们提交的英文作业,打分交由机器完成,而不是人类教师。作文批改系统,要比Word的拼写检查复杂得多。它能够理解文字的一般逻辑和意思,对作文的整体质量做出像人一样合理的评判,还要在写作风格、结构、主题等方面给出改进。
这个6万所学校的人工智能,就是句酷批改网。在它的背后,是一个多所高校和公司共同推进了近10年的项目:语言智能评测关键技术及应用。
数据显示,这个机器教师的学生已经达到1.2亿,还覆盖了90%高校,以及所有区县的中学。但它也像一道分水岭,有些人压根没听过。这一点也不奇怪。要知道2016年底,这个服务覆盖的学校才6000多所。
说起这些,量子位的一枚同事,默默地贴出她被批改网“支配”的往事:100多字的英语短文,修改了40多次。
网友“TroyS”反映,一次专门到网上查到批改网各种高分表达并且用到作文里,提交后得了86分,修改语法错误后分数变为91.5分。此后,该网友把“高分表达”删除,试着用普通表达后,评分还是91.5分。再后来,试着删掉最后一段、试着删掉最后两段,提交后的分数也都仍然是91.5分。但更令其吃惊的是,当该网友把最后两段又贴回去后,分数变成了90分,并且此后修改了17次之多,但分数没变过。
知乎网友“猴赛雷”也提到,通过使劲重复题目要求中的词和句子、贯穿全文,结构以“首先、其次”这类“八股文模式”照搬,文内多加六级高级词汇和句式等,再加上批改网推荐替换的词汇都用上,最后就能得到高分,但是内容驴唇不对马嘴。
未来网记者将网上找的《假如给我三天》的英文节选粘贴到批改网上,提交后得分85.5分,并提示标题“假如给我三天”的英文表达“疑似谓语缺失”。根据文后的按句点评修改两处提交后,得分仍为85.5分。然而,当记者删掉最后一段后,得分变为了86分。接着,记者又删除第一段,提交后得分变成了86.5分。当记者再将第二段删除后,分数又变成了86分。
一位自称曾经是批改网研发的用户也表示,“批改网的批改原理是用度加权平均来给你打分。如果一个维度权重很重,你刚好改了之后这个维度的值降了,一加权自然就分数低了”。
批改网修改作文的原理是,作文提交后,网站将作文从“词汇”、“句子”、“篇章结构”、“内容相关度”4个大类192个维度进行拆分,每个维度都会与批改网建立的英语本族语语料库(即国外英语文章的素材)作对比。语料库越丰富,对比的客观性就越高,机器批改与人工批改的一致率就越高。
比如,在作文中经常出现“learn knowledge”这样的中式英语。将这样的语言搭配与语料库资料对比后发现,以英语为母语的国家中,使用“learn knowledge”的频率为0次,使用频率最高的是“have knowledge”。所以,会学生使用“have knowledge”。
再提供点新信息,根据《2018年国家科学技术进步项目提名公示》中披露的内容显示,批改网背后的技术“历经近10年的潜心研究”。
1、首次提出全信息语言评测模型属羊的今年多大 2、构建大规模评测本体知识库 3、构建大规模评测语料库和规则库 4、提出篇章主题聚合度模型 5、提出文档自动编辑和转换模型。
不管细节怎样,总有质疑说机器批改打分的价值不大,目前仍有一些不足。但是,这套系统可能真的击中了老师的痛点。也把这个作为宣传的重点:
上海交通大学的胡开宝教授说,批改网可以减轻老师负担,提高学生学习积极性;大学杨芳老师:”以前学生追着我问 ‘ 老师你改了没有? ‘ ,在使用批改网后我追着学生问 ‘ 作文交了没有?’ “。
系统的开发者们把它定位成一种辅助工具。对于缺乏教育资源的偏远地区学生来说,一个批改作文的AI能为他们带来不错的写作训练;对于一般的学校来说,它能帮老师们搞定堆积如山的作业,加快批改的速度。
然而根据《南华早报》的报道,老师们对作文批改AI的信任度并不是很高。老师们依然认为,这个系统还不能算完美,有些很好的作文得不到高分。
测试机构ETS的作文评分系统e-rater,从2010年开始,就开始正式参与托福考试作文的打分,一个人类评分员和e-rater给出的分数一平均,就成了托福作文的得分。
而这次被英文关注的中国批作业AI,老师们也只是在日常作业和小测验中使用AI来批改打分,真正的考试,还不敢交给它。
期待更多数据侠干货分享、话题讨论、福利发放?在号DT数据侠(ID:DTdatahero)后台回复“数据社群”,可申请加入DT数据社群。
“数据侠计划”是由第一财经旗下DT财经发起的数据社群,包含数据侠专栏、数据侠实验室系列活动和数据侠联盟,旨在聚集大数据领域精英,共同挖掘数据价值。了解数据侠计划详情请回复“数据侠计划”,、合作请联系。