您所在的位置:首页 > 移动互联网教育 > 拍照搜题谁家强?主流拍搜APP测评报告

拍照搜题谁家强?主流拍搜APP测评报告

日期:2017-11-01   来源:互联网教育研究院   
摘要 : 互联网科技与教育的结合,一方面使学习者获取资源变得容易,同时也创造出了简单高效的学习方式。

  互联网教育研究院测评中心

  一、 测评背景

  互联网科技与教育的结合,一方面使学习者获取资源变得容易,同时也创造出了简单高效的学习方式。如拍照搜题,基于系统内海量的题库和图片识别技术,当学生遇到学习难题,只需要用手机拍下问题的照片,提交给系统后很快就能得到解答。高效的应答为学生的课外学习提供了极大的方便,而且将答疑变成了一件随时随地的事情。

  拍照搜题(简称“拍搜”)产品自2013年兴起后,其满足了学生学习问答的刚性需求,受到资本的热烈追捧,各路豪杰纷纷加入了拍搜的行列,其中也不乏佼佼者获得了风险投资,出现了不下十家同类产品。互联网教育研究院测评中心耗时半个多月,对下载量比较高的五款拍照搜题APP做了测评,做出的此次测评,供业界人士参考。

\

表1:五款下载量比较高的APP 单位:万次

  二、 测评环境

  1、测评所用手机

  SAMSUNG-note2、小米1s、华为p7、iPhone5S。

  2、测试所在环境

  日光灯下、太阳光下、阴暗房间中。

  3、测试所用软件

  从诸多同类产品中做了预筛选,排除了一些识别率低的产品,最后选取了阿凡题、学霸君、小猿搜题、作业帮、学习宝作为测试对象(排名不分先后)。

  4、教材版本

  初中和高中的人教版、苏教版、北师版。

  5、题型

  选择题、填空题、计算题、解答题。

  三、 拍搜准确率测试结果

  1、试题覆盖率测试结果

  由于初高中学生面临升学压力,对答疑的需求非常强烈,目前市面上的拍照搜题软件面向的主要也是这个市场,因此我们选择了中学阶段的试题作为试题源,试题源来自百度文库对应版本的试题。

  为了观察各拍搜APP在初中、高中两个阶段的题库覆盖率以及搜答案的正确率,我们分别在初中、高中3个版本的教材中选择了436道题目进行了拍照搜题测试,下表是测试结果。

\

表2 各APP初中和高中拍搜正确率

  从综合表现来看,拍搜APP能够达到宣称的准确率和覆盖率,对要搜答案的用户来说,此类APP已经具备了实用价值。但各家拍搜APP对于初中和高中的题库覆盖面表现不一,最高可以达到95.83%,,最低的只有76.39%。

  从测试的准确率上来看,拍搜APP呈现出梯队效应。拍搜D和拍搜E位居第一梯队,但两者的综合实力也在伯仲之间,实在难分高下。另外几款APP在准确率上显示要稍逊于前两位。

  2、 各教材版本的搜题结果

  全国各省市中学使用的教材不尽相同,在不同版本的教材对应的练习题是否都能搜到?为了检验各拍搜APP的题库是否能全面覆盖各版本教材,不同版本教材的题目是否得到正确的答案,我们选取了人教版、苏教版、北师大版三种教材,每个版本教材挑选了几十道经典题目进行测试,以下是测试结果。

\

  表3 不同版本的拍搜正确率

  从正确率的对照结果中,我们可以看出,各家APP对三个版本的教材基本全面覆盖。其中人教版的搜题正确率最高,也说明了各家APP对于人教版教材的题目覆盖率最高。综合来看,各家对于各版本的教材覆盖率上,拍搜D和拍搜E处于领先地位,其他三家尾随其后。

  3、不同题型的测试结果

  一个优秀的拍照搜题APP应当能应对选择题、填空题、计算题、解答题等多种题型,这取决于各家APP对于各类题型的覆盖情况。为了能综合反映各APP对各科不同题型的应对情况,我们将各科题目综合分成选择题、计算题、解答题三类,使用五款APP对题目进行了多次测试,以下是测试结果。

\

图1 对不同题型的拍搜正确率

  数据显示,在各题型上,五家APP的覆盖率都算不错。在选择题上,拍搜D和拍搜E并驾齐驱,正确率高达93%。拍搜A、拍搜B和拍搜C比起前两者稍逊风骚。在计算题上,仍是拍搜D处于领先地位,后面的拍搜E紧随机后。另外三者稍逊风骚。而在解答题上,拍搜A、拍搜D和拍搜E三雄争霸,正确率都高达93%,另外两者仍处于追赶阶段。

  4、综合准确率测试结果

  在测评过程中我们发现,各家拍搜APP在拍照搜题的结果上可以归为以下三种:(1)正确答案:即正确搜到与原题完全对应的答案;(2)模糊答案:即搜到的结果包括了原题的答案,虽然搜到的试题答案并不完全对应于原题,但对解题仍有帮助,因此我们将其定义模糊答案;(3)错误答案:原试题与搜到的试题对应不上,或者答案有错误。

  本报告将搜题三种结果对比搜题总数的概率分别称为“正确率”、“模糊率”和“错误率”。在综合年级、教材版本、题型三种因素的测试结果,通过正确率、模糊率、错误率应该就可以反映各家APP的综合指标。以下是综合各项数据的测试结果图。

\

表4 五款APP拍搜正确率指标

  各款APP除了比的是拍照识别的技术以外,也同时比拼的是在试题数量、机器学习、大数据处理等方面的实力,测试结果表明,不同的产品的确有差距:五款APP拍搜正确率最高的为92.59%(拍搜D),最低的仅有78.70%(拍搜C),中间位置的产品也有一些差别。这说明主流拍搜APP在准确率上,已经拉开很大的差距。

  5、不同光线下的测试结果

  照片识别是一门高端技术,识别的性能将直接影响到拍照搜题的正确率。为了检验在不同光照度对拍照搜题是否会产生影响,我们选择了在三种照度下对五家APP进行了拍照搜题测试。

  首先我们从已经测试过的题目中抽取10道所有APP都能搜到的题作为测试用题,摒除题目因素的干扰。其次准备了一部拍照效果相对较好的三星note2作为测试设备,摒除照片质量因素的干扰。最后我们分别在白天日光、夜晚开灯、昏暗不开灯的三种室内环境下进行测试工作,以下是测试结果。

\

(照度计型号:TES 1332A lux:勒克斯为照度单位)

  表5 在不同照度下各APP的正确率

  对照表格反应,各家拍搜APP在三种照度环境下拍照搜题的正确率均为100%,可以得出结论:在不同照度下,五家拍搜APP表现优秀,这也说明了在照度不同的情况下,拍搜APP的正确率基本不受光照影响。

  6、系统稳定性测试结果

  在软件的稳定性测试方面,我们对该五款拍照搜题APP进行了系统测试。其中包括对五款软件是否出现闪退、有无bug、系统有无反应、安装、启动、运行卸载方面的测试,还对在运行系统时接打电话、收发短信等对使用的影响测试。

  (1)在是否出现闪退、有无bug、系统有无反应方面的测试

\

表6 各APP运行稳定性对比

  从上述测试中发现:拍搜B在测试过程中出现了bug现象,在多次拍摄同一问题时,之前拍摄出答案全部正确,而后再次拍摄出现了搜索不出答案现象;拍搜C在此次测试中系统反应较慢;而其他APP在测试过程中都无出现闪退及bug现象。

  (1)在运行系统时接打电话、发短信时对使用的影响

  我们对五款软件在每款逐一运行期间打电话,发短信,来检测它们是否对系统有所影响。在系统运行测试时,我们在打开软件、拍摄问题、进行答案解答等时刻,对这每一个环节进行打电话,发短信各三次,来观测它们是否对软件有所影响。经过测试,这五款软件运行状况良好,没有出现异常。

  四、 其他指标测评结果

  除了拍照搜题功能外,测评人员还对各APP的其他性能指标,如交互设计、操作性能、核心和高级功能进行了测评,以下是测评结果。

\

表7 各APP综合评分指标

  在软件交互设计上,各APP均表现优异,而在提升用户体验上都或多或少有进步的空间。在答题的高级功能——人工答题上,此项功能尚待开发,不在评述之列。另外四款软件中拍搜A和拍搜E具有更好的用户体验,拍搜B和拍搜C在体验和服务上有待提升。

  五、 测评总结

  通过对五款拍搜APP的系统测试,我们发现各家APP在功能上基本能满足学生答疑解难的刚性需求,而在一些高级功能和软件细节上还有待完善。

  测试数据显示,各家APP的综合答题正确率有高有低,从78.70%到92.59%不一。部分软件在题库的题目数量上有待提升,因为题目的数量直接影响着答题的正确率,而答题正确率是考验拍搜APP实力的核心指标。

  在系统稳定上看,个别软件有小问题需要改进,大多数软件均表现良好,答题的稳定性不受光照和手机其他应用运行的影响。在交互设计方面,各家表现优异,页面设计和布局基本符合用户美感和习惯,而在在线实时答疑的用户体验和服务上,均有上升的空间。

  通过测评的结果,各家的综合实力让我们看到了在线答疑市场的希望。拍搜APP为学生的完成课外作业提供了有效的工具,同时也因为工具强大,导致学校和教师对此类产品的排斥,禁止学生使用此类产品。但是技术上的革命引发学习方式的变革不可避免,是大势所趋势。

  六、 未来展望

  拍照搜题切中用户刚性需求、场景明确、技术门槛高,成为2014年和2015在线教育行业的热点。从本测评报告的结果来看,在拍搜的赛道上,竞争选手之间的差距正在拉大。可以预测这个领域未来必然是寡头游戏,只有少数企业才具备角逐老大的实力,其他企业如无资金和技术支撑,淘汰出局是必然。

  但是这并不说明正确率没有排在前列,就没有竞争优势。除了技术优势以外,还有市场推广、资本实力等诸多原因,比如某APP具有BAT级别的优势资源,在技术上未必领先,但是不可或缺的战略资源带来了海量用户,这也是同类产品不可比拟的优势。

  拍照搜题仅仅是获取流量的入口,还没有形成完整的商业模式闭环。K12在线教育虽然竞争激烈,但是还远没有到没有产品和技术无法创新的程度,只要真正懂教育和互联网,是可以找到新的需求热点,避免产品同质化竞争,从而把高科技在教育中的应用推向新的高度。
 


  互联网教育研究院测评中心(www.medu.org.cn)

  互联网教育研究院(网址:http://www.medu.org.cn)是专注于中国互联网教育产业的研究、咨询、服务机构,主要承担以下职能:

   项目咨询:提供互联网教育产业咨询服务

   研究报告:撰写行业研究报告,提供权威行业研究成果

   技术培训:为互联网教育培育人才

   学术论坛:组织大中型互联网教育论坛,促进产业发展

   产品研究:对最新互联网教育产品和技术进行研究和测评

   交流活动:组织各种交流活动,推进在线教育行业交流

  互联网教育研究院自成立以来,先后撰写并发表了100余篇在线教育相关文章和2本专著(《中国在线教育产业蓝皮书》、《在线教育微课修炼之道》)、3本研究报告(《中小学在线教育产业研究报告》、《在线职业教育产业研究研究报告》、《在线语言学习产业研究报告》等),对中国互联网教育行业产生了深远的影响。

  互联网教育研究院先后组织和参与了100多场互联网教育教育相关论坛与会议,曾接受CCTV、《重庆卫视》、《中国企业家》、《21世纪经济报道》、《中国经营报》、《北京商报》、《中国教育电视台》等数十家媒体的采访和报道,相关报道阅读量数百万人次。

  互联网教育研究院公众号:eduforum,分享原创深度互联网教育文章。

相关热词搜索:拍照搜题APP 测评报告

上一篇:移动教育市场趋于细分化 练题狗专注职业在线教育

下一篇:半年从0到500万 口袋老师“轻辅导”领跑K12在线教育

分享到: 收藏