信息检索系统的评价.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《信息检索系统的评价.ppt》由会员分享,可在线阅读,更多相关《信息检索系统的评价.ppt(35页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、信息检索系统的评价信息检索系统的评价现在学习的是第1页,共35页评价评价n评价一般是指评估某个系统的性能、某种产品的质量、某项技术的价值,或者是某项政策的效果等等;n 竞技体育:世界记录 vs. 世界最好成绩n110米栏世界记录:梅里特,美国,1280n 男子马拉松世界最好成绩:保罗 特尔加特,肯尼亚,2小时4分55秒现在学习的是第2页,共35页为什么要对为什么要对IR进行评价?进行评价?n 信息检索评价则是指对信息检索系统的性能(主要是其满足用户信息需求的能力)进行评估的活动;n 从信息检索系统诞生以来,对检索系统的评价就一直是推动其研究、开发与应用的一种主要力量;现在学习的是第3页,共35
2、页IR的评价指标的评价指标n 针对一个检索系统,可以从功能和性能两个方面对其进行分析评价n功能评价n 可通过测试系统来判定是否支持某项功能,因此相对来说较容易n性能评价n 对于检索系统的性能来说,除了系统的时间和空间因素之外,要求检索结果能够按照相关度进行排序现在学习的是第4页,共35页性能评价指标性能评价指标n 在评价和比较检索系统的检索性能需要以下条件:n 一个文档集合C;n 系统将从该集合中按照查询要求检出相关文档。n 一组用户查询要求q1, q2, , qn;n 每个查询要求qi描述了用户的信息需求。n 对应每个用户查询要求的标准相关文档集R1, R2, Rn;n 该集合可由人工方式构
3、造。n 一组评价指标;n 这些指标反映系统的检索性能。通过比较系统实际检出的结果文档集和标准的相关文档集,对它们的相似性进行量化,得到这些指标值。现在学习的是第5页,共35页评价任务示例评价任务示例系统&查询1234系统1,查询1d3d6d8d10系统1,查询2d1d4d7d11系统2,查询1d6d7d3d9系统2,查询2d1d2d4d13现在学习的是第6页,共35页整个文档集合的划分整个文档集合的划分Ra未检索出的不相关文档检索出的不相关文档检索出的相关文档未检索出的相关文档检索出(Retrieved)未检索出(Not Retrieved)不相关(Not Relevant)相关(Releva
4、nt)整个文档集合C现在学习的是第7页,共35页四种关系的表示四种关系的表示检出且相关未检出且相关检出且不相关未检出且不相关检出未检出相关不相关相关文本相关文本检出相关文档相关文档检出文档检出不相关文档未检出相关文档现在学习的是第8页,共35页准确率和召回率准确率和召回率n 正确率正确率(Precision): 检出的检出的相关文档数相关文档数与与检出文档检出文档数数的比值,也称为的比值,也称为查准率查准率;n召回率召回率(Recall): 系统检出的相关文档数相关文档数与实际相实际相关文档数目关文档数目的比值,也称为查全率查全率。ARaPRRaR现在学习的是第9页,共35页示例示例n假设用户
5、查询q为一个给定的查询式,而包含q的相关文档集合Rq为下面的文档集合: Rq=d2,d5,d9,d12,d23 而针对q的检出相关文档集合为: Aq=d3,d4,d5,d6,d8,d10,d12,d19,d20,d23求检索的准确率和召回率。10现在学习的是第10页,共35页准确率和召回率的关系准确率和召回率的关系11101准确率召回率返回最相关的文本返回最相关的文本但是漏掉了很多但是漏掉了很多相关文本相关文本理想情况理想情况返回了大多数相关文档返回了大多数相关文档但是包含很多垃圾但是包含很多垃圾现在学习的是第11页,共35页准确率准确率/召回率曲线召回率曲线n假设用户查询q为一个给定的查询式
6、,而包含q的相关文档集合Rq为下面的文档集合: Rq=d2,d5,d9,d12,d23 检索系统对查询q返回的前10个文档Aq的排序为:1. d23 2. d3 3.d4 4.d5 5.d6 6.d8 7.d10 8.d12 9.d19 10.d20现在学习的是第12页,共35页准确率准确率/召回率曲线召回率曲线准确率00.20.40.60.810.20.40.60.81召回率现在学习的是第13页,共35页11点标准召回率点标准召回率n计算召回率分别为0、10%、20%, 100%下的准确率准确率00.20.40.60.810.20.40.60.81召回率现在学习的是第14页,共35页平均准确
7、率平均准确率n 上述准确率召回率的值对应一个查询n 每个查询对应不同的准确/召回率曲线n 为了评价某一算法对于所有测试查询的检索性能,对每个召回率水平下的准确率进行平均化处理,公式如下:1( )( )qNiiqP rP rNnNq: 是使用的查询总数nPi(r):是召回率为r时的第i个查询的准确率现在学习的是第15页,共35页单值评价方法单值评价方法n 已检出相关文档的已检出相关文档的平均准确率均值(平均准确率均值(MAP)n逐个考察检出新的相关文献,将准确率平均逐个考察检出新的相关文献,将准确率平均r为相关文档数。riirMAP11?第i个相关文档的位置现在学习的是第16页,共35页计算计算
8、MAP举例举例n假设有两个查询,查询假设有两个查询,查询1有有4个相关文档,查个相关文档,查询询2有有5个相关文档。某系统对于查询个相关文档。某系统对于查询1检索检索出出4个相关文档,其排序分别为个相关文档,其排序分别为1,2,4,7;对;对于查询于查询2检索出检索出3个相关文档,其排序分别为个相关文档,其排序分别为1,3,5。计算的值。计算的值。现在学习的是第17页,共35页单值评价方法单值评价方法nP10nP10是是系统对于查询返回的前系统对于查询返回的前10个结果的个结果的准确率。准确率。n例:检索系统对查询q返回的前10个文档Aq的排序为:1. d23 2. d3 3.d4 4.d5
9、5.d6 6.d8 7.d10 8.d12 9.d19 10.d20nP10=30%(共有10篇检出文档,其中3篇为相关文档)现在学习的是第18页,共35页单值评价方法单值评价方法nR准确率(准确率(R-Precision)n 单个查询的单个查询的R准确率是检索出篇相关文档时的准确准确率是检索出篇相关文档时的准确率;率;n查询集合中所有查询的准确率是每个查询的准查询集合中所有查询的准确率是每个查询的准确率的平均值。确率的平均值。nR-Precision前前R篇文档中相关文档数篇文档中相关文档数R现在学习的是第19页,共35页计算计算R准确率举例准确率举例n假设有两个查询,第1个查询有50个相关
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息 检索系统 评价
![提示](https://www.deliwenku.com/images/bang_tan.gif)
限制150内