开放存取期刊已逐渐成为科学研究免费共享的重要学术性资源之一。通过网络调查法和文献内容分析方法，从评价视角、评价方法与评价体系三方面对国内外有关开放存取期刊质量评价的文献进行梳理和比较分析。国内外开放存取期刊质量评价的研究视角主要集中在其学术影响力和期刊本身质量的评价；研究方法主要有引文分析法、网络计量法、同行评审法和综合评价法；评价指标体系的研究主要在兼顾传统的评价和开放存取期刊自身网络特征的综合评价。
１引言
开放存取是通过互联网免费获取学术资源的一种快捷方法，主要目的在于推动学术文献信息资源和科研成果在互联网上免费自由地传播和共享，从而推动科学技术的进步。关于开放存取的定义，２００２年的布达佩斯会议有明确界定：开放存取资源是指某文献在Ｉｎｔｅｒｎｅｔ公共领域里可以被免费获取，允许任何用户阅读、下载、拷贝、传递、打印、检索、超链接到该文献，同时建立索引用作软件的输入数据或者是其他的任何用途。关于开放存取期刊，《开放存取期刊名录》认为，开放存取期刊是采取不向读者或其所在机构收取存取费用资金模式的期刊。开放存取期刊与传统期刊的区别不在于期刊的载体是纸本还是电子，而在于对期刊的访问方式和访问权限。开放存取期刊种类越来越多，如何在这些期刊中直接准确定位到质量较高的期刊，成为一个现实的问题并引起人们的广泛关注。开放存取期刊的质量如何保证，在其影响力未被证实和为人们所普遍接受之前，必定会引起人们的质疑。Ａｇｙｅｉ指出ＯＡ模式使人们对ＯＡ论文的质量产生质疑，科研用户面对质量参差不齐的期刊，必须依据标准化和科学化的评价指标体系开展对开放存取期刊质量的评价，对开放存取期刊质量评价所采用的评价方法和评价指标体系进行科学合理的划分和归类，才能保证开放存取期刊真正为用户提供有价值的参考服务。笔者在中国知网（ＣＮＫＩ）和ＷｅｂＯｆＳｃｉｅｎｃｅ（简称ＷＯＳ）核心合集两个数据库中，通过高级检索先后以“开放存取期刊”“质量评价”，在ＷＯＳ核心合集数据库中以“Ｏｐｅｎａｃｃｅｓｓｊｏｕｒｎａｌ”“ｑｕａｌｉｔｙｅｖａｌｕ－ａｔｉｏｎ”为主题词，采用模糊检索的方式检索到研究成果共有３００多篇，其中学术价值较高的占半数（检索时间为２０１８年６月１７日）。通过对文献进行内容分析，发现开放存取期刊质量评价涉及的评价内容、采用的评价方法和建立的评价指标体系构成了评价研究的三个维度，即评价视角、评价方法和评价体系。评价视角是对ＯＡ期刊质量评价内容的划分归类，评价方法和评价体系是在ＯＡ期刊质量评价研究成果中所采用的方法和建立的评价指标的归纳。
２开放存取期刊质量评价的研究视角
开放存取期刊质量评价的研究视角集中在期刊自身的质量控制和学术影响力研究。开放存取期刊发表文章之前，会通过审稿等手段对其进行质量控制；而文章见刊之后，又可通过分析使用数据评价其学术影响力。
２.１质量控制
国内外对开放存取期刊质量控制的研究主要集中在出版流程上的质量控制。从评审机制和技术手段两方面开展对ＯＡ期刊质量的评价。傅蓉从开放存取期刊质量控制的角度对ＯＡＪ两大出版商的ＢＭＣ和ＰＬＯＳ的质量控制机制进行研究，发现严谨的评审机制是保证开放存取期刊质量的前提条件之一。潘琳也从质量控制的角度对ＤＯＡＪ和ＰＬＯＳ的严格审稿机制予以肯定。ＤａｖｉｄＪ.Ｓｏｌｏｍｏｎ在ＴｈｅＲｏｌｅｏｆＰｅｅｒＲｅｖｉｅｗｆｏｒＳｃｈｏｌａｒｌｙＪｏｕｒｎａｌｓｉｎｔｈｅｉｎｆｏｒｍａｔｉｏｎＡｇｅ一文中提到，ＫａｔｅＷｉｔｔｅｎｂｅｒｇ着重探讨了绕开传统质量仲裁方－出版商和图书馆，借鉴基于社区网络的Ｐ２Ｐ信任模型（Ｔｒｕｓｔｅｄｐｅｅｒ－ｔｏ－ｐｅｅｒｍｏｄｅｌｓ），由用户来建立信息质量评价机制的可行性和实现途径。这种做法是在更广的范围内实施同行评审，效果还有待于验证。
２.２学术影响力
国内外对开放存取期刊学术影响力的评价根据所采用的理论基础，大致划分为三个阶段：第一阶段以文献计量学理论为基础，主要采用引文分析法，以被引频次、期刊影响因子和特征因子为主要评价指标。２００４年ＴｈｏｍｓｏｎＳｃｉｅｎｔｉｆｉｃ报道开放存取期刊的学术影响力，该研究表明：ＯＡ期刊中也含有影响因子较高的期刊。马景娣对ＳＳＣＩ数据库收录的９种社会科学开放存取期刊进行调查统计，分析被引频次、影响因子、被引半衰期等各项影响力指标，并且利用统计的期刊影响因子在相应学科中的排名对其影响力进行研究。胡德华从引文角度对生物医学类ＯＡ期刊采用影响因子百分位数排序、即年百分位数排序、平均影响因子、平均载文量和平均被引频次等指标进行学术影响评价研究。第二阶段是以网络计量学理论为基础，以网络链接分析法为主要方法，以总链数、入链数、出链数、网络影响因子、ＰａｇｅＲａｎｋ值为主要指标。网络信息计量学（Ｗｅｂｏｍｅｔｒｉｃｓ）因其网络连接分析法被广泛应用于网站影响力评价等相关领域，为开放存取期刊的质量评价研究提供了新的思路和方向。Ｉｎｇｗｅｒｓｅｎ提出了网络影响因子，与影响因子相似，网络影响因子指某一个网站的链接数与该网站拥有的网页数的比率。Ｋｕｒｔｚ等在多学科领域的研究表明，期刊论文的被浏览和下载次数与后期的被引次数成一定的正比关系。董文鸳和陈清文结合引文分析法和网络链接分析法对８７份图情领域开放存取期刊学术影响力进行分析，认为链接分析需待理论与实践的完善。第三阶段以Ａｌｔｍｅｔｒｉｃｓ理论为基础，通过统计文章层面的指标数据测量学术成果在社交网络工具中被提及、收藏、标注、引用的次数从而评价其学术影响力。Ａｌｔｍｅｔｒｉｃｓ一词是ＰｒｉｅｍＪａｓｏｎ在Ｔｗｉｔｔｅｒ上提出来的，其指标主要是用来衡量网络环境下学术研究的影响力。与传统的期刊影响因子等引用指标比较而言，网络文献计量学Ａｌｔｍｅｔ－ｒｉｃｓ具有评价指标信息源广、评价反馈及时、评价粒度小和维度多等众多的优势特征，能够支持非传统的研究成果纳入到评价体系当中，从而突破现有的文献计量研究理论，适应于现代的网络学术环境下产生的学术成果，有利于提高跨学科之间信息的流动速度。国内学者陈铭认为基于Ａｌｔｍｅｔ－ｒｉｃｓ指标的学术影响力评价，适合用于对开放存取期刊的利用统计和评价。该研究为评价开放存取期刊的学术影响力提供有力的指导。
３开放存取期刊质量评价的评价方法
通过对现有文献的分析发现，国外对开放存取期刊质量评价方法的研究主要集中在引文分析法、网络计量法；国内主要从传统评价方法和结合电子期刊特征的创新评价方法两方面展开。目前采用最广泛的是引文分析法、网络计量法、同行评审法和综合评价法四种。
３.１引文分析法
引文分析法来源于期刊引证报告（ＪＣＲ），由英国化学家加菲尔德引进创立的用于评价期刊在学科影响力方面的主要工具。夏莉霞等认为国外学者关注的问题集中在开放存取期刊是否具有更大的引文优势和开放存取期刊和非开放存取期刊的影响因子这两方面。从研究的结果来看出现两极分化的现象：有学者认为增加期刊论文的开放存取途径会增加其文章的被引指数。ＸｉａＪｉｎｇ－ｆｅｎｇ等人计算了图书情报领域开放存取期刊的Ｈ指数，发现开放存取期刊的质量并不差，一些开放存取期刊已经取得与传统印刷型期刊相同的影响力，通过对排名前２０的图书馆学和信息科学期刊的文章版本和引文指数进行数据统计分析发现，每新增一个ＯＡ的获取途径，该文章的被引指数就会上涨２.３４８。而有些学者对此持不同看法，如Ｋｏｅ－ｈｌｅｒ对信息科学领域的３份开放存取期刊与１份顶尖级的传统期刊ＪＡＳＩＳ进行对比分析，发现开放存取期刊的被引频次是低于传统期刊的。现有文献大多是基于开放存取期刊影响因子和被引频次等指标的分析，或者是比较不同国家、不同学科对开放存取期刊的引用来证实开放存取期刊的质量和学术影响力。引文分析法是开放存取期刊评价最客观的方法，但是引文分析法也存在一定的问题，如影响因子是对前两年论文被引情况分析的结果，并不能完全适应开放存取期刊及时出版、快速传播的特点，存在被引数量统计的滞后性。
３.２网络计量法
网络计量法的原理是通过网络查找网页资源的方式评价期刊的质量，其中网络影响因子、网站外部链接数量是运用该方法评价开放存取期刊质量的两个关键指标。Ｓｍｉｔｈ采用网络链接分析法对网上开放存取电子期刊网站的外部链接数量和网站网页进行统计，通过对比分析，揭示出网络影响因子与影响因子的相关程度呈现出正相关关系，发现了网络影响因子在开放存取期刊评价中的不同功效。Ｖａｕｇｈａｎ等对比信息科学领域的开放存取文章在ＩＳＩ、Ｇｏｏｇｌｅ和Ｇｏｏｇｌｅｓｃｈｏｌａｒ三家的引文指数，发现基于网络的链接指标如点击量、下载量、链接量与引文指数之间的重要关联，提出将网络连接指标用于开放存取期刊的学术影响力评价。国内学者邱均平和刘菊红运用网络计量方法评价了关于开放数据和开放存取期刊质量以及影响力的研究。网络计量法是开放存取期刊质量评价的新手段，从现有的研究来看，网络链接评价法存在一定的局限性，如受到网站时限性的影响、开放存取期刊网站的数据处于动态，稳定性差。各大网站、数据库、搜索引擎等对不同学科和不同地域的开放存取期刊网页链接总量不同，这些因素都将影响链接分析法收集数据的准确性，并影响最终的质量评价结果。今后需要进一步加强网络链接分析的理论探索，不断增强学术理论与期刊评价实践工作的结合，特别是注重开发链接分析工具。
３.３同行评审法
同行评审法是由英国伦敦皇家学会秘书亨利首创，是在开放存取期刊质量评价中采用较多的方法之一。该方法主要是由本领域的两名或两名以上的专家或评审人利用网络就提交的论文进行交流和评价，从而保障同行评审法在开放存取期刊质量评价中的公正性和客观性。ＰｅｔｅｒＳｕｂｅｒ曾提出，如果开放存取期刊使用相同的同行评审过程、标准和相同的评审专家，同行评审会和传统期刊一样能够保障开放存取期刊质量评价的公正性和有效性。徐芳认为根据同行评审所采用的方法可以分为定性同行评审法和定量同行评审法。定性同行评审法是指专家通过阅读一定数量的期刊后，依据经验进行比较分析，并评价出期刊的优劣。定量同行评审法是根据评估的目标和评估的内容建立一个合理的操作性强的评价指标体系，给每个指标设置几级评分标准和赋予权重，计算量化评价的结果。同行评审制度保障了开放存取期刊具有较高的学术参考价值，如ＤＯＡＪ网站只收录经过同行评审的开放存取期刊。同行评审法是目前用于开放存取期刊评价的相对比较科学和具有权威性的评价方法，通过严谨的评审机制来保证开放存取期刊的质量。随着网络的出现，同行评审法借助于新的技术获得了与时俱进的一些审稿方式，如公开同行评审和自然选择方式，使得开放存取期刊的评价更好地贯彻同行评审过程的公开化和透明化原则。但是不可忽视的是同行评审所存在的一些问题：首先是作者发文需要支付高额的费用所带来的负面影响，使得科研学者因为经费的问题放弃在开放存取期刊上。其次是开放存取期刊出版商为追求高收益降低文章的评价标准，进而影响开放存取期刊的质量。最后是同行评审耗时过长，导致不能适应开放存取期刊快捷的出版方式，因此同行评审法对于开放存取期刊的质量评价仍然需要继续探索。
３.４综合评价法
不同的评价方法既有各自的特点和优势，也存在一定的局限性。随着开放存取出版发展模式的日渐成熟，国内学者对开放存取期刊的质量研究也逐渐增多。研究主要从传统评价方法和结合电子期刊特征的创新评价方法两方面展开。综合的评价方法被认为是开放存取期刊评价的发展方向。综合评价法在国内也用于期刊质量的综合评价，如国内学者王秀成对科技期刊质量采用了层次分析综合评价法（简称ＡＨＰ），认为ＡＨＰ比较适用于对科技期刊进行综合定量评价。因此有学者提出将综合评价法用于开放存取期刊质量的评价与研究，如陶雯等就同行评审法、引文分析法、网络计量法和综合评价法应用于开放存取期刊质量评价的可行性和局限性进行了探讨，认为应该制定符合传统印刷型期刊和电子期刊双重属性的开放存取期刊的综合评价法，并且提出了结合层次分析法和主成分分析法对开放存取期刊进行综合评价，建立综合评价指标。综上所述，国内外对开放存取期刊评价方法的研究，从最初传统的期刊评价方法如引文分析法和同行评审法以及相关的评价工具的应用，到后来随着信息技术的发展，衍生出网络计量法和新的公开同行评审法的使用，再到后来的定性与定量相结合的综合评价法的运用，都反映出评价方法的改进和创新都是为了适应开放存取期刊发展的需要，从而更好地评价其质量和学术影响力，推动开放存取运动的发展。
４开放存取期刊质量评价的评价体系
目前，对开放存取期刊质量评价体系的研究主要是针对期刊本身所构建的，很少涉及包含对开放存取期刊作者的评价指标体系的研究。黄如花指出国际上现有的科研评价体系中大多数还以传统的印刷型文献为主，没有包含开放存取资源，在高信誉度期刊上仍然是衡量科学家水准的主要手段，开放存取出版只能丰富科学家的发表数量，对于优秀的科学家来说并不是十分重要。为了开放存取的可持续发展，必须建立包含开放存取资源的人员和论文评价系统，正式开放存取资源和非开放存取资源具有同等的学术影响力，保证开放存取资源也能给作者带来职业生涯和学术声誉上的回报。开放存取环境下，制约开放存取资源长远发展的有经济方面的问题。传统的学术资源环境下，通过卖书和订阅杂志来盈利的出版商是核心成员，但在开放存取环境下作者取代出版商，作者面临投稿选择的困境，为达到更好的预期增值效应，作者可能想向同行评审期刊投稿，因花费巨大而投给缺乏同行评审期刊。为解决这个问题，必须要证明开放存取资源和非开放存取资源具有同样的学术影响力，此外还要经历适合的对作者学术成就和论文质量的新评价体系，从而确保开放存取资源的学术影响力，增强作者的学术声望。Ｂｏｒｎｍａｎｎ探讨用Ｈ指数辅助影响因子来评价作者研究成果的可行性。Ｈ指数是美国学者Ｊ.Ｅ.Ｈｉｒｓｃｈ在２００５年８月提出的用于评价科学家个人成就的信息指标。学术期刊Ｈ指数的确定要有一个明确的期限，我国有研究学者则将Ｈ指数定义为该期刊在一定期间内发表的论文至少有Ｈ篇的被引频次不低于Ｈ次，其余论文的被引频次不大于Ｈ次。韩国的Ｓｏｏ－Ｒｙｕｎ－Ｃｈｏ选取ＡｒＸｉｖ上从１９９１年８月到２００５年８月的２１９８０５篇文章和１５３８８２位作者为样本，利用Ｃｉｔａｂａｓｅ的元数据和网络计量数据分析进而构建一个新的综合指标体系，即包含主要指标和次要指标来评价开放存取论文质量和作者学术成就。通过主要指标和次要指标之间的加权系数构建评价模型，这里的主要指标包括评价文章作者学术影响力的基本指标，选择将作者或文献的引用和点击两个指标结合使用，以评价最新学术成就，减少因为作者研究生涯或作品的出版年限造成的偏差；次要指标从论文评价的角度来看，主要包括文章的获取渠道数、文章的页数、文献类型等。为了检验新开发的开放存取文章或作者的评估指标，作者将该综合指标与先前采用的只考虑引用数的单变量指标进行对比研究，发现新指标在减少评价过程中的时间偏差和增强区分度上存有优势，但是这种综合的评价指标体系的适用性还有待进一步的实践验证。国内学者对开放存取期刊质量评价指标体系的研究主要集中在兼顾传统期刊评价和开放存取期刊网络特征的综合评估方面，将定性和定量方法相结合，从而建立综合性评价指标体系和多元评价指标体系，如张红芹在硕士论文《开放获取期刊质量评价指标体系研究》中，结合开放存取期刊的特点提出了多元评价指标的构想，以ＤＯＡＪ收录的４４种化学化工期刊为研究对象，进行了多元指标的相关性分析研究及核心期刊评价研究，从实证角度验证指标体系的合理性与实用性。该指标体系主要包含九个适合于开放存取期刊质量评价的指标，是在综合多位化学领域专家意见的基础上，通过计算获得了多元指标相对重要性权值来构建开放存取期刊质量评价指标体系。叶继元、陈铭以“中国科技论文在线优秀期刊”为例分析该评估指标体系的优缺点，从“全评价”体系的理论着手，分析全评价体系在开放存取期刊质量评价上的应用，并从开放存取期刊的评价主客体、评价目的、评价标准、评价指标、评价方法和评价制度等方面，构建了以形式评价、内容评价和效用评价为指标内容的开放存取期刊质量评价体系。
５开放存取期刊质量评价研究评析及展望
通过对国内外开放存取期刊质量评价文献的梳理，现有的研究具有以下几个特征：国内外对开放存取期刊质量评价，研究视角主要集中在期刊出版前的质量控制和出版后的学术影响力评价。开放存取期刊质量控制主要通过同行评审制度等技术手段来实施，其控制程度的高低也影响着ＯＡ期刊的学术影响力。国内外学者对开放存取期刊质量评价的研究大多是基于开放存取期刊的影响因子和被引频次等指标的分析，或者是比较不同国家、不同学科学者对于开放存期刊的引用，来证实开放存取期刊的质量和学术影响力。虽然都考虑到开放存取期刊质量和学术影响力这一关键点，但是国内外对开放存取期刊质量评价的内容单一化，建议对开放存取期刊质量评价要涵盖开放存取期刊的政治质量、学术质量、编辑质量、出版质量和传播质量这五个方面。根据开放存取期刊质量评价所采用方法，国内外对开放存取期刊质量评价方法的研究从最初传统的期刊评价方法，如引文分析法和同行评审法以及相关的评价工具的应用，后随着信息技术的发展，衍生出网络计量法和新的公开同行评审法的使用，再到后来的定性和定量相结合的综合评价法的运用，都反映出评价方法的改进和创新都是为了适应开放存取期刊发展的需要。国内外现有的对开放存取资源的评价多是借鉴传统期刊的评价方法，从引文角度对比开放存取期刊的引用优势和对信息公平的促进作用。传统的文献计量法和网络计量法很难有效的评价开放存取期刊的学术影响力，一些研究证明Ａｌｔｍｅｔｒｉｃｓ更合适开放交互式的ＯＡ期刊。因此，需要继续从理论层面证实Ａｌｔｍｅｔｒｉｃｓ方法可被用来评价开放存取期刊的学术影响力；从实践层面来说，要积极地研究现有的开放存取期刊、开放存取期刊平台运用Ａｌｔｍｅｔｒｉｃｓ评价开放存取期刊学术影响力的方法。目前国内外对开放存取期刊质量评价体系的研究主要是针对期刊本身所构建的评价指标体系，涉及包含对开放存取人员评价指标体系的研究相对较少。国外已经开始尝试建立包含作者学术成就和论文质量的新的评价指标体系的研究，如Ｍｃ－Ｃａｂｅ等从作者、读者和期刊三方面构建评价期刊模型，考虑将投稿者获益度、论文随机质量、编辑审稿能力几个指标应用在开放存取期刊的质量评价。国内研究主要在兼顾传统的评价和开放存取期刊自身的网络特征的综合评价。此外，综合评价法也是目前较好地评价其质量和学术影响力的方法，建议在构建ＯＡ期刊质量评价指标体系中采用。虽然有些学者注意到从出版质量的视角出发，对开放存取期刊的系统功能、页面组织等方面的评估，并提出相应的指标体系，但并未能付出实践。尽管开放存取期刊就内容而言，在学术交流和创新过程中发挥的作用与传统期刊资源有着极大的关联和相似性，但开放存取期刊作为一种数字资源系统和新的学术交流方式，不仅具有内容维度、还应具有功能维度、组织维度、服务和利用维度以及社会效益维度等多维评价视角，有些学者提出基于信息服务的评价方法和以读者为中心的评价方法来评价开放存取资源，如Ｅｌｂｅｃｋ等设计的以读者为中心的开放存取资源质量评价法，利用在线交互技术扩展传统同行评议过程，增加用户的评论意见，融合作者、评论员和读者反馈，建立电子期刊的动态排名。除了对于开放存取期刊本身质量和学术影响力的评价外，要积极地拓宽开放存取期刊质量的评价思路，也可从基于信息服务评价的方法和以读者为中心的评价方法来评价开放存取期刊的质量。开放存取期刊质量评价的最终目的是为了方便用户的利用，因此，建议对开放存取期刊的评价不仅仅要考虑期刊本身的质量，也要加入用户这一视角，从而更客观的构建开放存取期刊评价指标体系。应该以传统期刊评价的评价方法为基础，同时兼顾开放存取期刊的网络系统特性和社会经济效益，结合用户使用时的感知体验，建立综合性的评价指标体系，更加客观地评价开放存取期刊的影响。目前研究主要关注开放存取期刊质量和学术影响力，对于开放存取期刊的作者的评价研究还有待于进一步加强。基于此研究，笔者后续将会开展关于开放存取作者和论文质量指标体系的构建研究。
免责声明以上文章内容均来源于本站老师原创或网友上传，不代表本站观点，与本站立场无关，仅供学习和参考。本站不是任何杂志的官方网站，直投稿件和出版请联系出版社。
