建立和完善以质量和创新为主的哲学社会科学评价体系

叶继元 南京大学信息管理学院

【内容提要】目前我国文科评价体系已初见端倪，研究成果、人员、机构、媒体等评价层出不穷，总体上评价研究与实践处于反思、总结、改革、探索阶段。但目前仍存在质量和创新力评价弱化、过分数量化、过分形式化、过分简单化（或官僚化、管理简单化）、评价主体淡化、评价结果软化等所谓“六化”问题。本文提出，处在文科研究重要性不断增强、研究经费越来越多、研究人员和成果大幅增长、而其质量并未同步发展的严峻形势下，应在保持原有评价体系中某些合理因素的前提下，吸收古今中外评价的理论和实践中的经验，构建和完善文科评价体系，概括出同行专家评价主导论、评价目的决定论、专家与引文等计量评价互补论、“三面三力”评价指标体系框架等新观点，澄清一些模糊认识。在评价体系指导下，完善同行专家数据库，慎重筛选评审专家，把评价目的提高到突出位置；根据形式评价、内容评价和效用评价新概念组合，形成新的同行专家评价与引文等文献计量评价相结合的评价方法和新的评价指标体系；根据文科的特质设计评价程序等制度，并注重引导启动质量与创新评价、特色评价、过程评价、鼓励性评价；坚持以同行专家评价为主导，设置文科国家大奖，打通影响评价健康发展的体制性障碍，更好地推动评价工作逐步走上科学发展的轨道。

　　一、近期我国文科评价的改革已经刻不容缓

　　从目前学者反映、管理部门回应和引文等各方面数据来看，我国文科评价改革已经刻不容缓。首先，从学者反映看，许多学者对重点学科、博士点、职称评价、各种成果、人员评奖中出现的质量和创新力评价弱化、过分数量化、过分形式化、过分简单化、评价主体淡化、评价结果软化等问题已忍无可忍，认为必须立即改革，否则学术将不成为学术，繁荣发展也很难实现。其次，从科研管理部门看，不论是各种学术团体，还是全国哲学社会科学规划办公室、教育部社会科学司、中国社会科学研究院、各省市相关部门、社科院、各高校等都感到目前许多评价结果与评价目的的偏离，都在进行积极有益的探索和评价改革试验，也颁布了一些文件和办法。如全国哲学社会科学规划办公室不断完善专家评审库，增加同行通讯评审和专家会议评审力度；2004年教育部发布《高等学校哲学社会科学研究学术规范（试行）》，文件中有专论“评价规范”的条款；近期已发布《关于进一步改进高等学校哲学社会科学研究评价的意见》，并将一些成熟的意见反映在社科重大项目评审、研究成果评奖等工作上，一些学术机构开始对部分学有所成的学者、教师改革评价方式，不再简单的要求成果数量，而是为他们营造宽松环境，“十年磨剑”。再次，从文科发展和引文数据来看，近几年每年全国文科论文50万篇以上，文科著作，以2009年为例，2009年出版人文社科图书总数223715种，其中初版书122824种，重版书98911种，学术期刊2866种，研究咨询报告数万部。2009年全国约有文科教学和研究人员42万人，全日制研究人员约3万人，文科研究生40万，文科在校生约800万，全国文科专业人员数1600万。文科科研经费每年增长，以国家社科基金为例，2010年已增加到6亿元。如此巨大的成果、人员、经费等数量，向公正、合理而高效的评价提出了严峻的挑战。再从引文数据看，由于近几年引文数据被应用于期刊评价、论文评价、个人评价及机构评价，因此已出现相当多的人造引文数据的现象，个别期刊诱导作者引用，一些期刊达成互惠引用，等等，大大削弱了引文评价的某些客观性和公正性。实际上这种“不发表就出局”、“以刊评文”等现象在美国、英国、西班牙等国也不同程度地存在，但由于这些国家的学术共同体素质较高，独立性自我纠错能力等较强，且期刊的权威性由同行专家评出，有很强的认同感，因此问题并不像我国这样严重。尽管如此，这些国家也在积极探讨学术评价体系这个难题。对于我国而言，研究评价体系问题，拿出对策已是当务之急。

　　二、当前我国文科评价中面临的六大问题

　　1．评价管理的简单化与非学术化。目前在高校、研究院所等学术机构，行政部门权力与学术共同体权力的界限一直未理顺，由于行政部门实际掌握着科研经费、工资待遇、人事管理等权力，而学术共同体尽管有其代表“教授委员会”或“学术委员会”等，但因没有制度上的明确要求，故并无实质性权力。于是，尽管许多项目经费评价、成果奖励评价也是同行专家评审出来的，但这些同行专家的选择则是行政管理部门选择的，各种评价办法，尤其是评价规则中不能明确规定的条款的解释权亦在行政部门，因此，在实际的评价工作中，行政权力大于学术权力。

　　从理论上说，科研管理部门的评价目标与学术共同体的评价目标应该是一致的，即合理评价，繁荣学术。如果配合得好，完全可以互补。但由于过多追求短期的行政管理目标，又无有效的监督、核查机制，遂使评价管理出现简单化与非学术化。目前社会上3000大学毕业生竞争一个公务员岗位，高校不少教授争当行政职务都与学术及其评价简单化和非学术化有关。因为一旦有了行政职务，不论研究做得如何，研究资源的获得相对容易。行政权力过大，使得许多研究人员不热衷于学术，扼杀了科研的积极性和创造性。同时还会对有研究潜力的年轻人才造成负面影响。在学术单位，去官僚化、遵循学术发展规律进行管理已基本形成共识，但从整体上看，如何从根本上、实际行动上去除“官本位”思想，从繁荣发展学术的高度，抛弃个人和部门的利益，理性、明智地厘清行政权力与学术权力的界限，学术评价权力到底如何配置、监督等问题，已经到了非解决不可的地步。

　　2.评价主体的缺位、失位与淡化。评价主体的缺位与失位主要表现在因评价目的不明导致评审专家的选择标准不明、评审专家库信息不全、更新不快，选出的专家或同行多数不是真正的小同行或专家，而是大同行或外领域专家，或是低于被评价者的水平，致使真正的评价主体缺位、失位。评价主体的淡化是指不少专家学者对学术评价的重要性认识模糊，评价专家对评价对象，在学术水平相当或略有差距的情况下，对熟悉的研究人员的项目、成果等倾斜；或因评价专家名单泄露，评价对象或有关人员“打招呼”，在多个评价对象的学术水平相当或略有差距的情况下，对特定的评价对象倾斜；或评价专家出于个人或本单位亦要被目前的评价对象或评价对象的单位里的专家评审时，对评价对象给予不适当的评价，以达到评价的互利化。是否选到合适的同行和专家与评价组织者的专业和管理水平及责任心有关，亦与评审专家数据库的编制质量有关。一旦选到合适的专家，专家是否能对评价对象不因亲疏、不以个人好恶进行评价对评价的结果，乃至对学术的发展至关重要。讲人情和人文关怀，是可以的，但不能不讲原则，不顾真理，不考虑自己与他人长远利益，而仅唯近期的利益是图。如果说，以学术水平为主，兼及“人情”还好理解、危害还不严重的话，那么不以学术水平为主，一味以学术之外的因素进行评价，则后果非常严重，不仅直接伤害到一起竞争的被评价者，而且损害了学术评价的公正性，浪费宝贵的科研经费，导致“劣币驱除良币”现象出现。上海复旦大学章培恒教授认为，如果不将人文社会科学研究“作为严肃的科学事业……为维系人际关系而作违心之言等，都由此而产生。”

　　3.评价指标过分数量化。过分数量化就是仅仅看被评价人的项目数量、经费数量、论文数量、图书数量、获奖数量等等，至于研究的内容倒在其次。有的学术单位要求教师在不减少教学、社会服务等工作量的情况下每年都要发表3篇论文或相当的著作，研究生也要发表1-3篇的期刊论文或相当的著作，结果造成这样的奇怪现象：数量越多则奖金越多，似乎学术水平就越高。于是，将一片长文拆成几篇有之；文章不再精细打磨，不求卓越，只要能发表亦有之。大量平庸、重复之作，或中等水平的文章、著作充斥其间，甚至有意抄袭、造假之作也应运而生，使得具有原始创新的成果鲜见，大师级学者难出。这种过分的数量化对学术及国家、社会、人民造成的损失，被许多学者认为比大地震带来的损失还要大。学术成果的数量，如果是经过期刊、出版社经过同行专家严格审稿后发表、出版的，那也包含一定的质量，但问题是，目前许多中国人文社会期刊中并没有实质性的同行评审制度，不少期刊只要交纳一定的版面费，文章不是太差，就能发表或出版。难怪有的学者认为，不少所谓的成果实际上是学术垃圾。更有调查者认为，目前中国已产生一个庞大的地下论文制造工厂，其数额高达数亿元。过分的数量化使得广大教师疲于奔命，逼着生产出自己也不满意的成果，浪费了宝贵的学术时间和健康，并在一定程度上助长了学术不端的出现。

　　4.评价方式过分形式化。目前许多单位学术定位不清，评价目的不明，对不同的被评价对象实行统一评价，诸如“以刊评文”，只看期刊，不看具体论文质量；都要有期刊论文，忽视文科的一些学科如文史哲比较注重图书的特点，都一律要求在核心期刊或引文索引的来源期刊上发表，文章字数一定要在3000字以上，等等。一定的形式是内容的反映，适当的形式是需要的，但一过分，就消解了最重要的内容，出现许多的走过场、简单化与片面性，不能达到以评促优等评价的目的。

　　5.评价质量和创新力评价弱化。学术评价的实质应为质量和创新力评价，但目前许多评价对质量和创新力指标重视不够，研究不深，许多评价指标概念不清，并不能评价成果质量或创新力，比如，某些引文可以用来说明被引作品的质量和一定的创新性，但有些引文则不能，要由专家根据引文上下文仔细分析引文数据，不能将引文的影响就等同于学术的影响，更不能一律等同于成果的质量或创新力。换言之，与成果影响力或质量、创新力有正相关性，但并不是质量和创新力本身。目前一些学术影响力评价或质量、创新力评价都存在指标概念不清、以片代全的问题，产生了许多误导。

　　6.评价结果软化。一项好的评价结果的信息应该能被共享，从而达到提高评价质量和效率的目的。但目前的许多评价共享程度不高，其他相类似的评价难以应用其评价结果。比如，教师职称评价，在上个世纪八九十年代，评审一般是较严格的，注重于成果内容、教师实际学术水平的评价，但近十来年，过于数量化的评价，过多考虑本单位的利益，致使职称的评价结果公信力下降，不能共享，每一项新的评价都要重新评一次，劳民伤财，甚至有时会出现“劣币驱除良币”的现象。

　　以上六大问题基本概况了目前我国文科评价中存在的普遍性问题，其突出表现在“以政代学”、“以刊评文”、“评审专家失位”、“重量轻质”、“评价结果公信力不高”、“保密等制度不健全”等具体问题上。纵观这六大问题与突出具体问题，从评价角度上看，实际上可归纳出一大问题，即文科评价体系和一整套行之有效的评价机制正在建立之中，还不够健全和完善。为了尽快、有效解决这一问题，分析这一问题的原因，针对问题和原因构建出评价体系和评价机制尤为必要。
三、当前我国文科评价中存在问题的原因

　　1.社会原因。近30年来，中国社会发生了巨大的变化，正处在剧烈的转型期。工业化与信息化同时并举，以信息化带动工业化的战略已是中国实现了跨越式发展，第一产业的比重大为下降，第二产业发展迅速，第三产业也增长很快，整个社会正向信息社会快速迈进。在信息化、知识化的影响下，从事知识生产人数激增，科研的规模化、社会化、应用化和资助化极大地影响和改变了传统的科研方式。社会的急剧变化，产生出许多社会问题，诸如快速的城市化、老龄化、教育、就业等问题迫切需要社会科学给予解答。同样，由于许多社会问题引发的人的精神方面的问题也明显增多，心理学专业成为热门，人文学科的传统研究模式也发生很大变动。根据社会发展的需要进行研究，还是依然凭着自己的兴趣和好奇心进行研究，是追求研究效率和近期的实用，还是为了品质和长远的“大用”等问题的争论与不同的做法，势必对实际的学术评价中涉及的数量与质量、形势与内容等问题产生影响。

　　2.经济原因。近30年来，中国已由一个经济落后的国家发展成为世界第二大经济体，经济总实力增长很快，相应地，人们，包括人文社科研究人员的收入都有很大提高。但从总体上看，社科研究人员的工资待遇与其复杂的脑力劳动并不匹配。随着我国经济实力的不断增强，国家对社科科研经费的投入不断增多。尽管科学家人均经费与发达国家相比仍有较大差距，但科研经费总量已列国际前茅，社科研究经费每年以15%的幅度增长。社科研究人员为了获得必要的经济待遇，为了能招收研究生，为了能进行科学研究，迫使他们不断地申请项目经费资助。学校等机构为了能在各种大学排名榜上名次好看，同时也想以此来改善研究人员的经济条件，也大力鼓励教师申报各种科研经费。经济的现实压力，加上社会上重金钱轻人文不良现象的影响，对研究人员的价值取向及其研究行为都产生了很大影响，进而也影响到了学术评价。

　　3.思想文化原因。一定的经济、社会的影响势必带来思想文化上的影响。对外开放，市场经济一方面促进了经济和社会的快速发展，另一方面也使一些意志薄弱者深受物欲影响，金钱拜物教，传统文化中一些不良的价值观，如实用主义、注重眼前、缺乏远见、急功近利、贪图物质享受、极端个人主义思潮等沉渣泛起，一些传统有意义的价值观，诸如诚信、求真、讲道德等受到极大挑战，相当多的人精神世界贫乏，没有更高的精神追求，这其中也包括部分科研管理者和研究人员。不良思想的影响造成了许多学术研究及其评价上的诸多问题。

　　4.管理原因。尽管我国改革开放以来，管理水平有很大提高，但从整体上看，目前我国的社科科研管理体制基本还是老一套，管理体制僵硬，管理方式粗线条、不精细，管理水平不高，某些管理者一味围绕政绩指挥棒转，没有按学术逻辑和评价特点、复杂性来制定评价规则，对学术及知识的尊重未具体化，或者不作为、图省事，一刀切，对“例外”管理不重视。或有的管理者既要搞学术研究又要抓管理，有时既当运动员又当裁判员，除了有些学者型管理者身体好、水平高，能处理好学术与管理两者关系，能使二者良性互动外，确实有相当一些学者型管理者对此身心疲惫，往往两头都搞不好，或抓了学术丢了管理。

　　5.学术共同体原因。由于中国现代学术史不长，仅有百年时间，期间还不断受到战争、经济、政治等各种干扰，一直未发达。尽管近30年来，学术研究有了较大的发展，但从总体上看，良好的学术生态和环境尚未形成，学术近亲繁殖现象严重，学术氛围不浓，理性思维不足、不彰。由于学术环境和不科学的管理制度的影响，许多学者被逼得急功近利，不愿或不让坐冷板凳，精品意识淡薄，学术自主性不强。从整体看，学术共同体缺乏独立性，社会责任感退化。

　　6. 评价体系原因。除了以上总体原因外，还有评价方面的原因，或评价技术上的原因。上文已提到，诸如对评价、评价主体、评价客体、评价目的、评价指标、引文、引文索引等基本概念、基本含义认识不清、研究不够，对具体评价方法、程序规定不合理等原因。这部分原因正是本研究所要探讨的重点，而总体原因的深入分析和解决则有待于结合其他领域的专家一起深入研究。

　　四、完善评价体系，从宏观与微观解决这些问题的研究结论与建议

　　1．本研究构建的“六位一体”的评价体系在逻辑上是合理的，在实践上也是可行的。本体系是在广泛吸收国内外学术评价（包括自然科学评价）理论与实践的基础上，尤其是近30年我国人文社会科学评价的基础上，针对目前存在的突出问题而建立的新的评价体系。其创新之处在于：首次概括出评价体系由评价主体、评价客体、评价目的、评价方法、评价标准与指标、评价制度六大要素所组成，并给予六大要素清晰的定义和解释，一反目前弱化学术共同体的主导评价作用，夸大其评价主观性、随意性等局限性的弊端，重新论证了要以同行专家评价为核心，并以评价制度加以约束和保障，以评价方法中的引文为主的文献计量方法为验证、校对，评价客体的分类评价是基础，评价目的是龙头，评价标准和指标是关键，六大要素相互作用、相互影响、相互制约的新评价体系。对文科的各种评价，诸如学术成果、人员、机构、媒体等，都应形成根据评价目的来确定评价专家、标准、指标、方法的运作模式或框架，在大框架下，则可体现出人文社会科学各学科、各种成果类型的不同评价目的下的不同特点。这对澄清评价领域的模糊认识、明确评价理论与实践的方向和路径、提供评价研究的思想和方法论基础均具有重要意义。在一定程度上整合了国内外有关学术评价的知识，使之条理化、系统化，清晰回答了要不要评价，由谁来评价，怎样评价的问题。明确了评价理论与评价实践的大方向和途径。不仅勾勒了人文社科学术评价的理想图式，而且为制定人文社会科学战略规划、战略重点和可操作的评价方案及其具体实施措施创造了条件。

　　2.形式评价、内容评价和效用评价的“三位一体”新概念组合具有新意。为了有利于创新和质量评价，根据学术评价的特点，可以将定性定量二元评价，扩展到形式评价、内容评价和效用评价三维评价，因为任何知识对象都可以分成形式、内容和效用三个要素，而质量又可以从知识的内容（含义）和效用（价值）上反映出来，因此从知识的形式、内容、效用三要素就可以推广概括出评价的三种方法。

　　所谓形式评价是指评价主体对评价客体内含知识的外部特征的评价，它既包含同行的定性评价，也包含定量评价，但最终的评价可用数字、数据反映，包括发表论著数、被引用数、被文摘量、获奖数、发表字数、获专利数、发表成果的级别、院士和教授人数等。形式评价也有同行评价，但不是直接对评价对象内容质量、效用的评价，而是与内容质量、效用评价有密切关联，它在一定程度上可以反映评价对象的知识含量，是一种简单易行、粗略、可测试、可核实的评价。根据一定的评价目的，如对成果一般性、非精确地评价，或对宏观、中观总体的估价（直接的评价因工作量太大不可能进行），此种评价是有效的，或是最不坏的评价方法。但对某些要求高的精细评价，它可能是评价的基础，有可能参考，也有可能不做参考，一切视具体的评价目的而定。

　　所谓内容评价是指评价主体对评价客体内含知识的本身特征的评价，由同行专家通过直接观察、阅读、讨论来进行，为了计算的方便，可能也会将定性评价转换成数字，但最终的评价通常用文字或数字加文字来反映，如“此方案一致通过”，“此人是一流学者”，“该成果具有原创性”等。它是针对某一评价目的对知识内容的逻辑性、合理性、价值等的直接评价，是一种费时费力、测试、核实更花时间，但却精细、较为可信、可靠的评价。一般对于关系到评价对象直接、重大利益的精细评价都应采取此种评价，而不能片面强调工作量大而放弃。

　　所谓效用评价是指实践、时间、历史对评价客体实际作用、价值的验证或最终评价。它既强调用一段时间、有限的实践、已有的历史事实来评价，更注重长时间、更多实践和事实的评价。它既依赖于学术共同体的评价（因学术共同体最能认定实践、事实的意义），但又有独立性，不以任何人的主观意志为转移。在社会科学领域，其效用常表现为被社会机构作为有关政策、措施出台的依据，以及这些政策、措施实施后的结果；在人文学科，其效用则常表现为精神产品及其对人们思想、观念、社会风气、舆论等的产生的作用。由于此种评价包含着无限的过程，因此它是一种“进行时”加上“未完成时”。

　　目前评价中的突出问题就是简单问题复杂化，复杂问题简单化。文献计量方法、同行评议法和实践、时间最终评价法，大体可分别对应于形式评价、内容评价和效用评价。这内容和效用评价直接与质量与创新评价有密切关联。

　　本研究首次提出了形式评价、内容评价和效用评价的“三位一体”新概念组合，清晰地说明了各种评价方法的特点，更好地理解了学术共同体评价与实践、时间或历史的最终评价之间的关系，合理解释了国内外评价的历史、现状及预测未来。并为构建新的评价体系打下了坚实的基础。新概念组合还可以作为各项评价客体的评价指标框架。不仅在方法上，而且在指标上，还可作为制定评价指标的三个方面。评价主要是对研究成果内在质量的评价，形式只是内容的反应，有的二者一致，有的则不一致，一致者，用之；不一致者，不用之。某种程度上说，对二者一致性的程度分析和判断就是所谓的“评价”。因此严格看，评价本质一定不是简单的形式评价，而是内容、效用评价，是关于内容是否有创新、效益和效率的评价。从形式、内容和效用三个面，可以引申出三个“力”或曰“度”，即潜力、实力和效力，每个“力”下一般可分为若干“力”。比如潜力，可分成支撑力力、学术素养力和生产及影响力等。实力可分成创新力、准确力和解释力等。效力则是精神（思想）启发力、物质贡献力和文明推动力等。三面是所有评价客体所具有的共性，而“力”则允许有个性、有变通，且指标的解释也可不同。
　3.人文社会科学与自然科学一样是可以、也必须进行评价。尽管人文社会科学，尤其是人文学科（科学）具有特殊性，但从本质上看，都是探讨规律的科学或思考人的精神现象和人生意义的学问，都是可以评价的。不是不要评价，而是缺少合理的评价。但要清醒看到，由于人文社科研究的复杂性和某些不确定性导致了评价的复杂性和某些不确定性及评价的较低客观性和公认度，要消解这种情况，一是逐步提高研究水平与评价水平；二是投入更多的评价精力、时间，对重大、整体的评价既不可轻率评价，但也不应长期不评价。学术共同体的水平和科研管理水平与评价水平直接相关联。

　　4. 概括出一套新观点和命题，诸如评价主体多元论、同行专家评价主导论、元评价论（即评价之评价论，包括同行专家信任度考察论）、建立与完善同行专家动态数据库是保证评价质量的关键环节（命题）等。从“评价客体”看，可以归纳出评价对象多样论、分层分类评价论、评价周期延长论、图书权重加大论等。从“评价目的”可以得出评价目的制约论。从“评价方法”可以归纳出同行专家评价法与文献计量评价法互补论、形式评价、内容评价、效用评价集中与分散论。从评价标准与指标看，可以归纳出“三面三力”指标体系、学术创新标准核心论、指标适当论等。从评价制度可以归纳出制度先行论、程序正义论、规则精细论、例外管理论等。

　　同行专家评价法仍为评价主导，引文等文献计量评价可以作为适当补充。同行专家的评价是少数经过精选的少数专家按照评价目的、标准等对对象的评价，而引文等文献计量学的评价，从本质上看，也是广大作者同行或期刊编辑部同行、专家根据不同目的而进行的“准评价”，二者不是平列的关系，更不是对立的关系，而是不同评价主体的直接评价和准评价，二者数量不一，评价角度不同，因此完全可以互补。至于某项具体的评价，则一定应根据具体的评价目的，选择具体的评价互补方式。一般说来，层次较低、较粗的评价，文献计量评价可发挥较大作用，而层次较高、较精细、较重大的评价，同行专家评价则应占主导地位。

　　在进行引文评价时，应了解文科各学科的引文特点，比如引用多少与研究问题的热点有关；对社会科学各学科而言，如经济学、管理学、社会学等，引用高低与质量关系大些，而有些学科，如文史哲就次之；而对有些专门领域则没有关系，即不能衡量学术水平高低，如梵文、小语种的研究等。

　　值得强调指出，目前国内外各种引文数据库的主要功能是信息的检索、学术交流的分析，兼及某些评价功能。不论是美国的SSCI，A&HCI，还是荷兰的SCOPUS，还是中国大陆的CSSCI，均是检索和学术交流系统分析工具，因为这些索引并不是为评价而编制的，比如不管是伪引、自引、负面引用、中性引用等在引文库里均作为一次“评价”。引文索引只提供数据，至于这些数据反映什么问题，说明什么情况，是要专家解读的，它是帮助而不是代替专家进行评价，数据不能说明一切，因此对引文索引的评价作用一定要有恰如其分的认识，不可偏废，要针对不同的评价目的，选择恰当的引文数据库，合理、正确使用引文数据。

　　5.对同行专家要进行严格的制度化控制及学术伦理提升.合理评价的关键因素是评审专家的选择、使用、监督，目前我国在这方面的管理还是粗线条的，因此必须设计出严格的管理程序，从培育独立第三方评价机构和建立动态的同行专家数据库着手，以考察专家信任度为核心，建立健全专家回避制、公示制、反馈制、申诉制、元评价制（包括规定用引文等文献计量评价来制约）、奖励制、书评制等为主要内容的制度建设，以形成良好的评价环境，从制度上保证评审专家信任度、权威性和相对公正性。同时辅以文化氛围的营造，思想境界、道德觉悟、科学精神等的倡导，从制度和思想两个方面共同努力，以达到此目的。

　　6.对非共识项目及其成果的评价要宽容。共识项目与成果及人员的评价相对好办，而非共识项目及其成果的评价问题较为复杂。“非共识”既意味着潜在的创新，也意味着可能的失败。在短时间内同行专家不能达到共识的情况下，应交给较长时间的“效用评价”，即历史、实践的评价。文科的创新相对于理科，更强调综合创新、集成创新、继承性创新，需要大量的时间对古今中外的理论与实践知识融会贯通，如果没有鼓励不同学术观点、不同学术流派的争鸣和切磋，提倡说理充分的批评与反批评，营造宽松学术环境和求真务实、生动活泼的创新氛围，学术观点创新、学科体系创新和科研方法创新是不可能的。

　　7.在实际评价中应根据不同的评价目的进行分类分种分层评价。人文社会科学评价的客体复杂多样，诸如项目、成果、人员、机构等等，仅成果又可以分成很多不同的类别。在实际的评价中切忌在不能完整、充分掌握评价客体有效评价信息时，盲目进行“整体质量”评价，因为此举很难服众，反而会产生相反的评价效果。因此在具体的评价中，必须明确评价目的，根据目的，对评价客体进行分类分层，根据分类分层，设计不同的评价标准和指标，选择不同的同行专家。一般说来，单项的目的明确的评价共识性强，多项多目的的评价次之，而宏观整体目的深远的评价再次之。比如，每一年学术机构的年终评价，是一年工作量的简单评价，其目的是盘点工作量、执行任务的概况，而非研究成果的质量评价，因此根据此目的可以利用形式评价，但奖励等却不能按照形式评价来给，否则就是以形式代替了内容，达不到评价的效果，反而会助长只顾数量、不问质量的不良倾向。一般说来，文科的内容评价需要相当长的时间，一般以5年一个评价周期为宜，重大的评价，10年一周期和反复的效用（时间、实践）评价。但在实际评价中，经常要求在一定时间内做出评价，因此评价的目的性以及评价的相对客观性和公正性就极为重要。

　　以上是研究结论，根据这些结论及评价中存在的“六化”问题，从全国宏观角度，提出以下对策建议。

　　8.立即制定以质量与创新为导向的人文社会科学评价体系的实施方案。全国哲学社会科学规划办公室、教育部、文化部、新闻出版署、中国社会科学院、中国社会科学联合会等科研管理部门和学界组织联合发布评价体系指导性意见，此意见可以本研究所提出的“六位一体”的“全评价体系”为参考，从六大要素一一规定，彻底扭转过分数量化、形式化、简单化、质量和创新力评价弱化、评价结果软化等问题，从国家宏观上给各个学术单位的评价以指导和明确的评价导向信号。在此文件中，应明确学术与行政的权利界限，形成良性互动的关系，并提出系统和综合的措施，诸如鼓励建立独立第三方评价机构的具体办法，鼓励评审专家踊跃参加评价的具体意见，确实改变“六化”问题。

　　9.制定严格制度与程序制约、监督评价组织方和评审专家的评审行为和评审结果。在目前评价组织方与行政管理部门合二为一，或是其下属单位的情况下，惟有加强自我约束和内部、外界监督才是有效对策。首先是评价组织方要制定严格的筛选评审专家的程序、保密规定、不干涉专家意见等规定。其次制定严格的评审专家数量、审读时间、打分或定性评价注意事项、汇总、加权、得出总评价结果程序的详细规定，将专家评价随意性、片面性减少到最低限度。同时制定细致的利益相关者回避制、结果公示制、被评价者申诉制等。对于特殊性的问题，还应按照学术逻辑和要求特别注意制定“例外”管理办法，避免用“一刀切”等简单的管理办法来管理学术研究这样复杂的脑力劳动和精神产品的生产。

　　10.修改和完善各级“评审专家数据库”。对目前的各级“评审专家数据库”进行评价、修改、充实、调整，逐步完善国内同行专家评审数据库。以后可以在某些学科，诸如管理学、经济学、语言学、文学、艺术、图书情报学、教育学等建立国际同行评审专家数据库。可以将“专家信任度档案数据库”纳入其中。

　　11.充实、培养新型的人文社科科研管理人才。随着文科研究经费的不断上升，绩效考核的实施，评价作用的提高，迫切需要科研管理制度之创新。首先需要加强管理人员的数量与质量，培养既懂学术，又懂管理的人才（类似于项目主管），以帮助提高研究的质量。

　　12.形成相对稳定、权威性的评价专家队伍。从全国层面上看，要逐步形成一支由一流专家组成的评审专家队伍。由于在目前各学术机构的人员的评价中都很重视论文、著作的产出，现在许多合适当评委的学者们普遍不太情愿做审稿等评价的事，因为审稿等评价的工作量和贡献在个人业绩中反映不出来（也是个评价问题）。要解决这一问题，除了在评价制度上合理设计安排外，也要进行学术伦理等导引。

　　13.加强自我评价、过程评价、特色评价等诊断性、鼓励性评价。评价的一个重要目的是促进研究的质量，因此既要有一般性的达标评价指标，更要有特色性的评价指标。加强自我评价、过程评价、特色评价等诊断性、鼓励性评价尤为必要。加强学会、专业性组织的评价与民间评价的地位与作用。

　　14.培育或导引独立第三方评价机构的出现和发展。国家有关文件已规定要培育独立第三方评价机构的发展，但几年下来，几乎毫无进展。究其原因，是没有提出确实可行的措施和具体途径。比如，对评价机构资质的审核，对业务范围的规定，税收的优惠等等都没有明确的办法。

　　15.设置人文社科国家级学术奖项。由于目前全国还没有统一、规范、权威的哲学社会科学优秀成果评奖，因此设置国家级文科大奖，是落实中央关于文科与理科四个同样重要的重要措施之一。同时可以为文科的评价起到示范作用，为形成真正的、理性的学术权威创造条件。重点是评出一流的成果，以创新为重要标准。这样可以倡导一流、卓越的研究。文科提高要有一个较长的过程，要有学术的深厚积累，要有许多代人的努力。一开始可以少而精，突出评价的科学性、权威性和可操作性，逐渐建立健全全国奖励激励机制。

　　16.改革学位、职称、重点学科、博士点、研究基地等的评审中惟数量化、形式化等的倾向，要以内容、效用评价为主。重点学科等评价关系到各高校、学术机构的核心利益，学位、职称等评价涉及到全家万户，影响面大，只要在这些方面有实质性的改革，删除不合理的评价指标，完善评价程序与办法，就能明显扭转不良评价风气。不仅可使主管部门、评审机构回归服务的本位，而且使学术研究回归本位，使低水平重复研究及泛滥成灾的“成果生意”最终失去市场。

　　17.健全出口评价与发表后再评价。目前中国文科的论文和著作主要通过期刊社和出版社发表和出版，他们是学术第一个“出口”，许多平庸之作和伪劣之作的出现均与此有关，真正创新之作能否及时发表也与这些出口有关。必须创造必要的物质条件完善严格的评审制度，实行匿名审稿制，保持学术期刊和学术出版社的学术水准、权威地位。力争制定以下规定：凡有专家评审制的学术期刊，并得到学术共同体认可，不论是否为核心期刊、来源期刊等，均应承认。同时加强发表后论文、著作的再评价，建立健全文科精品成果数据库，建立和完善引文数据库，新建图书评价数据库、评论数据库、专用于评价的文摘数据库和评价结果数据库。

　　18.建立书评在内的学术批评制度。狭义的学术评价，即有组织的学术共同体的评价既有作用，已有先天的局限性，而广义评价中的学术批评则是很好的补充评价。书评（包括论文评等）则是学术批评中的重要类型。

　　19.精简评价、拉长评价时段与周期。文科创新不同于理科，需要大量的阅读、走访、思考，需要大量的时间进行整合、创新，对广大学者，尤其是对一些已献身学术的学者，必须给予充分的时间和宽松的学术环境，不宜用过多的评价干扰其研究，即使有必要的评价，尽量合并在一起进行，且要拉长评价时间，一般5年一次，重大者10年一次。
20.目前评价实践中几个突出问题的解决的办法。以上的研究结论与建议不仅对于解决宏观、长远的评价问题具有重要意义，而且对解决当前评价实践中突出、学者意见最大的一些现实问题也提供了积极的思路和途径。根据研究结论和总体建议，特对解决这些具体问题提出以下可操作的办法。

　　20.1解决以政代学问题的办法

　　1）建立健全学术权力机构（学术委员会、教授委员会）。《国家中长期教育改革和发展规划纲要（2010-2020年）》征求意见稿中明确提出大学要“推进政校分开、管办分离”，“去行政化、教授治校、大学自治”。目前已经有了一些创新举措。例如2010年6月华中师范大学新一届学术委员会成立，成员构成“平民气息”浓厚。23名成员中，除了1名分管学术工作的副校长，书记、校长等校领导全部退出，语言学家、普通教授邢福义担任学术委员会主任。此前，也有知名高校做过类似尝试，但迫于各种压力，无疾而终。对于这一破冰之举，有学者认为：这是对教授权利的尊重，有利于大学回归学术本体，值得称道。学术委员会应该掌握有关学术问题的最终“话语权”。

　　2）明确行政部门的权利界限--执行机构。改革的关键不仅仅是形式上的分离，更重要的是在于厘清行政与学术的不同功能。要想真正解决以政代学问题，还是要完善大学内部治理结构，尊重教育的自身规律，构建行政权力、学术权力和监督权力相互制约又协调运行的格局。近期湖南大学校长宣布在任校长期间不带研究生、不申报项目，值得深入探讨和试行。

　　3）成立学术权力、执行权的监督机构。众所周知，绝对的权力导致绝对的腐败。无论是“教授治校”，还是“大学自治”，如果没有对学术权力的制衡和监督力量，那么，无论怎样改革，都是苍白的，缺乏信服力的。

　　4）公开性、透明性。此外，还应该将学术评价的程序和过程公开，主动接受广大学人的监督。鉴于人文社会科学评价的复杂性，也许无法做到对于学术内容的绝对公正，但至少可以做到程序公正。相对实质评价来说, 程序评价更易把握, 可操作性更强, 不失为一条通向客观公正的可行道路。

　　20.2解决以刊评文问题的的办法

　　1）教育部等主管部门不以核心期刊、来源期刊上的论文数量为配置学术资源、评选重点学科、博士点、基地等的主要依据。

　　2）各大学等学术机构不以核心期刊、来源期刊的发表论文数量为发放奖金、评职称等的依据。

　　3）以同行专家评价为主，辅以引文等文献计量评价评选出真正的学术质量好的期刊。

　　4）配置学术资源、评选重点学科、博士点、基地等，或发放奖金、评职称等均以论文的内容评价、效用评价为主，不以期刊的质量等级为主要标准。

　　以上4点建议，并非要否认核心期刊或来源期刊的作用，而只是认为，对于论文质量的评价可以参考该论文是否发表在核心期刊上,因为能够被核心期刊录用毕竟通过了编辑的初审、专家的外审、修回、主编的复审和终审等一系列环节的把关，但仅仅有这些过程还是不够的，各期刊编辑部办刊目的不同、审稿水平不同，已发表的论文质量差别不一，因此，对于论文的真实水平，还是要根据一定的评价目的采用一定的评价指标，更重要的是通过精细、专门的同行评议，根据论文的内容进行评价，只有这样才能得到更具说服力的评价结果。

　　20.3解决评审专家缺位、失位问题的的办法

　　1）由相对独立的评价方根据专家库、学者实际能力选择恰当的评审专家。目前国家社科基金对重大项目评审在这方面进行了卓有成效的改革。重大项目评审专家在全国五大社科研究系统内遴选。遴选的原则和标准主要有四条:一是专业对口和权威性,确保是同行评审。二是回避原则。即投标课题的首席专家和子课题负责人一律不担任评审专家,评审专家一律回避本单位投标课题的评审。三是初评和复评衔接,初评专家中有一半左右继续担任复评专家。四是邀请有关实际工作部门同志参加，力求做到公平公正和公开。这些改革值得完善和推广。

　　2）建立健全适合于进行精细学术评价的评审专家库系统。需要指出的是，尽管在制度上做了一系列的保证，但评价的结果最终还是由每个专家做出的；而专家作为一个个独立的个体，必然受其自身众多因素的制约, 因此其评价结果通常围绕着各自理想的客观真值产生不同程度的波动。真正高质量的评审专家库应该实现专家个体围绕理想真值的波动尽可能小；这些波动间的差异尽可能小。而目前围绕这两类波动, 至今未见有系统的专家库质量控制理论, 也缺乏这种质量控制技术。因此通过更为科学合理的理论和方法，建立适合于进行精细学术评价的评审专家库系统，是目前学术评价研究中的亟待解决之问题。

　　3）评价方根据回避制度、保密制度等选择评审专家。评审方选择评审专家时，应注意回避与评价对象或评价过程有利益相关的专家，以避免可能出现的人情或其他情感或利益因素干扰；同时，评审专家在评价过程中也因遵守保密制度，对评价过程中形成的数据、资料，在评价结果发布之前，不得向评级对象透露相关评审细节；因为评审的数据资料本身就属保密信息，评价方和评审专家应严格遵守评审规则，遵循既定的评审程序；对评审过程中接触到的相关资料、信息，严格履行保密义务。

　　4）建立评审专家评审信任度考察制度。通过科学组建评审专家，严格执行考察回避制度，虽然在一定程度上可以保证评价结果的公正性。但由于学术评价最终还是归于同行学者的学术良心、学术水平、学术眼光和学术操守，而这些都与脆弱的人性相关，因此，在道德上要求学者完美无瑕是一种乌托邦式的美好愿望，在实际的评价活动操作中，依然要依托制度的建设。建立评审专家评审信任度考察制度对于学术评价来说是必不可少的。要逐步建立评审专家评价的诚信机制，评审人员，要签订诚信协议并建立诚信档案；通过把评审专家置于舆论和学术共同体的有效监督之下，促使他们认真履行职责，公正行使学术权力。一旦发现有意严重违反制度者，根据情节，处以重罚。对由于制度不明确、不健全，或不具有相关知识者，以教育为主。

　　5）建立和健全评价结果公示、反馈、申诉、复议等制度。对于评价的结果，应有公示流程，公示内容包括评价的内容、方法、程序和评价结果。被评审方如对评价结果有异议，可直接向评价方提出申诉。评价主体必须认真调查，要根据原始记录、原始实证材料给予耐心、透彻的答复，实事求是地做出恰当处理，并及时向申诉人反馈，维护其权益。如果被评价方不服评价意见而提出复议要求，应由相关学术管理、教育行政部门做出裁定。

　　20.4解决重量轻质问题的办法

　　1）淡化或暂时取消单纯以研究成果数量来排名的各种评价，即使要排名，那必须说清是按照数量排名的，绝不能有意无意使之等同于质量排名，误导学界和公众。

　　2）慎重进行任何有实质性作用的各种质量评价，要有必要的人力物力及时间为评价基础，不能简单从事。

　　3）鼓励以书评（包括论文评论）等形式对成果内容进行实质性评价。书评通常采用历史性评价、传记性评价、比较性评价、特色性评价等方法,有识见地分析专著的形式和内容，对作品的历史价值、学术价值、实用价值做出信誉评价,相对于形式评价，书评是进行实质评价的重要而有效工具。

　　4）建立和健全同行专家对论著以形式评价为切入点，内容、效用评价为核心。国外非常重视社会科学成果对政府决策、民众生活质量与社会思潮的影响作用,所以社会科学研究成果的社会转化问题与社会影响力测评一直是国外学者讨论的热点。社会效益的评价不是通过数量计算可以一蹴而就的，需要通过复杂的社会系统的检验。而社会效用评价一直是我国学者、科研管理者、政策决策者和社会受众普遍忽视或轻视的一个评价指标。

　　20.5解决评价结果公信力不高问题的办法

　　1）延长评价时间，条件不成熟，宁愿不搞评价。人文社会科学是以人、人化的自然和社会为研究对象的,不少研究成果无法或很难通过实验重复验证，从某种意义上说只能通过时间和历史的检验，才能得以证明。因此其学术价值常常不是即时性显现的，有时甚至是相当滞后的。因此对学术影响的探讨，除了应关注其轰动效应和即时性等特征外，还应在更广阔的时间与空间范畴内对其进行深度审视。从某种意义上来说,历史评价和社会评价才是学术研究成果的终极评价。

　　2）适当合并评价项目，只要评价的结果是可信的，其他评价可共享其评价结果。

　　3）及时公布评价结果和评价意见，便于大众验证、反馈信息。

　　4）建立评价结论数据库，便于查询、检索和利用。

　　目前所作的评价都是过程性的，一旦评价完成，就不再关心该评价的后续发展，不重视评价信息的积累和管理，这对于学术评价的可持续开展是不利的。国外有一些研究机构很注重做这方面的工作，而在国内，这方面的工作尚未起步，亟待开展。

　　20.6解决保密等制度不健全问题的办法

　　1）加强评价机构内部人员的管理，责任到人，分工制约，签字为证，一旦发现评审专家名单等泄密现象，立即处理，课以重典。

　　2）成立制度执行督察机构，监督制度的执行。 监督机构必须有职有权，内部监督与外部监督协调。

　　3）评审专家在保密、责任书上签字。签字的形式以示慎重，增强责任感，并为专家信任度评价提供资料。

　　4)　提前隔离评审专家与被评价者，切断通讯联系。

　　目前国外非常重视用制度约束评审专家，评审专家要签署“利益冲突申明”，以保证评审专家在工作时能够严格保密并恪守公正性原则。专家不应与评价者沟通，专家及工作人员都不得泄露参加评审的其他专家的姓名，等等。目前，国内在这方面也进行了一些尝试和探索。亟需加强和普及。

　　综上所述，本研究运用专家调查法、案例法、比较法、定性与定量相结合的综合集成方法等，提出了形式评价、内容评价和效用评价的“三位一体”新概念组合，合理解释了评价的历史、现状及预测未来。进而提出了“六位一体”的评价体系，即合理的评价体系应由评价主体、客体、目的、标准及指标、方法和制度六大要素组成。提出了新的重要理论观点，研究取得突破性进展。并通过中外评价实践和理论，尤其是引文数据，对所构建的评价体系进行了新的论证，对文科评价研究进行了新的系统分析和理论概括，丰富和完善了学术评价的重要理论和观点，使研究取得突破性进展，得出了新的认识。本研究已将“全评价体系”应用在经济学、语言学、法学、图书情报学等的期刊、图书、论文、人员、机构、地区等的质量评价中。本研究的理论前提科学，中外资料较丰富、准确，研究方法合理适当，概念明确，自圆其说，逻辑严密，引证规范，所有引用资料、观点来源清楚，研究的问题是国际难题，十分复杂，理论难点多，学科基础薄弱，资料的搜集与处理难度很大。此研究对解决学术评价重大理论或现实问题有推动作用，对评价理论、信息管理论、文献计量理论、引文分析法等学科领域的发展有重大促进作用。

　　（本文作者为南京大学信息管理学院教授，本项研究成果《理论与应用：哲学社会科学评价体系研究》近期将由社会科学文献出版社出版）

来源：全国哲学社会科学规划办公室

http://www.npopss-cn.gov.cn/GB/219468/17082637.html