创新评价与评价创新 Evaluation of Innovation and ….ppt

“世界科学文献定性评价统计数据库”与引文定性分类下的学术文献计量评价方法,肖 宏中国学术期刊（光盘版）电子杂志社,一、项目背景,科研评价的目的控制研究活动质量！科研评价的对象政策、计划、投资、项目、成果、人才、管理！科研评价的方法同行评议、案例调研、文献计量和经济计量等。开展学术文献的评价，是科研评价的基础工作提供决策参考、客观支撑！,1.1 开展学术文献评价的必要性,（1）同行评议组织模式与评价手段落后： 定性评价如何客观？高效？低成本？（2）文献计量的科学性、合理性不足： 统计源的代表性、权威性，指标的科学性，数据的及时、可靠？（3）缺乏对引证数据的定性分析: 文献计量统计定性评价意见。,1.2 问题的提出：当前学术文献评价体系主要存在三大本质性缺陷：,（1）单纯依赖同行评议定性评价的缺陷：既受“同行”-专家群体专业水平和主观评判能力的挑战，也受“评议”-评价标准的科学性和评议过程合理性的挑战,例如：一些创新程度高、有重大突破性研究结果的话题，如何依靠同行评议迅速判断其学术价值？,陶瓷=绝缘体，陶瓷=高温超导材料！,高温热核聚变常温核聚变=冷核聚变！,（2）单纯依靠文献计量定量评价的缺陷,间接：通过参考文献和论文被引用的关联分析来判断论文主体内容，或以刊论文，是间接反映学术价值。被引用频次能否反映其学术价值？滞后：以论文发表后的数量、期刊等级及被引用数值为根据进行决策，统计上有时滞。偏差：被评论文必须发表在被统计源收录的期刊上，忽略了没有被统计源收录的论文。期刊影响因子能一定程度地反映期刊的学术质量水平，能否反映每篇论文质量？宏观：对群体行为的评价意义远远大于个体，因为引用动机不同，用引次来说明个体内容本质差异尚有相当误差。,2 Zhang Xueyong, Tong Yiping, You Guangxia, Hao Chenyang, Ge Hongmei, Wang Lanfen Li Bin, Dong Yushen and Li Zhensheng . Hitchhiking Effect Mapping: A new approach for discovering agronomic important genes.（选择牵连效应分析：发掘重要基因的新思路）Agricultural Sciences in China（中国农业科学）2007, 6: 255-264. CNKI被引1次，下载30次。CSCD被引38次。国家973重点项目,10.Zhang Jijun,Ying Jia, Chang Shenghe, Li Bin, Li Zhensheng . Cloning and Expression Analysis of Violaxanthin De-Epoxidase (VDE) cDNA in Wheat. （水稻氮饥饿诱导基因的克隆与表达分析）Acta Botanica Sinica（植物学报），2003，45: 981-985. CNKI 被引2次，下载120次; WOS 被引3次。CSCD 被引0次，国家973重点项目。,李振声，中科院遗传与发育生物学研究所研究员，中国科学院院士、第三世界科学院院士，小麦育种专家。曾任中国科学院副院长。曾获1985年国家科技发明一等奖、陈嘉庚农业科技奖、何梁何利农业科学奖和国家最高科学技术奖。在遗传所网站上公布的近期代表性论文12篇。其中：,例如：有些专家其论文发表的期刊并非国际顶级大刊，其论文的被引频次、下载次数等并非在同学科内最高，但其学术价值和应用价值一流。,1.3 解决问题思路：基于网络平台的群体评议和海量大数据支持的学术不端检测机制，在论文创新点分析和引文动机分析分析的有力工具辅助下，开发定性定量相结合的评价方法，既克服同行评议的偏差，又为文献计量注入崭新内容，使学术文献评价高效、准确！,二、2013年国家文化产业发展专项资金项目介绍世界科学文献定性评价统计数据库,2.1 基本目标： 大数据内容挖掘技术 + 科学文献定性评价标准 （国际首创）一个可以支持客观公正定性评价我国和世界各国科学文献学术质量与国际影响力的大型数据库 （全球学术界+科研管理界）推广应用 形成具有我国自主知识产权和国际权威性的科学文献学术评价新体系。,2.2 项目架构,引文定性分类下的学术文献计量评价方法,2.3 本年度重点攻关：引文定性分类下的学术文献计量评价方法 目的：在大数据支持下，为同行评议提供定性分类后的引文统计结果,（1）文献研究搜集、整理、分析了19622014期间国内外发表出版的引证动机相关研究文献共100余篇，从中提取出直接相关的引证动机模型26种。（2）文本分析对生物学、化学、物理学、医学等自然科学和经济学、社会学、文学、历史学等人文社会科学约1000篇高被引文献产生的13000多条引文进行了文本分析。（3）专家调查召开两场专家讨论会，向与会的期刊评价专家、文献计量学者汇报引证动机分类的初步研究成果；通过中国老教授协会向各学科专家发放参考文献引证的定性分析调研问卷。,(1) 向前人表示敬意; (2) 对有关著作作出评价或给予肯定; (3) 表明使用的方法、仪器设备等; (4) 提供参考资料;(5) 修改某人自己的著作; (6) 修改他人以前的著作; (7) 批评他人的著作; (8) 为自己的论点寻找证明; (9) 向研究人员通报未来的工作; (10) 提供很少传播,很少标引或未被引用的著者线索; (11) 鉴别数据和各类事实与物理常数; (12) 核查原始出版物中曾描述过的观点和概念; (13) 核查原始出版物中曾描述过的术语、时间、人名、地点等;(14) 否定他人的著作或观点;(15) 对他人的优先权限提出质疑和异议。,温斯托克(M.Weinstock) 提出过15种引用动机：,2.3.1 文献调研结果例举1,赵彦云，刘思明.中国专利对经济增长方式影响的实证研究:1988-2008年. 数量经济技术经济研究. 2011年第4期,冯宗宪，王青侯，侯晓辉.政府投入、市场化程度与中国工业企业的技术创新效率. 数量经济技术经济研究. 2011第4期,被引文献A,被引文献B,均被引用26次,2.3.2 文本分析：探究相同引次下的各种引证差异,2.3.3 专家调研：确定对各类引证动机定性指标的认同程度,对象：均为退休教授，长期从事科研、教学工作。共发出100份调查表，一周内收到83份有效回复。统计发现专家们对于引文目的、引证动机、引证行为和引证贡献等看法有很强的一致性，例如：（1）认为引用文献主要基于其研究问题的达91.6%；（2）认为文章因为其创新性而被引用的达86.8%，因为其实用性而被引用的达80.7%；（3）认为为提高自己文章的说服力而引用参考文献的达80.7%，为表示自己遵守学术规范而引用的达79.5%；（4）认为为采纳被引文章内容来支持本研究的达92.8%，为本文提供必要背景的达86.8%；（5）对文献正面肯定而引用的占85.5%；因批驳质疑而引用的占63.9%；（6）承认受参考文献影响但未改变自己思路的有78.3%，受参考文献影响而部分改变自己思路的有73.5%,2.4 建立标准体系需考虑的要素：,分析对象不同 被引文献；施引文献引文贡献不同 实质性作用；非实质性作用等被引文献类型不同 综述性论文；研究型论文；学位论文等施引文献类型不同 综述性论文；研究型论文；学位论文等分析角度不同，结论不同 学术价值；学术影响力,2.5 阶段研究成果：双向六维的引文定性分类体系,定义：被引文献是指施引文献所引用的被引文献的内容类型，即施引文献引述的被引文献的具体内容,2.5.1 被引文献向被引对象,定义被引价值是指施引文献认为被引文献具有何种性质的学术价值或其他价值。,2.5.2 被引文献向被引价值,定义引证动机是指施引文献引用被引文献的意图和目的。,2.5.3 施引文献向引证动机,定义引证行为是指施引文献引用被引文献的行为表征。,2.5.4 施引文献向引证行为,定义引证态度是指施引文献对被引文献的情感倾向和引述立场。,2.5.5 施引文献向引证态度,2.5.6 施引文献向引文贡献,定义引文贡献是指施引文献认可的被引文献对其论文的作用和影响程度。,2.6 项目成果：,世界科学文献定性评价统计数据库: 已进入中期开发阶段。该项目通过构建世界范围的学术文献全文数据库、引文数据库、专家学者库及国际同行评议平台，以引文动机挖掘、分类与网上同行评议相结合，建立面向文献的国际评价体系，并提供科研项目情报跟踪、学术研究方向、学术热点等增值信息服务。这一项目的实施，将进一步完善我国学术期刊的国际影响力评价，并推动我国学术期刊的国际国内传播。,根据用户需求和管理需求，产生不同的产品，为特定用户群体提供服务。包括：（1）宏观评价产品：对学科、国家和地区、机构、期刊的评价。形成世界学术期刊引证报告、中国学术期刊国际引证报告、中国学术期刊影响因子年报、世界科研机构评价报告等系列学术评价成果。（2）微观评价产品：对课题、学科热点、个人的评价。（3）开展个性化服务， 如：个刊影响力统计分析数据库，发布各刊文献计量指标，以及各刊每一被引文献的引证文献题录，并将其链接到“中国知网”国际学术文献搜索平台，便于各刊详细了解国际学者的引证情况。,感谢关注,THANK YOU FOR YOUR ATTENTION,