روش ها و شاخص های ارزیابی تولیدات علمی در علوم انسانی و اجتماعی: مرور نظام مند

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری علم اطلاعات و دانش‌شناسی، دانشگاه شهید چمران اهواز.

2 دانشیار گروه علم اطلاعات و دانش شناسی، دانشگاه رازی.

چکیده

هدف: در پژوهش حاضر بر این است تا به مرور یافته‌های پژوهش‌های ایران و جهان در خصوص ارزیابی تولیدات علمی در حوزه‌های علوم انسانی و اجتماعی و روش‌ها و شاخص‌های پیشنهادی برای ارزیابی برون‌دادهای علمی در این حوزه‌ها پرداخته شود.
روش‌شناسی: پژوهش حاضر با استفاده از روش مرور نظام‌مند انجام شده است. بدین منظور، پژوهش‌های مرتبط در پایگاه‌های اطلاعاتی بین‌المللی و داخلی بدون درنظرگرفتن محدودیت زمانی مورد جستجو قرار گرفتند و درمجموع، 45 مقاله مورد تحلیل قرار گرفتند.
یافته‌ها: با توجه به اینکه الگوهای انتشاراتی و استنادی حوزه‌های علوم انسانی و اجتماعی با علوم پایه، طبیعی و مهندسی متفاوت است، مقایسه و ارزیابی آنها با روش‌ها و شاخص‌های یکسان امکان‌پذیر نیست. طبیعت منحصربه‌فرد پژوهش‌های حوزه علوم انسانی و اجتماعی به صورتی است که نمی‌توان از روش‌های کمّی مانند روش‌های کتاب‌سنجی و علم‌سنجی برای ارزیابی کیفیت پژوهش‌های این حوزه استفاده کرد.
نتیجه‌گیری: برای ارزیابی کیفیت برون‌دادهای علمی حوزه‌های علوم انسانی و اجتماعی، لازم است رویکردهای کمّی نیز به‌عنوان روش‌های تکمیلی در کنار رویکردهای کیفی مورد توجه قرار گیرند. شاخص‌ها و معیارهای مورد استفاده برای این حوزه‌ها باید ترکیبی از شاخص‌های کمّی و کیفی باشد.
 
 
 

کلیدواژه‌ها

عنوان مقاله [English]

Methods and Indicators for the Evaluation of Scientific Production in the Humanities and Social Sciences: A Systematic Review

نویسندگان [English]

  • Farzaneh Ghanadinezhad 1
  • Gholamreza Heidari 2
1 Associate Professor, Department of Knowledge and Information Science, Razi University.
2 Associate Professor, Department of Knowledge and Information Science, Razi University.
چکیده [English]

Purpose:The purpose of the present study is to review the findings of the researches of Iranian and world research on the evaluation of scientific products in the fields of humanities and social sciences and suggested methods and indicators for evaluating scientific products in these fields.
Methodology: This study was conducted using a systematic review method. For this purpose, relevant researches were searched in international and domestic databases without regard to time limit and finally, a total of 45 articles were analyzed.
Findings: Given that publishing and citation patterns in the humanities and social sciences are different from basic, natural and engineering sciences, they cannot be compared and evaluated with the same methods and indices. The unique nature of humanities and social science research is such that quantitative methods such as bibliometric and scientometric methods cannot be used to assess the quality of research in this field.
Conclusion: In order to evaluate the quality of the scientific outputs of humanities and social sciences, quantitative approaches should be considered as complementary methods along with qualitative approaches. The indicators and criteria used for these areas should be a combination of quantitative and qualitative indicators.

کلیدواژه‌ها [English]

  • Assessment Methods
  • Assessment Indicators
  • Scientific Productions
  • Humanities and Social Sciences
  • Systematic Review

مراجع

افشاری، معصومه. مهرام، بهروز. نوغانی، محسن. (1392). بررسی و تدوین شاخص‌های ارزیابی کیفیت مقاله‌های علمی-‌پژوهشی در حوزه علوم انسانی مبتنی بر نظریه هنجارهای علم مرتون. سیاست علم و فناوری، 6 (1)، 49-66.
بختیاری، آمنه. (1385). راهکارهای ارتقای علوم انسانی؛ ترویج تفکر انتقادی و خلاق. کنگره علوم انسانی. تهران: پژوهشگاه علوم انسانی و مطالعات فرهنگی.
https://www.civilica.com/Paper-SOCIALSCIENCECONF01-SOCIALSCIENCECONF01 _156.html
پاریاد، رحمان. (1387). چالش‌های فراروی تحقیقات در حوزه علوم انسانی. کنگره ملی علوم انسانی، تهران: پژوهشگاه علوم انسانی و مطالعات فرهنگی.
 https://www.civilica.com/Paper-SOCIALSCIENCECONF01-SOCIALSCIENCECONF01 _112.html.
حسنی، غلامرضا؛ مراثی، محسن؛ نورمحمدی، حمزه‌علی. تحلیل و تدوین شاخص‌های ارزیابی کیفیت مقالات علمی‌ـ‌پژوهشی هنر، مبتنی بر نظریه هنجارها و ضدهنجارهای علم. پژوهشنامه علم‌سنجی.
خورشیدی، غلامحسین؛ پیشگاهی، شیوا. (1391). پیش‌نیازها و موانع تحقیق توسعه علوم انسانی میان‌رشته‌ای. مطالعات میان‌رشته‌ای در علوم انسانی. 4 (2)، 1-15.
داورپناه، محمدرضا. (1386). چالش‌های علم‌سنجی در علوم انسانی. پژوهش‌نامه مبانی تعلیم و تربیت. 8 (2)، 1-30.
داورپناه، محمدرضا. (۱۳۸۹). شاخص توان علمی: الگویی برای سنجش و مقایسه باروری علمی رشته‌ها. فصلنامه کتابداری و اطلاع‌رسانی، ۱۳ (۳)، ۲۰-۳۰.
رضایی، مینا؛ نوروزی چاکلی، عبدالرضا. (1394). شناسایی و اعتبارسنجی شاخص‌های ارزیابی بهره‌وری پژوهشی دانشگاه‌های ایران. تحقیقات کتابداری و اطلاع‌رسانی دانشگاهی، 49(2)، 213-237.
رضایی، مینا؛ نوروزی چاکلی، عبدالرضا. (1393). شناسایی و اعتبارسنجی شاخص‌های ارزیابی بهره‌وری پژوهشی پژوهشگران ایران. پژوهشنامه پردازش و مدیریت اطلاعات. ۳۰ (۱)، ۳-۳۹.
ساکی، رضا. (1385). تفکر نظام‌گرا؛ پیش‌نیاز توسعۀ پژوهش در حوزه علوم انسانی. کنگره ملی علوم انسانی. تهران: پژوهشگاه علوم انسانی و مطالعات فرهنگی.
 https://www.civilica.com/Paper-SOCIALSCIENCECONF01-SOCIALSCIENCECONF01_ 141.html
شمشیری، بابک. (۱۳۸۵). آگاهی‌بخشی و نقادی: بنیادی‌ترین کارکردهای علوم انسانی. کنگره ملی علوم انسانی، تهران: پژوهشگاه علوم انسانی و مطالعات فرهنگی.
 https://www.civilica.com/Paper-SOCIALSCIENCECONF01-SOCIALSCIENCECONF01_ 142.html
صمدی، لاله؛ ناخدا، مریم؛ نوروزی چاکلی، عبدالرضا و اسدی، سعید. (1397). استناد و استناددهی در ارزیابی‌های حوزه هنری: مسائل و چالش‌ها؛ مطالعه موردی رشته نقاشی. مطالعات کتابداری و علم اطلاعات، 25 (23)، 77-94.
صمدی، لاله؛ ناخدا، مریم؛ نوروزی چاکلی، عبدالرضا؛ اسدی، سعید. (1398). چالش‌های آیین‌نامه ارتقای اعضای هیئت علمی برای هم‌ترازسازی سنجش و ارزیابی بهره‌وری علمی پژوهشگران رشته موسیقی در ایران. پژوهشنامه کتابداری و اطلاع‌رسانی، 9 (1)، 59-84.
فاضلی، نعمت‌الله. (1384). کدام معیار؟ بررسی‌ای انسان‌شناختی در زمینه تولید علم و چالش‌های علوم انسانی در ایران. فصلنامه علوم اجتماعی دانشگاه علامه طباطبایی، 12 (30)، 1-44.
قاسمی، علی‌اصغر؛ امامی میبدی، راضیه. (1394). نقش و جایگاه مطالعات میان‌رشته‌ای در رشد و توسعه علوم انسانی کشور. فصلنامه مطالعات میان‌رشته‌ای در علوم انسانی. 7 (4)، 1-19.
قانعی‌راد، محمدامین. (1395). الگوی چهار وجهی برای ارزیابی توسعه علوم انسانی. تهران: پژوهشکده­ی مطالعات فرهنگی و اجتماعی.
قانعی‌راد، محمدامین. محمودی، مریم. ابراهیم‌آبادی، حسین. (1396). تدوین الگوی چندوجهی ارزیابی توسعه علوم انسانی. سیاست علم و فناوری. 9 (1)، 85-103.
مختاری، حیدر؛ میرزایی، عباس. (1395). تفاوت‌های علوم تجربی، علوم اجتماعی و علوم انسانی از نگاه شاخص‌های علم‌سنجی مؤسسۀ اطلاعات علمی (ISI). مجله‌ علم‌سنجی کاسپین. 3 (1)، 23-29.
مرادی، مرتضی. (1393). گذر پارادایمی از پژوهش‌های کمّی به پژوهش‌های کیفّی در علوم انسانی. رهیافت، 24 (57)، 93-116.
میرزایی، الهام. غائبی، امیر. کامران، معصومه. (1392). معیارهای ارزیابی نشریات علمی در سطح ملی و بین‌المللی: دیدگاه سردبیران و دست‌اندرکاران نشریات علمی فارسی در حوزه علوم انسانی. فصلنامه مطالعات ملی کتابداری و سازمان‌دهی اطلاعات، 24 (2)، 138-158.
نوروزی چاکلی، عبدالرضا؛ قضاوی، رقیه؛ طاهری، بهجت. (1394). ارزشگذاری شاخص‌های ارزیابی پژوهش در حوزه‌های مختلف علوم در ایران. سیاست علم و فناوری، 7 (4)، 1-12.
Archambault, E.; Vignola-Gagne, E.; Cote, G.; Lariviere, V.; Gingras, Y. (2006). Benchmarking scientific output in the social sciences and humanities: The limits of existing databases. Scientometrics. 68(3), 329–342.
Bornmann, L.; Thor, A.; Marx, W.; Schier, H. (2016). The Application of Bibliometrics to Research Evaluation in the Humanities and Social Sciences: An Exploratory Study Using Normalized Google Scholar Data for the Publications of a Research Institute. Journal of The Association For Information Science And Technology. 67(11), 2778-2789.
 
Bunia, R. (2016). Quotation Statistics and Culture in Literature and in Other Humanist Disciplines. In: Ochsner, M.; Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities. Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 133-150.
Chen, K. H.; Tang, M. C.; Wang, C. M.; Hsiang, J. (2015). Exploring alternative metrics of scholarly performance in the social sciences and humanities in Taiwan. Scientometrics, 102(1), 97-112.
De Loe, R. C.; Melnychuk, N.; Murray, D.; Plummer, R. (2016). Advancing the state of policy Delphi practice: A systematic review evaluating methodological evolution, innovation, and opportunities. Technological Forecasting and Social Change. (104), 78-88.
De Marchi, M.; Lorenzetti, E. (2016). Measuring the Impact of Scholarly Journals in the Humanities Field. Scientometrics, 106(1), 253–61.
Finkenstaedt, T. (1990). Measuring research performance in the humanities. Scientometrics, 19 (5), 409–417.
Gimenez Toledo, E. (2016). Assessment of Journal & Book Publishers in the Humanities and Social Sciences in Spain. In: Ochsner, M.; Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities. Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 91-102.
Gimenez Toledo, E. (2018). Research assessment in the Humanities and the Social Sciences in review. Revista Española de Documentación Científica, 41(3), 1-14. 
Gimenez-Toledo, E.; Roman, A. (2009). Assessment of humanities and social sciences monographs through their publishers: a review and a study towards a model of evaluation. Research Evaluation, 18(3), 201–213.
Hammarfelt, B. (2012). Harvesting footnotes in a rural field: citation patterns in Swedish literary studies. Journal of Documentation, 68(4), 536–558.
Hammarfelt, B. (2014). Using Altmetrics for Assessing Research Impact in the Humanities, Scientometrics, 101(2), 1419–30.
Hammarfelt, B. (2016). Beyond Coverage: Toward a Bibliometrics for the Humanities. In: Ochsner, M.; Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities. Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 115-132.
Huang, M.; Chang, Y. (2008). Characteristics of Research Output in Social Sciences and Humanities: From a Research Evaluation Perspective. Journal of The American Society For Information Science And Technology. 59(11), 1819–1828.
Hug, S. E.; Ochsner, M.; Daniel, H. D. (2013). Criteria for assessing research quality in the humanities: A Delphi study among scholars of English literature, German literature and art history. Research Evaluation, 22(5), 369–383.
Konig, T. (2016). Peer Review in the Social Sciences and Humanities at the European Level: The Experiences of the European Research Council. In: Ochsner, M.; Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities. Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 151-164.
Kousha, K.; Thelwall, M. (2009). Google book search: Citation analysis for social science and the humanities. Journal of the American Society for Information Science and Technology. 60(8): 1537-49.
Krull, W.; Tepperwien, A. (2016). The Four ‘I’s: Quality Indicators for the Humanities. In: Ochsner, M.; Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities. Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 165-180.
Lamont, M. Guetzkow, J. (2016). How Quality Is Recognized by Peer Review Panels: The Case of the Humanities.  In: Ochsner, M.; Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities. Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 31-42.
Miri, M.; Bahmani, P. (2012). Indexing in ISI Web of Sciences: The opportunities and threats. Jundishapur Journal of Microbiology. 5(2), 381-383.
Mohammadi, E.; Thelwall, M. (2014). Mendeley Readership Altmetrics for the Social Sciences and Humanities: Research Evaluation and Knowledge Flows. Journal of the Association for Information Science and Technology, 65(8), 1627–38.
Nederhof, A. J. (2006). Bibliometric monitoring of research performance in the social science and the humanities: a review. Scientometics. 66 (1), 81-100.
Nederhof, A. J.; Zwaan, R. A. (1991). Quality judgements of journals as indicators of research performance in the humanities and the social and behavioral sciences. Journal of the American Society for Information Science, 42(5), 332-340.
Nederhof, A. J.; Zwaan, R. A.; De Bruin, R. E.; Dekker, P. J. (1989). Assessing the usefulness of bibliomettic indicators for the humanities and the social science: a comparative study. Scientometrics. 15 (6), 423-35.
Noroozi Chakoli, A.; Ghazavi, R. (2016). Normalization and Valuation of Research Evaluation Indicators in Different Scientific Fields. Journal of Information Science Theory and Practice, 2(1), 21-29.
Ochsner, M.; Hug, S. E.; Daniel, H. D. (2012). Four types of research in the humanities: Setting the stage for research quality criteria in the humanities. Research Evaluation, 22(2), 79–92.
Ochsner, M.; Hug, S. E.; Daniel, H. D. (2016). Humanities Scholars’ Conceptions of Research Quality. In: Ochsner, M.; Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities: Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 43-69.
Ochsner, M.; Hug, S. E.; Daniel. H .D. (2014). Setting the stage for the assessment of research quality in the humanities. Consolidating the results of four empirical studies. Zeitschrift fur Erziehungswissenschaft, 17(6), 111-132.
Ochsner, M.; Hug, S.; Galleron, I. (2017). The future of research assessment in the humanities: bottom-up assessment procedures. Palgrave Communications, (3), 1-12.
Okoli, C.; Schabram, K. (2010). A Guide to Conducting a Systematic Literature Review of Information Systems Research, Sprouts: Working Papers on Information Systems. 10(26). Available at:  https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1954824
Pajic, D. (2014). Globalization of the social sciences in Eastern Europe: genuine breakthrough or a slippery slope of the research evaluation practice. Scientometrics, 102(3), 2131–2150.
Pontille, D.; Torny, D. (2010). The controversial policies of journal ratings: evaluating social sciences and humanities. Research Evaluation, 19(5), 347–360.
Prins, A. A. M.; Costas, R.; van Leeuwen, T. N.; Wouters, P. F. (2016). Using Google Scholar in Research Evaluation of Humanities and Social Science Programs: A Comparison with Web of Science Data. Research Evaluation, 25)3(, 264–70.
Reale, E. et al. (2017). A review of literature on evaluating the scientific, social and political impact of social sciences and humanities research. Research Evaluation. 24(4), 298–308.
Ren, Q.; Gong, X. (2012). Evaluation index system for academic papers of humanities and social sciences. Scientometrics. 93(3), 1043-1060.
Sivertsen, G. (2015). Patterns of internationalization and criteria for research assessment in the social sciences and humanities. Scientometrics, 107(2), 357–368.
Sivertsen, G.; Larsen, B. (2012). Comprehensive bibliographic coverage of the social sciences and humanities in a citation index: An empirical analysis of the potential. Scientometrics, 91(2), 567–575.
Stierstorfer, K.; Schneck, P. (2016). ‘21 Grams’: Interdisciplinarity and the Assessment of Quality in the Humanities. In: Ochsner, M.; Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities. Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 211-218.
Thelwall, M.; Delgado, M. M. (2015). Arts and humanities research evaluation: no metrics please, just data. Arts and humanities research evaluation. 71(4), 817-833.
Torres-Salinas, D.; Moreno-Torres, J. G.; Delgado-Lopez-Cozar, E.; Herrera, F. (2011). A methodology for Institution-Field ranking based on a bidimensional analysis: the IFQ 2 A index. Scientometrics, 88(3), 771-786.
Torres-Salinas, D.; Rodriguez-Sánchez, R.; Robinson-Garcia, N.; Fdez-Valdivia, J.; García, J. A. (2013). Mapping Citation Patterns of Book Chapters in the Book Citation Index. Journal of Informetrics, 7(2), 412–24.
Van den Akker, W. (2016). Yes We Should; Research Assessment in the Humanities. In: Ochsner, M.; Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities. Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 23-30.
Van Leeuwen, T. (2006). The application of bibliometic analyses in the evaluation of social science research, who benefits from it, and why it is still feasible. Scientometrics. 66(1), 133-54.
W East, J. (2006). Ranking Journals in the Humanities: An Australian Case Study. Australian Academic & Research Libraries, 37(1), 3-16.
Waltman, L.; van Eck, N. J.; van Leeuwen, T. N.; Visser, M. S.; van Raan, A. F. (2011). Towards a new Crown indicator: Some theoretical considerations. Journal of Informetrics, 5(1), 37-47.

فایل ها

هم رسانی

ارجاع به این مقاله

آمار