Designing a Conceptual and Operational Model for Scientific Evaluation and Ranking the of Educational Departments of Humanities in Universities and Institutes of Higher Education in Iran

Document Type : Research Paper

Authors

1 Professor, Department of Information Science and Knowledge Studies, Shahid Chamran University of Ahvaz

2 PhD in Information Science and Knowledge Studies, Shahid Chamran University of Ahvaz

3 Associate Professor, Department of Information Science and Knowledge Studies, Shahed University

Abstract

Purpose: The present study aimed at designing a conceptual and operational model for ranking the educational departments of humanities in universities and institutes of higher education in Iran.
Methodology: The present study is applied and developmental by objective and uses a mixed research methodology, combining qualitative and quantitative methods. The research population, which was selected by non-random purposeful method, included experts in scientific ranking, assessment and evaluation. In order to answer the questions, the Fuzzy Delphi technique and the best-worst method (BWM) were used as a multi-criteria decision method.  The research instruments were two author-made questionnaires and a data collection form Content validity of the questionnaires was confirmed by experts. Reliability of the Fuzzy Delphi questionnaire was calculated with Cronbach's Alpha of 0.785, which is acceptable. The inconsistency rate was calculated in order to validate the best-worst (BWM) questionnaire for each cluster of dimensions, criteria, and indices. Data were collected by library studies, reviewing the literature and expert opinions. The factors of the conceptual model were judged by the experts so that they can be weighted. A pairwise comparison was performed on the factors and the best-worst model was formed for each cluster of dimensions, criteria and indices. The weight of the factors and consistency rate were specified by implementing the model. Finally, the weight of the factors and the priority of each one were determined.
Findings: Seventy indices were identified based on analysis of the literature, which were grouped into 6 clusters of criteria and 4 dimensions. After getting the expert opinions and performing fuzzy screening, 54 extracted indices were obtained and grouped into 6 clusters of criteria and 4 dimensions and provided in a conceptual model. The results of weighting the factors showed that the research dimension with the weight of 0.491 and quality science production with the weight of 0.427 had the top priority among the dimensions and criteria.
Conclustion: Weighing was performed for the indices of each criterion and the priorities were determined and the operational model was designed for the scientific ranking of the educational departments of humanities. The multidimensional model can be effective in improving the decision making of the educational departments and universities.

Keywords

References

اسداللهی، زهره. (1387). رتبه‌بندی گروه‌های علوم انسانی دانشگاه شهید باهنر کرمان. پایان‌نامه منتشر نشده‌ی کارشناسی ارشد. دانشگاه شهید باهنر کرمان، دانشکده ادبیات و علوم انسانی.
بالویی‌جام‌خانه، هادی؛ کتابی، سعیده؛ و پورمصطفی‌خشکرودی، مهدی. (1392). ارزیابی عملکرد و رتبه‌بندی گروه‌های آموزشی دانشگاه‌ها با استفاده از روش تحلیل پوششی داده‌ها: بررسی موردی یکی از دانشگاه‌های دولتی ایران. فصلنامه انجمن آموزش عالی ایران. 5(2)، 133-161.
پاک‌زاد، مهدی؛ خالدی، آرمان؛ و تیموری، مهتاب. (1391). بررسی تطبیقی نظام‌های بین‌المللی رتبه‌بندی دانشگاه‌ها و مراکز آموزش عالی. رهیافت، 50، 71-94.
حاجی­کریمی، بابک. (1395). رتبه­بندی گروه­های آموزشی دانشگاه آزاد اسلامی ابهر با استفاده از روش­های تصمیم­گیری چندشاخصه. فصلنامه علوم رفتاری، 47-68.
حبیبی، آرش؛ ایزدیار، صدیقه؛ و سرافرازی، اعظم. (1393). تصمیم‌گیری چندمعیاره فازی، انتشارات کتیبه گیل.
رضایی، علی­محمد. (1389). بررسی شاخص­های ارزشیابی عملکرد گروه­ها و دانشکده­های علوم انسانی به منظور تدوین یک مدل ساختاری، پایان­نامه منتشر نشده دکتری، دانشگاه علامه طباطبایی.
رضایی، مینا. (1391). شناسایی و اعتبارسنجی شاخص­های ارزیابی بهره­وری پژوهشی پژوهشگران و دانشگاه­های کشور. پایان­نامه منتشر نشده کارشناسی ارشد، دانشگاه شاهد، گروه کتابداری و اطلاع­رسانی. 
رنجبر، هادی؛ حق‌دوست، علی‌اکبر؛ صلصالی، مهوش؛ خوشدل، علیرضا؛ سلیمانی، محمدعلی؛ و بهرامی، نسیم. (1391). نمونه‌گیری در پژوهش‌های کیفی: راهنمایی برای شروع. مجله علوم پزشکی ارتش جمهوری اسلامی ایران، 10(3)، 238-250.
زارع‌بنادکوکی، محمدرضا؛ وحدت‌زاد، محمدعلی؛ اولیاء، محمدصالح؛ و لطفی، محمدمهدی. (1395). بررسی و استخراج معیارهای مؤثر بر رتبه‌بندی دانشگاه‌های ایران از منظر اسناد فرادستی. سیاست علم و فناوری، 8 (3)، 55-87.
زارع‌بنادکوکی، محمدرضا؛ وحدت‌زاد، محمدعلی؛ اولیاء، محمدصالح؛ و لطفی، محمدمهدی. (1395). رتبه‌بندی دانشگاه‌های ایران بر اساس بروندادهای علمی موضوعات مهندسی. فصلنامه آموزشی مهندسی ایران. 18 (72)، 95- 118.
صفری­فارفار، رحیم؛ ابوالقاسمی، مسعود؛ فراستخواه، مقصود؛  و نوه­ابراهیم، عبدالرحیم. (1397). طراحی چهارچوب مفهومی برای رتبه­بندی گروه­های آموزشی دانشگاه­های دولتی ایران. فصلنامه مطالعات اندازه­گیری و ارزیابی آموزش، 8(21)، 191-225.
عباس‌زاده، محمد. (1391). تأملی بر اعتبار و پایایی در تحقیقات کیفی. جامعه‌شناسی کاربردی، 23 (45)، 19-34.
عصاره، فریده؛ و عفیفیان، فرزانه. (1396). نقدی بر آیین­نامه ارتقاء اعضاء هیأت علمی دانشگاه­ها و مؤسسات آموزشی کشور. فصلنامه نقد کتاب، اطلاع­رسانی و ارتباطات، 15، 213-223.
عنایتی، محمدحسین. (1396). ارائه الگوی رتبه­بندی پژوهشی دانشگاه­های جهان. پایان­نامه منتشر نشده کارشناسی ارشد، دانشگاه علم و صنعت ایران، دانشکده مهندسی صنایع.
قضاوی، رقیه. (1392). اعتبارسنجی، نرمال­سازی و ارزشگذاری شاخص­های ارزیابی پژوهش در حوزه­های مختلف علوم در ایران، با تأکید بر تفاوت­های بین رشته­ها. پایان نامه منتشر نشده کارشناسی ارشد، دانشگاه شاهد، دانشکده علوم انسانی، گروه علم اطلاعات و دانش­شناسی.
نادری، ابوالقاسم. (1394). تاریخ تولید آموزش عالی: کاربردها، چالش­ها و چشم­اندازها. فصلنامه پژوهش و برنامه­ریزی در آموزش عالی، 21(3)، 1-29.
نورمحمدی، حمزه‌علی؛ و صفری، فاطمه. (1392). معرفی نظام‌های رتبه‌بندی جهانی دانشگاه‌ها و بررسی شاخص‌های این نظام. سیاست علم و فناوری، 2 (3)، 71-86 .
نوروزی­چاکلی، عبدالرضا؛ قضاوی، رقیه؛ و طاهری، بهجت. (1394). ارزش­گذاری شاخص­های ارزیابی پژوهش در حوزه­های مختلف علوم در ایران. سیاست علم و فناوری، 28. 31-40.
Alasehir, O. (2010). University ranking by academic performance: A scientometrics study for rankings world universities. (Unpublished doctoral dissertation), school of informatics of the Middle East Technical University.
Alma, B., Coskum, E., & Ovendive, li. E. (2016). University ranking systems and proposal of a theorical framework for ranking of Turkish universities: A case of management depaetments, 235, 128-138.
Altanopoulou, P., Dontsidou, M., & Tselios, N. (2012). Evaluation of ninety-three major Greek university departments using Google scholar. Quality in Higher Education, 18 (1) , 111-137.
Anderson, D. L., & Tressler, J. (2011). Ranking economics departments in terms of residual productivity: Newzeland economics departments, 2000-2006. Australian Economic Papers, 157-168.
Bonaccorci, A. , & Cicero, T. (2016). Nondeterministic ranking of university departments. Journal of Informetrics, 10, 224-237.
Chatzimichael, K., Kalaitzidakis, P., & Tzouvelekas, V. (2017). Measuring the publishing productivity of economics separtments in Europe. Scientometrics, 113(2), 889-908.
Hirsh.J.E, (2005). An -Index to quantify an individuals scientific research output. Proceedings of the National Academy of sciences, USA, 102 (46). 16569-72.
Jeremic.V., Bulajic. M., Martic. M & Radojicic. Z. (2011). A fresh approach to evaluating the academic ranking of world universities. Scientometrics, 84, 587-596.
Johnson, R.B., & Onwuegbuzie, A.J (2004). Mixed Methods Research: A research paradigm whose time has come. Educational   Researcher, 33(7), 14-26.
Lazaridis, Th. (2010). Ranking university departments using the mean h-index. Scientometrics, 82, 211-216.
 Martínez-Noya, A., & García-Canal, E.( 2011). Technological capabilities and the decision to outsource/outsource offshore R&D services. International Business Review, 20(3), 264-277.
Meyers, M.A.,  & Quan, H., (2017). The use of the h-index to evaluate and rank academic departments. Journal of Materials Research and Technology, 6(4), 304-311.
Miroiu, A., Paunescu, M., & Vliu, G. A. (2015). Ranking Romanian academic departments in three fields of study using the g-index. Quality in Higher Education, 21 (2) , 189-212.
Mobasheri, M., Moradi, M., Rafie, S., & Sharifi, A., (2013). Scientific output  of shahrekord university of medical science (Iran) in ISI database from 1993 to the end of 2011 acording to scientometric indicators, Journal of Shahrekord University of Medical Science, 14(9), 115-123.
Moed, H. F. (2008). UK research assessment exercises: informed judgments on research quality or quantity?. Scientometrics, 74 (1) , 153-161.
Ranjan, R., Chatterjee, P., & Chakraborty, Sh. (2014). Evaluating performance of engineering departments in an Indian university using DEMATEL and compromise ranking methods. OPSEARCH.
Rezaei, J. (2015). Best-Worst multi criteria decision-making method: some properties and a linear model. Omega. 53, 49-57.
Rogers,D.W., Hendee, W.R., & Orton, C.G. (2006). Citation indices are useful in evaluating medical physicists for promotion and tenure. Medical Physics. 33(1), 1-3.
Stuart, D.L. (1995). Reputational rankings: background and development. New Directions for Institutional Research. 88, 13-20.
Vught, F & Ziegele, F. (2011). U-Multirank: design and testing the feasibility of a multi mensional global university ranking: final report. Consortium for Higher Education and Research Performance Assessment.

Files

Share

How to cite

Statistics