شناسایی و دسته بندی معیارهای ارزیابی بروندادهای علمی در زیست بوم نشر علمی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دکتری علم اطلاعات و دانش شناسی، پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک)، پژوهشکده علوم اطلاعات، تهران، ایران .

2 دکتری علم اطلاعات و دانش شناسی، استادیار پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک)، تهران، ایران.

3 دانشیار علوم تربیتی واحد یادگار امام خمینی (ره) شهرری، دانشگاه آزاد اسلامی، تهران، ایران.

چکیده

هدف: وجود یک سامانه ارزیابی علمی قدرتمند و قابل‌اطمینان، برای دریافت بازخورد دقیق و پیوسته از نتایج، پیامدها و آثار برون‌دادهای علمی، ضروری است. چنین نظامی از گوناگون، ارزش یک برون‌داد علمی را به تصویر می‌کشد. از این رو هدف اصلی پژوهش حاضر شناسایی و دسته‌بندی معیارهای ارزیابی برون‌دادهای علمی در حوزة زیست‌بوم نشر علمی با در نظر گرفتن متون، شبکه‌های نشر علمی و دیدگاه خبرگان نشر علمی است تا به طراحی نظام ارزیابی برون‌دادهای علمی کمک نماید.
روش‌شناسی: برای ارائه چارچوب مفهومی از شاخص‌های ارزیابی در زیست‌بوم نشر علمی از روش آمیخته و رویکرد سه‌سویه‌سازی استفاده شده‌است. ابتدا معیارهای استفاده شده در حوزة نشر علمی با به‌کارگیری مرور نظام‌مند از 331 منبع استخراج شد. سپس برای تعیین اعتبار معیارهای استخراج‌شده و تکمیل چارچوب اولیه، معیارهای شناسایی‌شده در 12 پایگاه علمی مورد بررسی قرارگرفت و در پایان به تأیید 30 نفر از خبرگان داخلی و خارجی رسید.
یافته‌ها: روی‌هم‌رفته 331 مدرک برای مطالعات مرور نظام‌مند معیارهای ارزیابی در زیست‌بوم نشر علمی مورد تأیید قرارگرفت. داده‌های استخراج‌شده از مرور نظام‌مند در حوزة ارزیابی در 3 گروه دسته‌بندی شد و شامل شکل، نوع و قالب ارزیابی است. براساس دو مطالعه دیگر، شاخص جدیدی به معیارهای شناسایی‌شده اضافه نشد؛ اما یافته‌ها نشان از تأکید و توجه متخصصان به نوع خاصی از شاخص‌های شناسایی‌شده در حوزة ارزیابی برون‌دادهای علمی داشت.
نتیجه‌گیری: درمجموع 3 شاخص اصلی و 9 شاخص فرعی برای ارزیابی زیست‌بوم نشر علمی شناسایی شد. در شکل ارزیابی، 4 شاخص فرعی (ارزیابی‌های محتوایی، باز، دگرسنجی و کتاب‌شناختی) در نوع ارزیابی، 3 شاخص فرعی (ارزیابی کمی، ارزیابی کیفی، ارزیابی آمیخته) و در قالب ارزیابی، 2 شاخص فرعی (ارزیابی فنی و غیر فنی) شناسایی‌شد. همچنین، نتایج نشان از هم‌راستایی هر سه مطالعه (مرور نظام‌مند، مشاهده شبکه‌های نشر علمی و نظرسنجی از خبرگان) دارد. هرچند در هر یک از سه مطالعه، بر شاخص‌های خاصی از مؤلفه ارزیابی تأکید دارند. خروجی هر سه مطالعه نشان‌می‌دهد، آنچه در ارزیابی زیست‌بوم نشر علمی در اولویت است شکل و نوع ارزیابی است. در قالب ارزیابی نیز بیشتر بر روش‌های معمول و شناخته‌شده تأکید شده است. پژوهش حاضر می‌تواند الگوی مناسبی برای طراحی نظام ارزیابی برون‌دادهای علمی قرار گیرد.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Identifying and Categorizing the Indicators Used to Evaluate Scientific Outputs in the Scholarly Publication Ecosystem.

نویسندگان [English]

  • Afrooz Hamrahi 1
  • Roya Pournaghi 2
  • Dariush Matlabi 3
1 Ph.D. in Knowledge and Information Science, Iranian Research Institution for Information Science and Technology (Iran‌Doc), Tehran, Iran .
2 Ph.D. in Knowledge and Information Science; Assistant Professor; Iranian Research Institution for Information Science and Technology (Iran‌Doc), Tehran, Iran.
3 Associate professor. department of educational science, Yadegare Imam Khomeini (RAH) Shahre rey branch, Islamic Azad University, Tehran, Iran.
چکیده [English]

Purpose: Science and technology are the most critical infrastructures for the country's progress and essential tools for competition in various fields. Evaluation is at the core of all scientific efforts, which has become increasingly important with the proliferation of scientific publications. Evaluation is not a simple and transparent process; it is considered a delicate activity. The presence of multiple evaluation indicators to assess the value of scientific outputs in texts, databases, and scientific centers or publications has prompted a study of these three sources (texts, scientific networks, and experts) to establish integrated criteria for evaluating outputs in the scholarly publication ecosystem. Some scientific outputs, such as lectures, workshops, and scientific meetings, are often overlooked due to the absence of an integrated framework in the scholarly publication ecosystem. Additionally, only a few specific quantitative aspects, such as the impact factor, the number of citations, or the number of uses, are typically considered in the evaluation of scientific works. Moreover, evaluations are usually confined to a short timeframe. Identifying and categorizing these indicators within a framework can positively impact addressing these issues and establishing a continuous evaluation process for both pre and post-publication of scientific works. Therefore, the current research aims to identify comprehensive evaluation criteria in the scholarly publication ecosystem by taking into account texts, scholarly publication networks, and the perspectives of scientific publication experts.
Methodology: Results from all three methods indicate that there are three key indicators and nine sub-indicators crucial for evaluating research outcomes within the Scientific Publishing System. These indicators are predominantly categorized based on form, type, and format. The triangulation method has introduced a conceptual framework of evaluation indicators in the scholarly publication ecosystem. Initially, a systematic review was conducted to extract evaluation criteria from 331 sources. Subsequently, to validate the extracted criteria and finalize the initial framework, the identified criteria were scrutinized across 12 scientific databases, and ultimately, it was endorsed by 30 domestic and international scholarly publication experts. The purposive sampling method was employed in all three studies.
Findings: Research shows that the ecosystem of scientific publication consists of various components, including experts, scientific centers, information media, subject areas, information, and knowledge systems, which require different indicators and methods. The data extracted from the systematic review in the field of evaluation were classified into three groups: form, type, and format. Evaluation forms include content, open, altmetric, and bibliographic evaluations (creative and source evaluation). However, some experts distinguish between bibliometric evaluation indicators and scientometric and informatics evaluation indicators, and most experts in different subject areas define all three categories as bibliographic evaluations. In the evaluation form, creators include individuals and scientific organizations such as universities. Open evaluation can refer to judging an output not just by a jury of experts but rather by a jury of anyone interested in the output. In other words, open evaluations are an ongoing post-publication process of transparent peer evaluation. Multiple paper evaluation functions freely defined by individuals or groups provide various perspectives on the scientific literature. Multiple paper evaluation functions alongside more diverse research evaluation criteria beyond traditional methods are emerging, and with these come a range of practical, ethical, and social factors to consider. Altmetric evaluations are a set of methods based on the social web that measure and monitor the reach and impact of scholarly output through online interactions. Simply, altmetrics are metrics beyond traditional citations. This evaluating form measures cite, like, view, reuse, discussion, bookmark, etc. The types of evaluations include quantitative, qualitative, and mixed evaluations. The form of evaluation also includes technical evaluation and non-technical evaluation (researcher-made evaluation, discussion-based evaluation). Technical evaluations are indicators that follow predefined procedures or repetitive processes to reach the result, while experts define non-technical evaluations according to specific situations and conditions.
Conclusion: The results of all three methods indicate that there are three key indicators and nine sub-indicators crucial for evaluating scientific output within the scholarly publication ecosystem. These indicators are predominantly grouped based on form, type, and format. The findings demonstrate alignment among the three studies (systematic review, observation of scholarly publication networks, and survey of experts). However, each study has highlighted specific evaluation indicators. According to the systematic review, observation of scholarly publication networks, and expert opinions, the primary focus in evaluating the scholarly publication ecosystem is on the form and type of evaluation. There is a greater emphasis on common and well-established formats in the evaluation process. Furthermore, individual and organizational needs and objectives significantly influence the selection of evaluation indicators. Categorizing evaluation indicators will assist stakeholders in understanding the evaluation procedures of scholarly publication ecosystems and in choosing appropriate evaluation methods.

کلیدواژه‌ها [English]

  • Scholarly Evaluation
  • Evaluation Indicators
  • Scholarly Publication Ecosystem
  • Scientific Publication
  • Triangulation

مراجع

آرمند، م.، همت، م.، رحمانی، م.، فهیمی‌فر، س.، بهروزی، ط.، فرزانه، حقیقی، ع.، و زرقانی، م. (1400). شناسایی و اولویت‌بندی ملاک‌های ارزیابی کتب چاپی در حوزه علوم‌پزشکی. پژوهش و نگارش کتب دانشگاهی، 25(49)، 271-237. https://doi.org/10.30487/rwab.2021.533853.1462
آزادی احمدآبادی، ق. (1399). واکاوی نقش نهادهای ارزیابی علم، فناوری نوآوری کشور و پیشنهاد نظام جامع پایش و ارزیابی. رهیافت. 30(77)، 125-140 . https://doi.org /10.22034/rahyaft.2020.13823
آزادی احمدآبادی، ق. (1401). تحلیل و ارزیابی رشد کمّی و کیفی برون‌دادهای علمی جمهوری اسلامی ایران. پژوهش‌نامه علم‌سنجی، 8(2)‌، 265-286.         https://doi.org /10.22070/rsci.2022.15445.1546
ابراهیمی درچه، الف، منصوری، ع.، پشوتنی زاده، م.، میرباقری فرد، ع.، و شعبانی، الف. (1402). سیاست‌ها و معیارهای ارزیابی بروندادهای علمی علوم انسانی از دیدگاه متخصصان: مطالعه موردی رشته‌های زبان و ادبیات. پژوهشنامه پردازش و مدیریت اطلاعات، 39(1)، 63-100. https://jipm.irandoc.ac.ir/article_705519.html?lang=en
احمدی، ع. (1398). بررسی رفتار ارزیابان در نمره دهی مهارت گفتاری در زبان دوم: استفاده از بحث گروهی به‌عنوان ابزار پرورش ارزیاب. مسائل آموزش زبان انگلیسی، 8(1)، 195-224. https://doi.org/10.22054/ilt.2020.49511.461
بازرگان، ع. (1380). ارزشیابی آموزشی: مفاهیم، الگوها و فرایند عملیاتی. تهران: سمت.
بهاری فر، ع.، و دانایی‌فرد ح .(1385). توسعه نظریه‌ها در علم الاجتماع: ضرورت تدوین معیارهای ارزیابی تولید علم نظری. مدرس علوم انسانی، 10((پیاپی 46) ویژه نامه مدیریت)، 83-102. https://sid.ir/paper/7019/fa
پورعباس، الف، سیدنظری، ن.، نادرفام، ش.، حضرتی، ح.، تقی زادیه، ع.، و فخاری، ع. (1401). شناسایی معیارهای انتخاب استاد نمونه در آموزش پزشکی: یک مطالعه کیفی. تصویر سلامت، 13(3)، 286259-259286.https://doi.org/10.34172/doh.2022.34
جنوی، الف.، مرادی، ش.، و پاکزاد، م. (1399). ارزیابی وضعیت انتشارات علمی ایران بر مبنای نقشه جامع علمی کشور. پژوهش‌نامه علم‌سنجی، 6(11)، 213-236. https://doi.org/10.22070/rsci.2019.4529.1300
حکیمی، ه. (1400). بررسی وضعیت درگاه‌های وب مراکز تحقیقات و آموزش کشاورزی کشور از منظر معیارهای وب‌سنجی فائو. مطالعات کتابداری و علم اطلاعات، 13(2)، 27-45. https://doi.org/10.22055/slis.2019.29173.1586
خراسانی، م.، سلامی، م.، سهیلی، ف.، و دلقندی، ف.(1400). معیارهای شایستگی شغلی متخصصان علم‌سنجی: مصاحبه با اعضای هیئت‌علمی و صاحبان شغل. پژوهش‌نامه علم سنجی، 9(1)، (بهار و تابستان)، 189-210. https://doi.org/10.22070/rsci.2021.13890.1478
خیاطیان یزدی، م.، فرتاش، ک.، و پورعسگری، پ. (1399). ارائه چارچوبی برای پایش و ارزیابی نظام ملی علم، فناوری و نوآوری ایران. راهبرد فرهنگ، 13(49 )، 119-154. https://doi.org/10.22034/jsfc.2020.109868
داورپناه، م. (1389). شاخص توان علمی: الگویی برای سنجش و مقایسه باروری علمی رشته‌ها. کتابداری و اطلاع‌رسانی، 13(3)، 29-9. https://lis.aqr-libjournal.ir/article_43509.html
دباغ، ر،. و عزیز پور، پ .(1399). ارزیابی و رتبه‌بندی معیارهای انتخاب استاد راهنما با روش‌های تصمیم‌گیری چندمعیاره؛ مطالعه موردی دانشگاه صنعتی ارومیه. فصلنامه آموزش مهندسی ایران، 22(86)، 39-53. https://doi.org/10.22047/ijee.2020.207488.1695
سلطانی، م.، الهی، م.، فضلی، ص.، و رشیدی، م. (1392). ارائه چارچوب جامع ارزیابی عملکرد موسسةپژوهشی با تأکید بر مدیریت منابع انسانی. مطالعات راهبردی در صنعت نفت و انرژی، 18(5)، 165-194. http://iieshrm.ir/article-1-419-fa.html 
شجاعی، م.، فاتح‌راد، م.، و طباطبائیان، ح. (1393). طرحی برای نظام ارزیابی سیاست‌های علم، فناوری و نوآوری. رهیافت.24(57)، 1-15. https://rahyaft.nrisp.ac.ir/article_13556.html
شریعت، الف.، قنبری، ر.، سیادتی، م.، و صدیق، س. (1399). استخراج و تدوین معیارهای ارزیابی شرکت‌های کوچک و متوسط مستقر در مراکز رشد فناوری براساس مدل BSC. رشد فناوری، 17(65 )، 35-45.   https://doi.org/10.52547/jstpi.20894.17.65.35
شفیعی، م. (1400). ارزیابی عملکرد پارک‌های علم و فناوری با رویکرد مدل شایستگی سازمانی. فصلنامه زیست بوم نوآوری، 1(2)، 221-122. https://doi.org/ 10.22111/innoeco.2020.35396.1005
شهلائی، ن. (1395). ابعاد و شاخص‌های ارزیابی قابلیت‌های علم و فناوری در سازمان‌های نظامی ج. ا. ایران. راهبرد دفاعی، 14(2), 271-127. https://ds.sndu.ac.ir/article_233.html
عمرانی، الف. (1386). مروری بر شاخص‌های ارزشیابی برون‌دادهای پژوهشی. فصلنامه کتاب، 71(18)، 157-176. https://sid.ir/paper/500021/fa
غائبی، الف، تاجداران، م.، و فهیمی‌فر، س. (1401). معیارهای ارزیابی کتاب‌های الکترونیکی: سیاهة پیشنهادی. پژوهشنامه پردازش و مدیریت اطلاعات، 25(4)، 721-743. https://jipm.irandoc.ac.ir/article_699033.html
فراستخواه، م. (1387). بررسی وضع موجود و مطلوب ارزیابی نظام علمی در ایران با تأکید بر بخش آموزش‌عالی. سیاست علم و فناوری، 1(2)، 43-58. https://jstp.nrisp.ac.ir/article_12749.html
قنادی نژاد، ف.، و حیدری، غ. (1399). روش‌ها و شاخص‌های ارزیابی تولیدات علمی در علوم انسانی و اجتماعی: مرور نظام‌مند. پژوهش‌نامه‌علم‌سنجی، 6(2(پیاپی 12))، 203-230. https://doi.org/10.22070/rsci.2020.4998.1341
کرامت فر، ع.، نوروزی چاکلی، ع.، و اسپرایین، ف.(1394) کمیت یا کیفیت؟ ارزیابی تطبیقی تولید علم ایران، ترکیه و مالزی طی سال‌های 1996-2013. دو فصلنامه علم‌سنجی کاسپین، 2(1)، 33 – 38. https://doi.org/10.22088/acadpub.BUMS.2.1.33
کرامت فر، ع.، و رفیعی خشنود، م. (.1395). ارزیابی بروندادهای علمی پژوهشگاه رویان. نشریه علم سنجی کاسپین، 3(1)، 44-36. https://doi.org/10.22088/acadpub.BUMS.3.1.36
محمدبیگی، الف، محمدصالحی، ن.، و علی گل، م.(1393). روایی و پایایی ابزارها و روش‌های مختلف اندازه‌گیری آنها در پژوهش‌های کاربردی در سلامت. مجله دانشگاه علوم پزشکی رفسنجان. ۱۳ (۱۲)، ۱۱۵۳-۱۱۷۰. http://journal.rums.ac.ir/article-1-2274-fa.html
مدنی بروجنی، الف.، و نصر، الف. (1388). سه‌سوسازی: راهبردی برای نوآوری در پژوهش‌های آموزشی. نوآوری‌های آموزشی، 8(30)، 53-73. https://noavaryedu.oerp.ir/article_135687.html
معین، م. (1389). فرهنگ معین. تهران: زرین. 1816 ص.
نامداریان، ل.، و کلانتری، ن. (1399). تحلیل تماتیک شاخص‌های علم، فناوری و نوآوری کشورهای منطقه سند چشم‌انداز 1404. رهیافت، 30(77). 54-70 . https://doi.org/10.22034/rahyaft.2020.13819
نوروزی چاکلی، ع. (‌1399). سخن سردبیر: تنوع حوزه‌های موضوعی و مسئله دیرینه ارزیابی و ارتقا اعضای هیئت‌علمی علوم انسانی و هنر. پژوهش‌نامه علم‌سنجی، 6(12)، 1-3. https://doi.org/10.22070/rsci.2020.1237
نوروزی چاکلی، ع.، و راه‌جو، الف. (1401). شناسایی و اعتبارسنجی شاخص‌های ارزیابی کیفیت نمایه‌های تخصصی در حوزه‌های موضوعی علوم پایه، مهندسی، کشاورزی، علوم انسانی، علوم پزشکی و هنر. پژوهشنامه پردازش و مدیریت اطلاعات، 29(4)، 1037-1068. https://doi.org/10.35050/JIPM010.2014.017
نوروزی‌چاکلی، ع.، و صمدی، ل.(1389). ارزیابی تطبیقی معیارهای ارزیابی مجله‌ها در پایگاه گزارش استنادی مجله‌های مرکز منطقه منطقه‌ای اطلاع‌رسانی علوم و فناوری و پایگاه اطلاعات علمی جهاد دانشگاهی. کتابداری و اطلاع‌رسانی، 50(1)، 6033-3360. https://lis.aqr-libjournal.ir/article_43527.html
نیکخواه، م.، شریف، م.، و طالبی، ه.(1390). بررسی وضعیت موجود و ممکن کاربرد شاخص‌های ارزشیابی از دروندادهای برنامه درسی دوره تحصیلات تکمیلی دانشگاه‌های اصفهان، صنعتی اصفهان و شهرکرد. رویکردهای نوین آموزشی،6(1)، 10275-75102. https://nea.ui.ac.ir/article_19062.html
وثوق، ف.، احمدی، غ.، حسن مرادی، ن.، و محمدداوودی، الف. (1401). شناسایی ابعاد، مؤلفه‌ها و شاخص‌های بومی ارزیابی عملکرد پژوهش در دانشگاه‌های جامع) مطالعه موردی: دانشگاه‌های آزاد اسلامی شهر تهران. مدیریت و برنامه‌ریزی در نظام‌های آموزشی. 14 (26)‌، 13-42. https://doi.org/10.52547/MPES.14.1.13
همراهی، الف. (1401). طراحی مدل مفهومی نظام ملی نشر علمی [رساله دکتری منتشر نشده]. پژوهشگاه علوم و فناوری اطلاعات ایران. (ایرانداک). https://ganj.irandoc.ac.ir/#/articles/3f20c2850dc7969ca5540428501b8e8d
یعقوبی، ن.، و شکوهی، ج.(1401). ارائه چارچوبی به‌منظور ارزیابی مستمر اثربخشی سیستم‌های اطلاعاتی در سازمان‌های دفاعی با رویکرد فازی. پژوهشنامه پردازش و مدیریت اطلاعات، 30(4)، 1173-1196. https://doi.org/10.35050/JIPM010.2015.024
 
Ahmadi, A. (2019). A Study of Raters' Behavior in Scoring L2 Speaking Performance: Using Rater Discussion as a Training Tool. Issues in Language Teaching, 8(1), 195-224. https://doi.org/‌10.22054/ilt.2020.49511.461 [In Persian].
Alterman, R., Carmon, N., & Hill, M. (1984). Integrated evaluation: A synthesis of approaches to the evaluation of broad-aim social programs. Socio-Economic Planning Sciences, 18(6), 381-389. https://doi.org/10.1016/0038-0121(84)90047-8
Angelova-Stanimirova, A. (2023). Critical criteria for evaluation of scientific research activity in Science Direct. Knowledge – International Journal, 58(1), 171-177‌. https://www.researchgate.net/publication/371694977
Armand, M., Hemmat, M., Rahmani, M., Fahimifar, S., Behrozi, Talebhaghighi, F., & Zarghani, M. (2022). Identifying and prioritizing the criteria for evaluating printed books in the field of medical sciences. University Textbooks; Research and Writting, 25(49), 237-271. https://doi.org/10.30487/rwab.2021.533853.1462 [In Persian].
Assante, M., Candela, L., Castelli, D., Manghi, P., Pagano, P., & Nazionale, C. (2015). Science 2.0 repositories: time for a change in scholarly communication. D-Lib Magazine, 21(1/2), 1-14. https://doi.org/10.1045/january2015-assante
Azadi Ahmadabadi, G. (2020). Analyze the role of the country's science, technology and innovation assessment bodies and propose a comprehensive monitoring and evaluation system. Rahyaft, 30(77), 125-140. https://doi.org/10.22034/rahyaft.2020.13823 [In Persian].
Azadi Ahmadabadi, G. (2021). Study and Evaluation of Quantitative and Qualitative Growth of Scientific Outputs of the Islamic Republic of Iran. Scientometrics Research Journal. 8(2), 265-286. https://doi.org/10.22070/RSCI.2022.15445.1546 [In Persian].
Baharifar, a., & Danaeifard, h. (2006). Theory development in social science: evaluation criteria for theoretical science. Modarres human sciences, 10((46) management), 83-102. Https://sid.ir/paper/7019/en. [In Persian].
Bazargan, A. (2001). Educational evaluation: Educational evaluation: concepts, models and operational process. Tehran: Samt. [In Persian].
Bittner, H. (2019). Evaluating the Evaluator. New York: Routledge, http://dx.doi.org/10.4324/9780367815882-6
Bondi, J., & Bondi, J. (2003). Curriculum development: a guide to practice (3th Edition). Columbus, OH: Merrill Publishing Company.
Brankovic, J. (2023). Worlds of Rankings Research. In The Routledge International Handbook of Valuation and SocietyPublisher: Routlege.
Chandler, J., Cumpston, M., Thomas, J., Higgins, J. P. T., Deeks, J. J., & Clarke, M. J. (2019). Chapter I: introduction. Cochrane handbook for systematic reviews of interventions version, 5(0), 3-8.
Correia, A.M.R., & Teixeira. J.C. (2005). Reforming scholarly publishing and knowledge communication: From the advent of the scholarly journal to the challenges of open access. Online information review. 29 (4), pp.349-364. https://doi.org/10.1108/14684520510617802
Creswell, J. W. (2009) Research design: Qualitative, quantitative, and mixed methods approaches. London: Sage.
Dabbagh, R., & azizpoor, p. (2020). Evaluating and ranking the criteria of choosing a supervisor with multi-criteria decision-making techniques "a case study of Urmia University of technology". Iranian journal of engineering education, 22(86), 39-53. https://doi.org/10.22047/ijee.2020.207488.1695 [In Persian].
Davarpanah, M. R. (2010). A scientometric model for the assessment of strength and weakness of scientific disciplines. Library and Information Sciences, 13(3), 9-29. https://lis.aqr-libjournal.ir/article_43509.html [In Persian].
Ebrahimi Dorcheh, E., Mansouri, A., Pashootanizadeh, M., Mirbagheri fard, A., & Shabani, A. (2023). Evaluation policies and criteria of humanities scientific outputs from experts' point of view: a case study of language and literature fields. Iranian Journal of Information Processing and Management, 39(1), 63-100. https://jipm.irandoc.ac.ir/article_705519.html?lang=en [In Persian].
Emrani, E. (2007). An overview of evaluation indicators of research outputs. Book Quarterly, 71(18), Issue 3, 157-176. https://sid.ir/paper/500021/fa [In Persian].
Farasatkhah, M. (2008). A study of the existing and the desired state of the "scientific evaluation system" in Iran; emphasizing the higher education sector. Journal of science and technology policy, 1(2), 43-58. Https://sid.ir/paper/133069/en [In Persian].
Ghaebi, A., Tajdaran, M., & Fahimifar, S. (2022). The evaluation criteria of Persian academic e-books: Master Studentsâ attitude at Alzahra University. Iranian Journal of Information Processing and Management, 27(1), 371-397. https://jipm.irandoc.ac.ir/article_699033.html [In Persian].
Ghanadinezhad, F., & Heidari, G. (2021). Methods and Indicators for the Evaluation of Scientific Production in the Humanities and Social Sciences: A Systematic Review. Scientometrics Research Journal, 6(2 (12)), 203-230. https://doi.org/10.22070/rsci.2020.4998.1341 [In Persian].
Gradinarov, P. (2000). An emerging system for scholarly E-publishing: how to make the cake without breaking the E-community eggs. Exploit Interactive، 7. https://thecraft.icaap.org/content/2000/gradinarov/emerge.html
Hakimi, H. (2021). An altmetric evaluation of the researchers' scientific activities in Agricultural Research, Education and Extension Organization, Iran. Journal of Studies in Library and Information Science, 13(2), 27-45. https://doi.org/10.22055/slis.2021.37785.1845 [In Persian].
Halevi, G., Moed, H., & Bar-Ilan, J. (2017). Suitability of Google Scholar as a source of scientific information and as a source of data for scientific evaluation—Review of the literature. Journal of informetrics, 11(3), 823-834. https://doi.org/10.1016/j.joi.2017.06.005
Hamrahi, A. (2022). Designing a Conceptual Model for the National Scholarly Publication System [Unpublished PhD Thesis]. Iranian Research Institute for Information Science and Technology (IranDoc). https://ganj.irandoc.ac.ir/#/articles/3f20c2850dc7969ca5540428501b8e8d [In Persian].
Harley, D. (2013). Scholarly communication: cultural contexts, evolving models. Science, 342(6154), 80-82. https://doi.org/10.1126/science.1243622
Hartgerink, C. H., & Zelst, M. V. (2018). "As-You-Go" Instead of "After-the-Fact": A Network approach to scholarly communication and evaluation. Publications, 6(2), 21 https://doi.org/10.3390/publications6020021
Higgins, J.P.T., Thomas J., Chandler J., Cumpston, M., Li, T., Page M.J., Welch V.A. (editors). (2023). Cochrane Handbook for Systematic Reviews of Interventions version 6.4 Cochrane www.training.cochrane.org/handbook
Hook, D. W., Porter, S. J., & Herzog, C. (2018). Dimensions: building context for search and evaluation. Frontiers in Research Metrics and Analytics, 3, 23. https://doi.org/10.3389/frma.2018.00023
Huang, Y., Li, R., Zhang, L., & Sivertsen, G. (2021). A comprehensive analysis of the journal evaluation system in China. Quantitative Science Studies, 2(1), 300-326. https://doi.org/10.1162/qss_a_00103
Ibrahim, N., Habacha Chaibi, A., & Ben Ghézala, H. (2022). Comparative study of science evaluation practices. VINE Journal of Information and Knowledge Management Systems. https://doi.org/10.1108/VJIKMS-12-2021-0293
Jackson, R. (2005). Curriculum access for students with low-incidence disabilities: The promise of universal design for learning. Wakefield, MA: National Center on Accessing the General Curriculum. Retrieved, 3(15), 09. https://sde.ok.gov/sites/ok.gov.sde/files/LowIncidence.pdf
Janavi, E., Moradi, S., & Pakzad, M. (2020). Assessment of Iran's scientific publications based on National Master Plan for Science and Education. Scientometrics Research Journal, 6((Issue 1, spring & summer)), 213-236. http://doi.org/10.22070/rsci.2019.4529.1300 [In Persian].
Jayasundara, C. C. (2020). Beware the Tyranny, Resulted by Impact Factor Mania among the Scientists: A Critical Review. Journal of the University of Ruhuna. 8 (1), 1-17. http://doi.org/10.4038/jur.v8i1.7960
 Johannisson, J. (2015). Open Access scholarly publishing on the competitive market: university management as obstacle and enabler. Culture Unbound, 7(4), 610-617. http://www.cultureunbound.ep.liu.se
Keramatfar, A., Noroozi Chakoli, A., & Esparaein, F. (2015). Quantity or Quality? Comparative assessment of the science production of Iran, Turkey and Malaysia during 1996-2013. Caspian Journal of Scientometrics. 2(1), 33-38. https://doi.org/ 10.22088/acadpub.BUMS.2.1.33 [In Persian].
Keramatfar, A., & Rafiee Khoshnood, M. (2016). Evaluation of scientific outputs of royan institute. Caspian Journal of Scientometrics, 3(1), 36-44. https://doi.org/10.22088/acadpub.BUMS.3.1.36 [In Persian].
Khayyatian Yazdi, M. S., Fartash, K., & Pourasgari, P. (2020). Development of a Framework for Monitoring and Evaluation of Iran's National System of Science, Technology and Innovation. Strategy for Culture, 13(49), 119-154. https://doi.org/10.22034/jsfc.2020.109868 [In Persian].
Khorasani, M., Salami, M., Soheili, F., & Delghandi, F. (2023). Job Competency Criteria for scientometrics specialists: Interviews with Faculty Members and Job Owners. Scientometrics Research Journal, 9(1), 189-210. https://doi.org/10.22070/rsci.2021.13890.1478 [In Persian].
Kim, S., & Oh, S. G. (2019). Extracting and applying evaluation criteria for ontology quality assessment. Library Hi Tech, 37(3), 338-354. https://doi.org/10.1108/LHT-01-2019-0012
Kreiman, G., & Maunsell, J. H. (2011). Nine criteria for a measure of scientific output. Frontiers in computational neuroscience, 5, 48. https://doi.org/10.3389/fncom.2011.00048
Kriegeskorte, N., Walther, A., & Deca D. (2012). An emerging consensus for open evaluation: 18 visions for the future of scientific publishing. Frontiers in computational neuroscience, 6, p.94. https://doi.org/10.3389/fncom.2012.00094
Krishna, D., Mohan, S. R., Murthy, B. S. N., & Rao, A. R. (2002). Performance evaluation of public research institutes using principal component analysis. Journ al of Scientific & Industrial Research, 61, 940-947. http://nopr.niscpr.res.in/handle/123456789/17729
Lamanauskas, V. (2011). The evaluation strategies of integrated science teaching and learning. Problems of Education in the 21st Century‌, 31‌, 5-6. http://www.scientiasocialis.lt/pec/node/556
Madani Boroujeni, S.A., & Nasr, A.R. (2009). Triangulation: a strategy for innovating in educational researches. Journal of educational innovations, 8(30), 53-73. https://noavaryedu.oerp.ir/article_135687.html [In Persian].
Mangiafico, P., & Smith, K. L. (2014). Reason, risk, and reward: models for libraries and other stakeholders in an evolving scholarly publishing ecosystem. Cultural anthropology, 29(2), 216-235. https://doi.org/10.14506/ca29.2.03
Martín-Martín, A., Orduna-Malea, E., Thelwall, M., & López-Cózar E. D. (2018) Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of informetrics, 12(4), 1160-1177. https://doi.org/10.1016/j.joi.2018.09.002
McGuire, H., Anthony, B., Hyde, Z. W., Ashok, A., Bjarnason, B., & Mays, E. (2018). The Scholarly Publishing Ecosystem. An Open Approach to Scholarly Reading and Knowledge Management. Rebus Community. https://press.rebus.community/scholarlyreading/chapter/the-scholarly-publishing-ecosystem/
Mejia, C., Wu, M., Zhang, Y., & Kajikawa, Y. (2021). Exploring topics in bibliometric research through citation networks and semantic analysis. Frontiers in Research Metrics and Analytics, 6. 742311https://doi.org/10.3389/frma.2021.742311
Mohammadbeigi, A., Mohammadsalehi, N., & Aligol, M. (2015). Validity and Reliability of the Instruments and Types of MeasurmentS in Health Applied Researches. JRUMS, 13 (12),1153-1170. http://journal.rums.ac.ir/article-1-2274-fa.html [In Persian].
Moin, M. (2010). A Persian dictionary. Tehran: Zarin. [In Persian].
Mustafa, G., Rauf, A., Ahmed, B., Afzal, M. T., Akhunzada, A., & Alharthi, S. Z. (2023). Comprehensive evaluation of publication and citation metrics for quantifying scholarly influence. IEEE, v. 11, 65759-65774. https://doi.org/10.1109/ACCESS.2023.3290917
Namdarian, L., & Kalantari, N. (2020). Thematic Analysis of the Evaluation Indicators for Science, Technology, and Innovation of Countries in Iran’s Vision 1404 Document. Rahyaft, 30(77), 45-70. 742311. https://doi.org/10.22034/rahyaft.2020.13819 [In Persian].
Neely, A., Gregory, M., & Platts, K. (2005). Performance measurement system design: A literature review and research agenda. International journal of operations & production management, 25(12), 1228-1263. https://doi.org/10.1108/01443570510633639
Nefedov, S. T. (2019). Towards evaluation in scientific reviews (based on German linguistics).
Nelly, A. (2005). The evolution of performance measurement research. International Journal of Operation & Production Management, 25(12), 1267-1277. https://doi.org/10.17516/1997–1370–0494
Nikkhah, M., Sharif, M., & Talebi, H. (2011). A study of the present and possible situations of the application of evaluation indicators of curriculum inputs at the postgraduate level at Isfahan, Shahrekord and Isfahan Industrial universities. New Educational Approaches, 6(1), 75-102. https://nea.ui.ac.ir/article_19062.html [In Persian].
Noroozi Chakoli, A., & Samadi, L. (2010). Comparative Evaluation of Journal Selection Criteria in Journal Citation Reports (PJCR) available at the Reginal Information center for Science and Technology (RICeST) and SID. Library and Information Science, 13(2), 33-60. https://lis.aqr-libjournal.ir/article_43527.html [In Persian].
Noroozi Chakoli, A. (2020). Note from the Editor-in-Chief: Diversity of subject areas and the longstanding issue of evaluation and promotion of faculty members in the humanities and arts. Scientometrics Research Journal, 6(2), 1-3. https://doi.org/10.22070/rsci.2020.1237 [In Persian].
Noroozi Chakoli, A., & Rahjoo, A. (2022). Scientometrics, International Special Indexes, scientific evaluation. Iranian Journal of Information Processing and Management, 29(4), 1037-1068. https://doi.org/10.35050/JIPM010.2014.017 [In Persian].
Öchsner, A. (2013). Introduction to scientific publishing: backgrounds, concepts, strategies. Heidelberg: Springer.
Oliver, M. (2000). An introduction to the evaluation of learning technology. Journal of Educational Technology & Society‌, 3(4), 20-30. https://www.jstor.org/stable/jeductechsoci.3.4.20     
Orlandi, L.B., Ricciardi, F., Rossignoli, C., and De Marco, M. (2019). Scholarly work in the Internet age: Co-evolving technologies, institutions and workflows. Journal of Innovation & Knowledge, 4(1), 55-61. https://doi.org/10.1016/j.jik.2017.11.001
Pourabbas, A., Seyednazari, N., Naderfam, S., Hazrati, H., Taghizadieh, A., & Ghafari, R. (2022). Identifying the selection criteria for elite lecturer in medical education: a qualitative study. Depiction of health, 13(3), 286-295. https://doi.org/10.34172/doh.2022.34 [In Persian].
Salim, M. T. H. (2013). Evaluating the Evaluator: A Reflective Approach. Research on Humanities and Social Sciences. 3(7), 16-22. http://www.iiste.org/Journals/index.php/RHSS/article/view/5577/5690. 3. 16-22
Saxena, A., Thawani, V. Chakrabarty, M., & Gharpure, K. (2013). Scientific evaluation of the scholarly publications. Journal of Pharmacology and Pharmacotherapeutics, 4(2), 125-129. https://doi.org/10.4103/0976-500X.110894
Schimanski, L. A., & Alperin, J. P. (2018). The evaluation of scholarship in academic promotion and tenure processes: Past, present, and future [version 1; peer review: 2 approved]. F1000Research, 7(1605). https://doi.org/10.12688/f1000research.16493.1
Seong Leem, C., & Kim, I. (2004). An integrated evaluation system based on the continuous improvement model of IS performance. Industrial Management & Data Systems‌, 104(2), 115-128. https://doi.org/10.1108/02635570410522080
Shafiee, M. (2021). Evaluating the Performance of Science and Technology Parks through Implementing Organizational Excellence Model. Journal of Innovation Ecosystem, 1 (2), 1-22. https://doi.org/avduj10.22111/INNOECO.2020.35396.1005 [In Persian].
Shahlaee, N. (2016). The Dimensions and Indicators of Assessment for Capability of Science and Technology in the I.R. Iran’sR. Iran’s Military Organizations. Defence Studies, 14(2), 1-27. https://ds.sndu.ac.ir/article_233.html [In Persian].
Shariat, I., Ghanbari, R., Siadati, S. M., & Sedigh, S. (2021). Extracting the Performance Indicators Based on BSC Model for SMEs Residing in Technology Incubators. Roshd -e- Fanavari, 17(65), 35-45. https://doi.org/10.52547/jstpi.20894.17.65.35 [In Persian].
Shojaei, S. M., Fatehrad, M., & Tabatabaeian, S. H. (2014). A Plan for Evaluating Science, Technology and Innovation Policies. Rahyaft, 24(57), 1-15. https://rahyaft.nrisp.ac.ir/article_13556.html [In Persian].
Sivertsen, G. (2019). Understanding and evaluating research and scholarly publishing in the Social Sciences and Humanities (SSH). Data and Information Management, 3(2), 61-71. https://doi.org/10.1162/qss_a_00103
Smit, E., & Gruttemeier, H. (2011). Are scholarly publications ready for the data era? Suggestions for best practice guidelines and common standards for the integration of data and publications. New Review of Information Networking, 16(1), 54-70. https://doi.org/10.1080/13614576.2011.574488
Soltani, M., Elahi, M., Fazli, S., & Rashidi, M.M. (2013). "Providing a comprehensive framework for evaluating the performance of a research institute with an emphasis on human resource management". Strategic Studies in Petroleum and Energy Industry, 5(18), 165 - 194. http://iieshrm.ir/article-1-419-fa.html [In Persian].
Stufflebeam, D.L. (2000). Foundational Models for 21st Century Program Evaluation. In: Stufflebeam, D.L., Madaus, G.F., Kellaghan, T. (Eds) Evaluation Models. Evaluation in Education and Human Services, 49, Springer, Dordrecht. https://doi.org/10.1007/0-306-47559-6_3
Sutherland, W.R. (1977). Impact of technology on scientific publishing. IEEE Transactions on Professional Communication, (2), 56-58. https://doi.org/10.1109/TPC.1977.6592323
Tang, Y. M., Chau, K. Y., Kwok, A. P. K., Zhu T., & Ma X. (2022). A systematic review of immersive technology applications for medical practice and education-trends, application areas, recipients, teaching contents, evaluation methods, and performance. Educational Research Review, 35, 100429. https://doi.org/10.1016/j.edurev.2021.100429
Tansley, A. G. (1935). The use and abuse of vegetational concepts and terms. Ecology, 16(3), 284-307. https://doi.org/10.2307/1930070
Trochim, K. (2006). Introduction to evaluation. Research Methods Knowledge Base. Scientific Research Publishing. http://www.socialresearchmethods.net/kb/qualmeth.php
Trochim, W. M., & Donnelly, J. P. (2001). Research methods knowledge base (Vol. 2). Macmillan Publishing Company, New York: Atomic Dog Pub.
Tsujimoto, M., Kajikawa, Y., Tomita, J., & Matsumoto, Y. (2018). A review of the ecosystem concept—towards coherent ecosystem design. Technological Forecasting and Social Change, 136, 49-58. https://doi.org/10.1016/j.techfore.2017.06.032
Udupi, P. K., Dattana, V., Netravathi P. S., & Pandey J. (2023). Predicting Global Ranking of Universities across the world using Machine learning regression technique. Science and Technology Ethics and Human Future (STEHF).  156, 244-250‌. https://doi.org/10.1051/shsconf/202315604001
Visagie, S. (2013). Review of the book Scholarly communication in science and engineering research in higher education by Wei Wei (Eds). South African Journal of Libraries and Information Science (SAJLIS (, 72(2(. https://doi.org/10.7553/72-2-1136
Vosough, F., Ahmadi, G., Hassanmoradi, N., & Mohammaddavoodi, A. (2021). Identifying the native dimensions, components and indicators of research performance evaluation in university (A case study: Islamic Azad University in Tehran). Journal of Management and Planning In Educational System, 14(1), 13-42. https://doi.org/10.52547/MPES.14.1.13 [In Persian].
Webb, E. J., Campbell, D. T., Schwartz, R. D., & Sechrest, L. (1966) Unobtrusive Measures: Nonreactive Research in the Social Sciences. Chicago: Rand McNally https://psycnet.apa.org/record/1966-06543-000
Wouters, P., Zahedi, Z., & Costas, R. (2019). Social media metrics for new research evaluation. Springer handbook of science and technology indicators‌, 687-713. https://doi.org/10.1007/978-3-030-02511-3_26
Xia, J. (2017). Scholarly Communication at the Crossroads in China. Chandos Publishing. 1-170.
 Xu, J., Li, Z., Shen, W., & Lev, B. (2013). Multi-attribute comprehensive evaluation of individual research output based on published research papers. Knowledge-Based Systems, 43, 135-142. https://doi.org/10.1016/j.knosys.2013.01.029
Yaghoubi, N. M., & Shukuhy, J. (2022). Provide a framework to assess the continuing effectiveness of information systems in defense agencies using fuzzy approach. Iranian Journal of Information Processing and Management, 30(4), 1173-1196. https://doi.org/10.35050/JIPM010.2015.024 [In Persian].
Yazdani, K., Rahimi-Movaghar, A., Nedjat, S., Ghalichi, L., & Khalili, M. (2015). A 5-year Scientometrics analysis of research centers affiliated to Tehran University of Medical Sciences. Medical Journal of the Islamic Republic of Iran, 29, 206. https://pubmed.ncbi.nlm.nih.gov/26157724/
 
 
 

فایل ها

هم رسانی

ارجاع به این مقاله

آمار