رابطه رتبه آموزشی کتاب‌های درسی دانشگاه‌های برتر جهان با شاخص‌های استناد، پیج رنک و هیتس

نوع مقاله: مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری علم اطلاعات و دانش شناسی، دانشگاه شیراز

2 استادیار گروه علم اطلاعات و دانش شناسی ، دانشگاه شیراز

3 استاد گروه علم اطلاعات و دانش شناسی دانشگاه شیراز

4 دانشیار گروه علم اطلاعات ودانش شناسی دانشگاه شیراز

چکیده

هدف: کتاب‌ها از جمله تولیدات مهم دانشگاهی هستند که نقش مهمی در اشاعه یافته‌های علمی و ارتقای دانش عمومی دارند. هدف اصلی این پژوهش تعیین رابطه میان رتبه آموزشی کتاب‌های درسی دانشگاه‌های برتر جهان با شاخص‌های استناد، پیج رنک و هیتس (اعتبار و میانجی) است.
روش‌شناسی: پژوهش حاضر از نظر هدف کاربردی و به جهت روش تحلیل داده‌ها توصیفی همبستگی است؛ همچنین، از حیث روش پژوهش، از نوع تحلیل استنادی است. جامعه آماری شامل 1869 کتاب از مجموعه کتاب‌های دانشگاهی نمایه‌شده در اسکوپوس بود که در سرفصل درسی دانشگاه‌های برتر جهان وجود داشت. رتبه آموزشی کتاب‌های درسی از پروژه باز سرفصل درسی استخراج گردید و در سه سطح کلی، رده‌های اصلی و زیررده‌های موضوعی کنگره به دست آمد. میزان استناد به هر کتاب درسی از پایگاه اسکوپوس استخراج شد. همچنین رتبه پیج و هیتس (اعتبار و میانجی) با استفاده از نرم‌افزار سای2تول و با تحلیل ارتباطات استنادی میان کتاب‌ها محاسبه شد.
یافته‌ها: یافته‌ها نشان دادند بین رتبه آموزشی کتاب‌ها در هر سه سطح با سنجه‌ استناد رابطه معنادار ضعیفی وجود داشت؛ همچنین، بین هر سه سطح رتبه آموزشی کتاب‌ها با رتبه پیج ارتباط معنادار متوسطی وجود داشت. از دو رتبه مرتبط با هیتس، رتبه اعتبار با هر سه سطح رتبه آموزشی کتاب‌ها ارتباط معنادار ضعیفی داشت؛ اما رتبه میانجی فقط در سطح زیررده‌های کنگره با رتبه آموزشی کتاب‌ها رابطه معنادار ضعیفی داشت؛ علاوه‌براین، میان رتبه آموزشی کتاب‌ها و رتبه پیج و اعتبار در رده‌های موضوعی علوم اجتماعی، فلسفه، روانشناسی و دین، علوم سیاسی، حقوق و تاریخ جهان همبستگی متوسط و معنادار بود.
نتیجه‌گیری: می‌توان از رتبه پیج و اعتبار که مستخرج از شبکه استنادی میان کتاب‌ها هستند برای تعیین ارزش یا اثرگذاری آموزشی کتاب‌ها استفاده کرد؛ بنابراین، پیشنهاد می‌شود که نظام‌های استنادی بین‌المللی رتبه پیج و اعتبار را برای کتاب‌ها ارائه کنند و یا حداقل امکان محاسبه آنها را برای کاربرانشان فراهم کنند. این پژوهش اولین پژوهشی است که رابطه بین رتبه آموزشی کتاب‌ها با شاخص‌های استناد، پیجرنک و هیتس را مورد بررسی قرار داده است

کلیدواژه‌ها


کتاب‌ها ازجمله مهم‌ترین منابع اطلاعات علمی محسوب می‌شوند و بخش عمده‌ای از تولیدات علمی در حوزه‌های علوم انسانی و اجتماعی به شکل کتاب منتشر می‌شود (ندرهوف[1]، 1989). به همین دلیل باید سنجه‌هایی قابل ‌اعتماد، در دسترس، ساده و آزمون‌پذیر برای سنجش اثرگذاری آنها فراهم شود تا بتوان از طریق آنها اثرگذاری و اهمیت کتاب‌ها را تعیین کرد. معیارهای کنونی ارزیابی کتاب‌ها اغلب مبتنی بر اعتبار ناشر اثر و بررسی داوران موضوعی است (آبریزا و ثلوال[2]، 2014)؛ برای نمونه، در کشور نروژ اعتبار ناشران، در کنار داوری موضوعی کتاب‌ها از مهم‌ترین شیوه‌هایی است که برای ارزیابی کتاب‌ها استفاده می‌شود (همرفلت[3]، 2016)؛ همچنین، معمولاً ناشران معتبر کتاب بر اساس کیفیت آثاری که منتشر می‌کنند برای جامعه مخاطبان شناخته‌شده هستند و یا توسط نظام‌های تجاری رتبه‌بندی می‌شوند. رتبه‌بندی‌های سنس[4] و ویشنبارت[5] (رتبه‌بندی جهانی صنعت نشر) از جمله آنهاست (زوکالا، گانز، کورناچیا و بود[6]، 2015).

این روش‌ها کمبودهایی دارند؛ برای نمونه، اعتبار ناشر همیشه قابل اطلاق به تک‌تک کتاب‌ها نیست، چون همه آثاری که یک ناشر منتشر می‌کند لزوماً از ارزشی یکسان برخوردار نیستند (همرفلت، 2016)؛ علاوه‌براین، فرایندهایی مانند داوری هزینه زیادی دارد و با توجه به اینکه کتاب‌ها نسبت به مقالات، محتوا و هدف گسترده‌تری دارند، یک داور شاید نتواند در مورد تمام بخش‌های یک کتاب صاحب‌نظر باشد (کوشا، ثلوال و رضایی[7]، 2011)؛ بنابراین، چنانچه نظام‌های مبتنی بر سنجه‌های خاص کتاب برای کتاب‌ها ارتقا یابند، ابزارهای کمکی بهتری نسبت به اعتبار ناشر و کم‌هزینه‌تر از داوری خواهند بود و به هنگام ارزیابی کتاب‌ها به کمک متخصصان خواهند آمد؛ و درنتیجه تا حدودی از دشواری ارزیابی این منابع خواهند کاست.

از جمله عوامل احتمالی که باعث شده است سنجش اثرگذاری کتاب‌ها با استفاده از سنجه‌های متداول ارزیابی مانند استناد کمتر مورد توجه گیرد، این است که کتاب‌ها ابعاد اثرگذاری متنوعی دارند؛ به‌عبارت‌دیگر، کتاب‌ها با اهداف و کاربرد‌های گوناگون همچون کمک به فعالیت آموزشی، مشارکت در ابعاد اجتماعی و فرهنگی و به‌عنوان متون ادبی نگارش می‌شوند و همه این اثرگذاری‌ها از طریق استناد قابل سنجش نیست (کوشا و ثلوال، 2015). چندبعدی‌بودن ابعاد اثرگذاری کتاب‌ها  نشان می‌دهد که استفاده از استناد برای ارزیابی آنها کافی نیست و باید سایر سنجه‌های اثرگذاری بیشتر مورد مطالعه قرار بگیرند تا به قابلیت آنها در نمایش اثرگذاری کتاب پی ببریم.

یکی از دلایل دیگر استفاده از رتبه‌بندی ناشران کتاب به‌جای خود آثار، نبود معیاری عینی (مانند استناد برای مقاله‌ها) جهت سنجش اثرگذاری کتاب‌هاست. تاکنون کتاب‌ها و ارجاعات کتاب‌ها در نمایه‌نامه‌های استنادی پوشش ضعیفی داشته‌اند و این امر امکان رتبه‌بندی کتاب‌ها بر مبنای استناد را با محدودیت مواجه می‌کرد؛ این در حالی است که چندین پژوهش به فراوانی قابل ‌توجه استناد به کتاب‌ها در میان مدارک اذعان کرده‌اند (ندرهوف، لیوون و فن ران[8]، 2009؛ بویاک و کلاوانز[9]، 2014؛ چی، جوریس، ثیجس و گلنزل[10]، 2015؛ همرفلت، 2016) و عدم نمایه‌سازی و استفاده از داده‌های استنادی برای ارزیابی تولیدات دانشگاهی را، به‌ویژه در حوزه علوم اجتماعی و انسانی نقص مهمی دانسته‌اند (کرانین[11] و همکاران، 1997).

فقدان سنجه‌های کمّی برای ارزیابی اثرگذاری کتاب، هزینه‌های زیادی را برای مراکز و نهادهایی دارد که نیاز به ارزیابی کتاب دارند. دانشگاه‌ها هر سال مبلغی را به کتابخانه‌های خود تخصیص می‌دهند تا کتاب‌های دانشگاهی مفید را شناسایی، گزینش و خریداری کنند و کمیته‌های ارزیابی کیفیت پژوهش در سطح دانشگاه و در سطح ملی هزینه زیادی را صرف داوری و ارزیابی کتاب‌های نگاشته می‌کنند[12]. ناآگاهی از اهمیت و اعتبار کتاب‌ها ممکن است بر دیدگاه خریداران آنها نیز تأثیر منفی داشته باشد و منجر به عدم رضایت خواننده پس از صرف هزینه زمانی و مالی برای تهیه و مطالعه منابع شود.

تا به حال نبود نمایه‌نامه استنادی جامعی از کتاب‌ها (کرانین و همکاران، 1997؛ هیکس و پاتر[13] 1999؛ هیکس، 1999؛ ندرهوف، لیوون و فن ران، 2009) یکی از محدودیت‌های اساسی در ارزیابی کمی کتاب‌ها بود؛ درنتیجه اثرگذاری و ارتباط علمی کتاب‌ها با سایر مدارک چندان نمایان نمی‌شد. این محدودیت اغلب ناشی از سرعت کم رشد و به‌ تبع آن، نمایه‌سازی محدود منابع علوم انسانی و اجتماعی نسبت به حوزه‌های علوم طبیعی و مهندسی و پزشکی بود (همرفلت، 2016). بااین‌حال، پژوهش‌ها شواهدی ارائه کرده‌اند که کتاب‌ها در شبکه استنادی با سایر مدارک حضور قابل‌توجهی دارند (بویاک و کلاوانز، 2014؛ زوکالا، گانز، کورناچیا و بود، 2015) اما تاکنون الگوهای ارتباطی آنها با هدف شناسایی کتاب‌های مهم و معتبر مطالعه نشده است؛ بنابراین، نه‌تنها اطلاعات اندکی در مورد الگوی استنادی کتاب‌ها وجود دارد، کاربردهای استناد برای کتاب‌ها کمتر شناخته ‌شده‌ است.

در سال‌های اخیر و با توسعه‌های انجام‌شده در پوشش نمایه استنادی کتاب در نمایه‌نامه‌هایی مانند وب آو ساینس[14] و اسکوپوس[15] و افزایش تعداد کتاب‌هایی که ارجاعات آنها در نظام نمایه‌سازی آمده است، به نظر می‌رسد زیرساخت‌هایی برای انجام تحلیل‌های رتبه‌بندی مبتنی بر استناد، برای کتاب‌ها نیز فراهم شده است؛ از جمله، در حوزه تاریخ برای تحلیل استنادهای مقالات به کتاب‌ها و رتبه‌بندی ناشران دانشگاهی و تجاری از داده‌های استنادی کتاب‌ها استفاده شد (زوکالا، گانز، کورناچیا و بود، 2015).

یکی از مهم‌ترین ابعاد اثرگذاری کتاب‌ها در دانشگاه‌ها، کاربرد آموزشی آنهاست. این کتاب‌ها در سرفصل‌های درسی ظاهر می‌شوند و به‌طور عمده توسط دانشجویان مطالعه می‌شوند. پژوهش کوشا و ثلوال (2016) نشان دادند که بیش از یک‌سوم کتاب‌های حوزه علوم انسانی و اجتماعی در سرفصل‌های درسی ذکرشده‌اند و کاربرد آموزشی داشتند. با افزایش تخصص‌گرایی در نظام آموزشی، شناسایی و ارزیابی کتاب‌هایی که کاربرد آموزشی پیدا می‌کنند از طریق استناد و سنجه‌های دیگر می‌تواند برای ارزیابی این منابع مهم باشد. کتاب‌های آموزشی تعیین‌شده برای سرفصل‌های درسی، دگرگونی حوزه‌های موضوعی، تغییر و نوآوری در تدریس و تاریخ تحول سازمانی مؤسسات آموزشی را رقم می‌زنند (پروژه سرفصل درسی آزاد[16]، 2017). آنها مأموریت‌های آموزشی و اولویت تکالیف آموزشی مؤسسات را در پذیرش دانشجو نشان می‌دهند و دانشجویان نیز با کسب اطلاع از منابع سرفصل‌های درسی علایق خود را انتخاب می‌کنند.

با اینکه استناد (فورنهام[17]، 1990) و ارتباط استنادی بین مقالات (چن[18] و همکاران، 2007؛ ما[19] و همکاران؛ 2008؛ رادیچی[20] و همکاران، 2009) به‌طور گسترده‌ای برای شناسایی و ارزیابی اثرگذاری آثار دانشگاهی مهم، به‌ویژه مقاله‌ها بررسی شده است، شواهد حاکی از آن است پژوهش‌های چندانی در مورد کاربرد استناد در ارزیابی کتاب‌ها، به‌خصوص در حوزه‌های علوم انسانی و اجتماعی، انجام نشده است (لیدسدورف و صلاح[21]، 2010). به همین منظور، در این پژوهش قصد بر این است با استفاده از تحلیل روابط استنادی میان کتاب‌ها، رابطه میان استناد و شاخص‌‌‌‌‌های جدید مبتنی بر آن شامل پیج رنک و هیتس (اعتبار و میانجی)، رتبه آموزشی کتاب‌های درسی در دانشگاه‌های برتر جهان بررسی شود.

سؤال‎های پژوهش

۱.  آیا رابطه معناداری بین رتبه آموزشی کتاب‌ها و تعداد استناد به آنها وجود دارد؟

۲.  آیا رابطه معناداری بین رتبه آموزشی کتاب‌ها و رتبه پیچ آنها وجود دارد؟

۳.  آیا رابطه معناداری بین رتبه آموزشی کتاب‌ها و رتبه اعتبار و میانجی آنها وجود دارد؟

۴.  آیا رابطه معناداری بین رتبه آموزشی کتاب‌ها و رتبه اعتبار و میانجی آنها در سطح رده‌های موضوعی کنگره وجود دارد؟

پیشینه پژوهش

پیش از پرداختن به بحث مرور پیشینه‌ها لازم است اشاره کنیم که یکی از کارکردهای علم‌سنجی این است که روش‌هایی کمی برای ارزیابی انتشارات دانشگاهی ارائه دهد؛ و از طرفی، از جمله رسالت‌های اصلی دانشگاه‌ها تولید کتاب‌هایی است که در توسعه نظام آموزشی دانشجویان نقش ایفا کنند. با وجود تعدد تولید کتاب‌هایی که با هدف کمک به تدریس نگاشته می‌شوند، روش‌های کمی ارزیابی کتاب‌های درسی کمتر مورد مطالعه علمی قرار گرفته‌اند. ارزیابی‌های کمی در قضاوت ارزیابانه و مقایسه‌ای انتشارات استفاده می‌شوند و رتبه‌بندی یکی از نمودهای به‌کارگیری نتایج ارزیابی کمی است. به دلیل اینکه استناد از متداول‌ترین ابزارهای ارزیابی کمی در مطالعات علم‌سنجی بوده و هست، در این پژوهش ارتباط سنجه استناد با میزان استفاده کتاب‌ها در سرفصل‌های درسی به‌منظور شناسایی ارتباط بین این سنجه‌ها بررسی شده است؛ درعین‌حال، این ارتباط برای اولین‌بار در این پژوهش با سه سنجه دیگر (رتبه پیج و رتبه اعتبار و میانجی) با کاربرد شناسایی اعتبار و اهمیت استنادی آثار بررسی می‌شوند تا جایگاه آنها در ارزیابی ارزش آموزشی کتاب‌ها تا حد امکان مشخص شود.

پیشینه پژوهش در داخل

نظر به ماهیت پویای امر تدریس و آموزش و ضرورت ارزیابی و شناخت میزان اثربخشی کتاب‌های درسی در نظام آموزشی، بیشتر مطالعات داخلی در حوزه علوم تربیتی و برنامه‌ریزی درسی انجام شده‌اند و تعداد اندکی از پژوهش‌های این حوزه نیز با رویکرد علم‌سنجی بوده است. چندین پژوهش با هدف شناسایی معیارهای مطلوبیت کیفی کتاب‌های درسی دانشگاهی قابل ردگیری است؛ برای نمونه، معیارهای ارزیابی کتاب‌های درسی از رویکرد تولید الگوهای زبانی برای علم (سارلی، 1383)، معیارهای نقد کتاب‌های درسی دانشگاهی (ملکی، 1385) و مطابقت کتاب‌ها با نکات کیفی و ساختاری (جمالی زواره، نصر و آرمند، 1387) از جمله آنهاست؛ همچنین، با استفاده از معیارهای کیفی، یک پژوهش به مطالعه 21 کتاب درسی در رشته‌های علوم انسانی دانشگاه اصفهان، علوم پزشکی اصفهان و دانشگاه آزاد اسلامی خوراسگان پرداخت و مطابقت آنها را با معیارهای ظاهری، نگارشی، ساختاری، محتوایی و روان‌شناختی سنجید (یارمحمدیان، آرمند و زارعی، 1388). پژوهشی دیگر با مطالعه کتاب‌های فارسی درباره حافظ، آثار و نویسندگان پراستناد را شناسایی کرد و به این نتیجه رسید که تنها 60 درصد از آثار به منابع گذشته استناد داده‌اند (نوذری، حری، حریری و منصوریان، 1392). حریری و فیروزی (1393) کتاب‌های درسی فراملی در حوزه پزشکی را با روش تحلیل استنادی مطالعه کردند. در این پژوهش 372 عنوان کتاب درسی منتشرشده در سال‌های 2000 تا 2011 که در وبگاه آمازون ارائه شده بودند از نظر استناد به مقالات اعضای هیئت علمی دانشکده‌های داروسازی شش دانشگاه دولتی ردۀ اول ایران مطالعه شد. نتایج این پژوهش نشان ‌دادند که آثار با بیش از 3 نویسنده بیشترین امکان ظهور در کتاب‌های درسی را داشت و سهم استنادی آثار نویسندگان دانشگاه‌های تهران در منابع درسی بیشتر از شهرستان‌ها بود.

پیشینه پژوهش‌ در خارج

پژوهش‌های خارجی را می‌توان در چند زمینه موضوعی شامل ارزیابی کتاب‌های درسی، اثرگذاری استنادی کتاب‌ها و استفاده از الگوریتم‌ها برای رتبه‌بندی دسته‌بندی کرد. در ادامه به تفکیک به پژوهش‌های مرتبط با هریک از این زمینه‌های موضوعی اشاره می‌شود.

ارزیابی کتاب‌های درسی

نخستین مطالعات مربوط به ارزیابی‌های کتاب‌های درسی با هدف شناسایی دانشمندان، نویسندگان و منابع مورد استناد و تأثیرگذار یک حوزه معین مانند روانشناسی (نپ[22]، 1985؛ تاکاسونا[23]، 2013)، بازاریابی (جف[24]، 1997) و اقتصاد (هوآس و مدیگان[25]، 1999) انجام شد. مطالعات فراملی، همچون آثار داخلی، با استفاده از رویکرد کیفی بر ابعاد آموزشی کتاب‌های درسی تمرکز داشتند و به اصول تدوین و نگارش کتاب‌های درسی دانشگاهی پرداختند (لپیونکا[26]، 2005). پژوهش‌هایی نیز در زمینه ارزیابی کمی و علم‌سنجی وجود دارند. گویدرا[27] (2009) از هر دو رویکرد تحلیل کیفی و استنادی برای مطالعه شش کتاب درسی میان‌رشته‌ای در حوزه علوم انسانی استفاده کرد. وی میزان سنتی و پست‌مدرن‌بودن مفاهیم در کتاب‌ها، جنسیت نویسندگان مورد استناد، پیشینه بومی و فراملیتی متون مورد استفاده در سرفصل‌های درسی را تحلیل کرد و در همه ابعاد، افزایش تنوع در استناد به منابع جدید را مشاهده کرد. دو پژوهش دیگر در حوزه روان‌شناسی (گریگز و پروکتر[28]، 2009؛ گریگز و کریستوفر، 2016) نیز با استفاده از تحلیل استنادی نشان دادند که آثار پراستناد در کتاب‌های درسی به دلیل ربط کمتر به موضوعات معاصر و ترجیح نویسندگان، کم‌استنادتر از قبل هستند. یک پژوهش نیز با مطالعه سخنرانی‌های دانشگاهی، ارتباط بین آموزش و پژوهش را در سرفصل‌های درسی حوزه یادگیری ماشینی بررسی کرد (لی، سانگ و کیم[29]، 2015).

مطالعات نوین علم‌سنجی، بر بررسی امکان شناسایی اثرگذاری آموزشی از طریق سرفصل‌های درسی آنلاین متمرکز شده‌اند؛ برای مثال، کوشا و ثلوال (2008) پیشنهاد کردند که از شواهد حضور آثار علمی دانشگاهی (شامل کتاب و مقالات نشریات) در سرفصل‌های درسی آنلاین، برای ارزیابی اثرگذاری منابع در تدریس استفاده شود. در همین زمینه، پژوهش دیگر آنها روی 14،000 تک‌نگاشت در وب آو ساینس و اسکوپوس معلوم کرد که بیش از یک‌سوم از تک‌نگاشت‌های حوزه علوم انسانی و اجتماعی در سرفصل‌های درسی آنلاین ذکرشده‌اند و کاربرد آموزشی داشتند ولی همبستگی ضعیفی بین تعداد سرفصل‌های درسی استفاده‌کننده از کتاب و استنادهای رسمی وجود داشت (کوشا و ثلوال، 2016). این نتایج بیان می‌کنند که کتاب‌های دانشگاهی زیادی برای تدریس استفاده می‌شوند و میزان قابل توجهی از آنها را می‌توان با استفاده از سرفصل‌های درسی آنلاین شناسایی نمود.

اثرگذاری استنادی کتاب‌ها

تعدادی از پژوهشگران به قابلیت‌های الگوهای استنادی میان کتاب‌ها برای شناخت ارتباط بین رشته‌ها و تحلیل کتاب‌سنجی آنها اشاره کرده‌اند (فینکشتات[30]، 1990، همرفلت، 2011)، اما در گذشته به دلیل کاستی‌های استناد مقاله‌های نشریات به کتاب‌ها در علوم انسانی، هنر و علوم اجتماعی، استفاده از آنها در ارزیابی پژوهش برای این حوزه‌ها توصیه نشده بود (همرفلت، 2011). این محدودیت در چندین پژوهش به انحای گوناگون اشاره شده است؛ کم‌بودن استناد به کتاب‌های حوزه علوم طبیعی (ندرهوف، لیوون و فن ران، 2009)، پوشش ناقص ارتباطات استنادی میان کتاب‌ها در نظام‌های نمایه‌سازی (لیدسدورف و صلاح، 2010)، عدم نمایه‌سازی جامع کتاب‌ها (بویاک و کلاوانز، 2014)، فقدان سبک یکنواخت ارجاع‌نویسی برای کتاب‌ها (چی و همکاران، 2015)، و بی‌توجهی به ماهیت متفاوت ارتباطات پژوهشی در علوم انسانی و هنر و علوم اجتماعی که بیشتر مبتنی بر کتاب است (همرفلت، 2016) از جمله آنهاست. بر اساس همین شواهد، نظام وب آو ساینس شرکت کلاریویت انالیتیکز[31] (تامسون رویترز[32] سابق) و در سال‌های اخیر، نظام اسکوپوس شرکت الزویر[33] منابع نمایه‌شده در نمایه‌نامه استنادی کتاب را گسترش داده‌اند و دائم بر میزان کتاب‌هایی که ارجاعات آنها نمایه می‌شود افزوده می‌شود. این امر فرصت جدیدی را برای مطالعه و شناخت ارتباط استنادی میان کتاب‌ها فراهم آورده است.

به دلیل کاستی‌های استفاده از استناد برای ارزیابی کتاب‌ها، برخی از پژوهش‌ها از ابزارهای دیگری برای تعیین اثرگذاری کتاب‌ها بهره بردند. یکی از ابتدایی‌ترین شاخص‌ها برای برآورد میزان اثرگذاری کتاب‌ها، تعداد کتابخانه‌هایی بود که کتاب‌ها را به مجموعه خود افزوده‌ بودند (لینمانز[34]، 2010). فهرست‌های کتابخانه‌ای حجم قابل توجهی از کتاب‌ها را در خود دارند و می‌توانند میزان استفاده از آنها را نشان دهند. نوع دیگر ارزیابی اثرگذاری کتاب‌ها، استفاده از منابع آنلاین وبی بود؛ برای مثال، پوشش وسیعی از کتاب‌ها در گوگل بوکس و گوگل اسکولار وجود دارد و می‌توان استناد به کتاب‌ها را نیز از این منابع استخراج کرد (کوشا و ثلوال، 2009؛ 2015)، ولی این پایگاه‌ها گرایش به پوشش منابع انگلیسی‌زبان و آثار نویسندگان کشورهای انگلیسی دارند که نقطه ضعف این منابع به شمار می‌رود؛ برای نمونه، یک پژوهش با ارزیابی استنادی کتاب‌های مالزیایی و کتاب‌های انگلیسی نویسندگان مالزیایی در گوگل بوکس و گوگل اسکولار پوشش این منابع را ضعیف یافت (آبریزا و ثلوال، 2014). پژوهش دیگری با مطالعه بیش از ۳۰۰ هزار مقاله نشریه و حدود ۱۸ هزار کتاب تک‌نگاشت مشاهده کرد که در دائره‌المعارف آنلاین ویکی‌پدیا بیش از یک‌سوم کتاب‌های دانشگاهی که اغلب در حوزه‌های هنر و علوم انسانی بودند مورد استناد قرار گرفتند، درحالی‌که، تنها ۵ درصد مقالات نشریات استناد دریافت کردند (کوشا و ثلوال، 2017). این نتایج حاکی از آن است که تنوع گسترده‌ای از منابع برای شناسایی اثرگذاری کتاب‌ها، به‌ویژه در محیط آنلاین، وجود دارد.

استفاده از الگوریتم‌ها برای رتبه‌بندی

تعداد خام استنادها و سنجه‌های مبتنی بر آنها، از متداول‌ترین روش‌ها برای رتبه‌بندی مدارک، مؤلفان، نشریات، مؤسسات و کشورهاست ولی پژوهشگران ایرادهایی را هم برای آن برشمرده‌اند. اولین و اصلی‌ترین ایراد این سنجه‌ها این است که فراوانی مطلق استنادها فقط نشان‌دهنده محبوبیت مدارک است و اعتبار منابع استناددهنده را نمایان نمی‌سازد. پینسکی و نارین[35] (1976) در بدو ایجاد سامانه‌های ارزیابی استنادی، به این موضوع پی بردند و تعداد استنادها را به‌عنوان شاخص محبوبیت آثار دانستند و پیشنهاد کردند که برای شناسایی منابع معتبر، از بردار ویژه[36] استفاده شود. این ایده بعدها توسط پیج، برین، موتوانی و وینوگراد[37] (1999) برای رتبه‌بندی صفحات وب استفاده شد تا صفحاتی که اطلاعات معتبری را ارائه می‌دهند و به خاطر آن پیوند دریافت می‌کنند در موتور جستجوی گوگل در ابتدای نتایج بازیابی‌شده قرار بگیرند. پیامد این عمل تولید الگوریتم پیجرنک برای رتبه‌بندی صفحات وب بود که بعدها توسط متخصصان علم‌سنجی برای ارزیابی تولیدات علمی به‌ویژه نشریات (بولن[38] و همکاران، 2006) تعدیل و استفاده شد. در مدل ارتقایافته پیجرنک، وزن ارتباط یا تعداد پیوند بین نشریات نیز در نظر گرفته می‌شود؛ ولی در پیجرنک اولیه ارتباط بین صفحات به‌صورت دو وضعیتی صفر و یک بود. پژوهش‌های پیرامون رتبه‌بندی مدرک با استفاده از پیجرنک نشان دادند که این الگوریتم به‌خوبی قادر به شناسایی مدارک مهم در حوزه فیزیک (چن[39] و همکاران، 2007) و بیوشیمی و بیولوژی مولکولی (ما و همکاران، 2008) است. همچنین، در پژوهشی دیگر نشان داده شد که سنجه پیجرنک متأثر از اندازه نشریات است (لیدسدورف، 2009)؛ ولی بهتر از سایر سنجه‌های مرکزیت قادر به شناسایی مدارک مهم مجاور است؛ زیرا اعتبار را میان آنها توزیع می‌کرد (ژونگه و ژانگ[40]، 2010). همچنین، پیجرنک قادر به شناسایی مدارکی بود که مؤلفان برجسته فیزیک نوشته بودند (رادیچی[41] و همکاران، 2009)؛ ولی رویدادهای علمی یا کنفرانس‌های مهم را نشان نمی‌داد (مارتینز، گونچالوز، لاندر و زیویانی[42]، 2010)؛ علاوه‌براین، از پیجرنک در حوزه علوم کتابداری و اطلاع‌رسانی برای رتبه‌بندی مبتنی بر ارتباط استنادی میان مدارک با نشریات و مقالات با مؤلفان استفاده شد که همبستگی بالایی را میان مدارک در نشریات و مؤلفان نشان داد (ژو، اوشانسکی، ژا و گیلز[43]، 2007).

الگوریتم هیتس بسیار کمتر از پیجرنک برای رتبه‌بندی مدارک به کار گرفته شده است (ژو، اوشانسکی، ژا و گیلز، 2007) ولی این به معنی بی‌نقص‌بودن پیجرنک نیست. محدودیت عمده‌‌ رتبه‌بندی پیجرنک این است که این سنجه متأثر از مجموعه داده انتخاب‌ شده است و با تغییر مجموعه، ممکن است رتبه‌بندی‌های بسیار متفاوتی را ارائه دهد (والتمن، یان و اک[44]، 2011)؛ علاوه‌براین، پیجرنک متأثر از تراکم استنادی بالای برخی حوزه‌هاست و رتبه ضعیف‌تری به حوزه‌های کم‌‌‌تراکم استنادی می‌دهد؛ همچنین، برای منابع منتشرشده در بازه زمانی طولانی، پیجرنک نتایج را به نفع مدارک قدیمی‌تر رتبه‌بندی می‌کرد، درحالی‌که، بررسی الگوریتم هیتس نشان داد که نتایج به نفع مدارک جدیدتر رتبه‌بندی می‌شود (جیانگ، سون، یانگ، ژونگ و یااو[45]، 2016).

جمع‌بندی از مرور پیشینه

با توجه به آنچه تاکنون به آن اشاره شد می‌توان گفت که ابعاد کیفی و کمی کتاب‌های درسی کم‌ و بیش در داخل و خارج از کشور مطالعه شده است. مطالعات علم‌سنجی روی کتاب‌های درسی با هدف شناسایی آثار و افراد پراستناد در موضوعی معین و یا شناسایی میزان سنتی یا مدرن‌بودن محتوای درسی انجام گرفته است. همچنین، استفاده از سرفصل‌های آنلاین درسی برای شناسایی کاربرد آموزشی کتاب‌ها پیشنهاد شده است. در ارتباط با تحلیل استنادی کتاب‌ها، در گذشته کمبود اطلاعات استنادی کتاب‌ها در سامانه‌های استنادی باعث بی‌توجهی به پتانسیل سنجه‌های استنادی برای ارزیابی این آثار شده بود؛ اما در سالیان اخیر، گرایش سامانه‌های استنادی به فراهم‌آوری اطلاعات استنادی کتاب‌ها، فرصت جدیدی را برای ارزیابی مبتنی بر استناد این دسته از منابع به وجود آورده است. ارزیابی کتاب‌ها، همانند نشریات، می‌تواند در دو بعد محبوبیت (سنجه استناد) و اعتبار (رتبه پیچ و هیتس) این منابع باشد. بدیهی است که پتانسیل این سنجه‌ها برای ارزیابی کتاب‌ها، در پرتو پژوهش‌های بیشتر مشخص خواهد شد.

 

 

روش‌شناسی پژوهش

پژوهش حاضر از نظر هدف کاربردی و به جهت نوع تحلیل داده‌ها، توصیفی همبستگی است. همچنین از نظر روش پژوهش، از نوع تحلیل استنادی است. جامعه آماری مجموعه کتاب‌های دانشگاهی نمایه‌شده در اسکوپوس بود که در سرفصل درسی دانشگاه‌های برتر جهان برای آموزش استفاده شده بود. به‌منظور دستیابی به فهرست کتاب‌های دانشگاهی از نمایه استنادی اسکوپوس استفاده شد و اطلاعات کتاب‌شناختی تمام 168،866 کتاب نمایه‌شده و منتشرشده بین سال‌های 1953 تا 2017 در آگوست و سپتامبر 2018 استخراج گردید.

کتاب‌های درسی از لحاظ رتبه آموزشی، به‌طور معمول با میزان ظهورشان در سرفصل‌های درسی قابل ارزیابی هستند ولی مشکل اینجاست که سرفصل‌های درسی در دانشگاه‌های مختلف جهان متنوع و فراوان هستند. به دلیل این تعدد و پراکندگی، مطالعه بر دانشگاه‌های برتر دنیا در نظام رتبه‌بندی دانشگاه‌های تایمز متمرکز شد تا معیار مناسبی برای شناسایی کتاب‌های آموزشی معتبر وجود داشته باشد. به‌منظور شناسایی کتاب‌های مورد استفاده در آموزش، از کتاب‌های موجود در پروژه باز سرفصل درسی[46] دانشگاه‌های معتبر جهان در نظام رتبه‌بندی 2018 مؤسسات آموزش عالی تایمز[47] استفاده شد. دلیل به‌کارگیری این پروژه در پژوهش، استفاده نهادهای ارزیابی پژوهشی بین‌المللی مانند آلتمتریک دات کام[48]  و گزارش آن است، هرچند با بررسی پژوهشگران، تاکنون مطالعه علم‌سنجی روی داده‌های این پروژه منتشر نشده است.

سیاهه دانشگاه‌های برتر جهان در سال 2018 از تایمز هایر اجوکیشن[49] در 11 رشته کلی گردآوری شد. پروژه باز سرفصل‌ درسی حاوی منابع درسی 10 تا 15 سال اخیر مربوط به کشورهای ایالات متحده، انگلستان، کانادا، استرالیا و سایر کشورهای جهان است. فهرست کتاب‌‌های معرفی‌شده در نظام رتبه‌بندی دانشگاه‌های تایمز در 31 رشته که برگرفته از نظام آموزشی ایالات متحده بودند در وبگاه پروژه باز سرفصل‌ درسی مورد جستجو قرار گرفت و از بین 822 دانشگاه در تمام رشته‌ها، سرفصل درسی 130 دانشگاه، که اغلب از کشورهای انگلیسی‌زبان بودند، شناسایی و استخراج شد. از میان سرفصل‌های پیشنهادی تعداد 156،585 مورد از آنها کتاب بود.

 

 

 

محاسبه رتبه آموزشی کتاب‌ها

برای پاسخ به پرسش اول پژوهش، رتبه آموزشی به سه صورت محاسبه شد؛ یکی رتبه آموزش مبتنی بر نمره آموزشی کتاب در پروژه باز سرفصل‌های درسی که نمره‌ای بین 1 تا 100 به کتاب‌ها اختصاص می‌داد. این نمره ثابت بود و برگرفته از میزان استفاده از کتاب در همه سرفصل‌های درسی بود؛ بنابراین، رتبه کتاب را در یک موضوع نشان نمی‌داد. با توجه به اهداف این پژوهش و به‌منظور شناسایی تفاوت‌های بین‌رشته‌ای کتاب‌ها، این رتبه‌بندی دوباره برحسب نمره آموزشی کتاب‌ها در رده‌های کنگره محاسبه شد. در این صورت، رتبه آموزشی بعدی بر اساس همان نمره آموزشی کتاب در پروژه باز سرفصل‌های درسی به دست آمد؛ با این تفاوت که یک‌بار نمره بر اساس رده‌بندی اصلی کنگره (حروف A-Z) برای کتاب‌ها مبنا قرار گرفت و رتبه آنها در هر رده اصلی به‌ترتیب نزولی حاصل شد؛ و بار دوم، این رتبه بر اساس همان رتبه آموزشی کتاب برای زیررده‌های کنگره (حروف AC-ZA) محاسبه شد. در جدول 1 نمونه‌ای از کتاب‌ها و انواع رتبه‌های آموزشی محاسبه‌شده برای آنها آمده است. همان‌طور که مشاهده می‌شود جدول به‌ترتیب الفبایی «زیررده‌های کنگره» مرتب شده است و در زیررده‌های موضوعی کنگره نیز رتبه‌ها به‌ترتیب از کم به زیاد است و با کاهش رتبۀ آموزشی افزایش می‌یابند.

محاسبه رتبه پیج و هیتس (اعتبار و میانجی)

به‌منظور پاسخ به پرسش‌های دوم و سوم پژوهش، رتبه‌های پیج و هیتس (اعتبار و میانجی) بر اساس استناد‌های بین کتاب‌ها محاسبه شد. به این ترتیب که «عنوان» هریک از کتاب‌های دارای رتبه آموزشی در بخش ارجاعات اسکوپوس جستجو شد؛ سپس، برای اطمینان از صحت آنها، عناوین به‌دست‌آمده، دوباره با نام «نویسنده اول» جستجو شد. به این ترتیب تمام استنادها به ویرایش‌های گوناگون هر کتاب مشخص و رفع ابهام شد. جهت یکنواخت‌سازی مدارک از کد اختصاص‌یافته اسکوپوس به هر مدرک استفاده شد؛ و درنهایت، با استفاده از نرم‌افزار سای2تول[50] شبکه استنادی میان کتاب‌ها ایجاد شد.

جدول 1. مثالی از نحوه رتبه‌بندی کتاب‌ها از نظر نمره آموزشی طبق رده‌بندی کنگره

نمره آموزشی

رتبه آموزشی

رتبه در زیررده کنگره

رتبه در رده اصلی کنگره

زیررده کنگره

رده اصلی کنگره

عنوان کتاب

9.6

73

1

2

AC

A

The history of England

2.2

446

1

3

AM

A

Museums and their visitors

0.5

1252

2

6

AM

A

Museums, prejudice and the reframing of difference

0.4

1380

3

7

AM

A

The social work of museums

1.4

677

1

4

AS

A

The international politics of the nigerian civil war, 1967-1970

35.8

9

1

1

AZ

A

The two cultures

0.9

947

2

5

AZ

A

Digital libraries and the challenges of digital humanities

56.2

6

1

1

B

B

Phenomenology of perception

20.6

23

2

3

B

B

The open society and its enemies

19.6

24

3

4

B

B

The essence of Christianity

6.4

128

4

19

B

B

The animal that therefore i am

5.5

162

5

22

B

B

Nietzsche: philosopher, psychologist, antichrist

4.7

194

6

26

B

B

Fundamentals of clinical trials

 

 

 

 

 

پیج رنک با اعمال عامل دامپینگ[51] 0.85 در همین نرم‌افزار اجرا شد که احتمال خاتمۀ جستجوی یک فرد و انتخاب یک کتاب را در هنگام مراجعه به کتاب‌های دیگر از طریق مرور ارجاعات کتاب‌های قبلی بیشتر می‌کند و بدون این عامل فقط مدارک دریافت‌کننده استناد (و نه استناددهنده) در پیجرنک محاسبه می‌شدند و پیج رنک هر مدرکی حتی با یک ارجاع به مدارک دیگر صفر می‌شد. بدین ترتیب، رتبه پیج برای کتاب‌هایی که در کل مجموعه داده‌های اسکوپوس حداقل یک استناد از کتابی دیگر دریافت کرده بودند به دست آمد.

جهت محاسبه مقادیر هیتس از همان نرم‌افزار نرم‌افزار سای2تول استفاده شد و هردو رتبه اعتبار و میانجی به‌طور جداگانه به دست آمد. مقادیر اعتبار و میانجی برحسب یکدیگر در یک محاسبه بازگشتی دوسویه محاسبه ‌شد. مقدار اعتبار هر مدرک از حاصل جمع مقادیر میانجی که به آن مدرک اشاره می‌کردند حساب ‌شد. مقدار میانجی‌بودن برابر با حاصل جمع مقادیر اعتبار صفحاتی است که به آن‌ صفحه اشاره می‌کنند (کلاینبرگ[52]، 1999). در هر دو رتبه اعتبار و میانجی از الگوی جهت‌دار و بدون وزن الگوریتم‌ها استفاده شد؛ زیرا تمام استنادها از یک مدرک به مدرک دیگر فقط یک‌بار شمارش شده بود و تنها در مورد استناد بود که جهت و وزن برای محاسبه رتبه‌ها اهمیت داشت. از نرم‌افزار اس‌پی‌اس‌اس ویرایش 25[53] نیز جهت انجام آزمون‌های آماری استفاده شد.

یافته‌های پژوهش

یافته‌های اولیه نشان دادند که از میان 168،866 کتاب نمایه‌شده در اسکوپوس، 1869 عنوان کتاب در دانشگاه‌های برتر تایمز دارای رتبه آموزشی بودند و درمجموع 38،573 عنوان کتاب در اسکوپوس شناسایی شدند که با کتاب‌های دارای ارزش آموزشی دارای ارتباط استنادی داشتند؛ همچنین، 1734 عنوان (93 درصد) از کتاب‌های دارای ارزش آموزشی حداقل یک استناد در اسکوپوس داشتند و 1805 عنوان (تقریباً 97 درصد) با سایر کتاب‌های اسکوپوس ارتباط استنادی داشتند. تفاوت تعداد کتاب‌های دارای استنادهای اسکوپوس و استناد‌های کتاب، به این دلیل است که اسکوپوس هنوز پوشش کاملی از استناد به کتاب‌ها ندارد.

پاسخ به سؤال اول پژوهش. آیا رابطه معناداری بین رتبه آموزشی کتاب‌ها و تعداد استناد به آنها وجود دارد؟

در پاسخ به پرسش اول پژوهش، به‌منظور سنجش رابطه بین رتبه آموزشی کتاب‌ها با فراوانی استنادها با توجه به کجی توزیع داده‌های استنادی (واگان و شاو[54]، 2003) از ضریب همبستگی اسپیرمن استفاده شد. لازم به ذکر است که رتبه آموزشی، همان‌طور که پیش‌تر در روش‌شناسی شرح داده شد در سه سطح کلی، رده اصلی و زیررده کنگره محاسبه شد.

جدول 3.‏ وضعیت همبستگی بین تعداد استنادهای اسکوپوس با رتبه آموزشی کتاب‎ها

 

رتبه آموزشی کل

رتبه آموزشی در رده اصلی کنگره

رتبه آموزشی در زیررده‌های کنگره

ضریب همبستگی اسپیرمن

**0.285-

**0.170-

**0.154-

p معناداری

0.001

0.001

0.001

تعداد کتاب‌های دارای استناد اسکوپوس

1,734

1,721

1,721

** همبستگی در 0.01 > p معنادار است.

 

 

 

 

 

با توجه به مندرجات جدول 2، همبستگی تعداد کتاب‌های دارای استناد با رتبه آموزشی در هر سه سطح معنادار است؛ ولی، شدت همبستگی بین تعداد استنادهای اسکوپوس با رتبه آموزشی کلی کتاب‌‌ها (0.285-r =، 0.001p<) قدری بیشتر از شدت همبستگی آن با رده‌های اصلی (0.170- =  r ، 0.001p<) و زیررده‌های کنگره (0.154-r = ، 0.001p<) است. علت منفی‌بودن علامت همبستگی این است که در رتبه‌بندی مدارک، آثار با نمره آموزشی بیشتر رتبه‌های پایین‌تر را به خود اختصاص می‌دهند ولی مقدار استناد برای کار‌های پراستناد بیشتر می‌شود؛ به‌عبارت‌دیگر، با افزایش استناد، نمره آموزشی کتاب‌ها نیز افزایش می‌یابد ولی رتبه آموزشی آنها کاهش می‌یابد و به همین دلیل، جهت ارتباط بین تعداد استناد با رتبه آموزشی معکوس است.

پاسخ به سؤال دوم پژوهش. آیا رابطه معناداری بین رتبه آموزشی کتاب‌ها و رتبه پیچ آنها وجود دارد؟

برای پاسخ به پرسش دوم پژوهش و به‌منظور سنجش رابطه بین رتبه آموزشی کتاب‌ها با رتبه پیچ آنها، با توجه به نرمال‌نبودن توزیع داده‌ها، از ضریب همبستگی اسپیرمن استفاده شد.

جدول 4. وضعیت همبستگی بین رتبه‌ پیج با رتبه آموزشی کتاب‎ها

 

رتبه آموزشی کل

رتبه آموزشی در رده اصلی کنگره

رتبه آموزشی در زیررده‌های کنگره

ضریب همبستگی اسپیرمن

**0.504-

**0.354-

**0.301-

p معناداری

0.001

0.001

0.001

تعداد کتاب‌های دارای رتبه پیج

1,867

1,853

1,853

** همبستگی در 0.01 > p معنادار است.

 

 

 

 

 

طبق جدول 4، نتایج این آزمون نشان داد همبستگی‌ رتبه آموزشی کل و رتبه پیج رنک معنادار اما متوسط و منفی است (0.504- =  r ، 0.001p <  ). ضریب همبستگی بین رتبه آموزشی کتاب­ها در رده­های اصلی (در 0.354- =  r ، 0.001p <) و زیررده‌های کنگره  (0.301- <  r ،  0.001p <) با رتبه پیج معنادار، منفی و ضعیف بود؛ بنابراین، رتبه آموزشی کل، رده‌های اصلی و زیررده‌های کنگره به‌ترتیب بالاترین ضریب همبستگی را با رتبه پیج داشتند.

پاسخ به سؤال سوم پژوهش. آیا رابطه معناداری بین رتبه آموزشی کتاب‌ها و رتبه اعتبار و میانجی آنها وجود دارد؟

برای پاسخ به پرسش سوم پژوهش و به‌منظور سنجش رابطه بین رتبه آموزشی کتاب‌ها با رتبه هیتس آنها (اعتبار و میانجی)، با توجه به نرمال‌نبودن توزیع داده‌ها، از ضریب همبستگی اسپیرمن استفاده شد.

جدول 5. وضعیت همبستگی  بین رتبه‌ هیتس (اعتبار و میانجی) با رتبه آموزشی کتاب‎ها

 

 

رتبه آموزشی کل

رتبه آموزشی در رده اصلی کنگره

رتبه آموزشی در زیررده‌های کنگره

رتبه اعتبار

ضریب همبستگی اسپیرمن

**0.365-

**0.205-

**0.131-

p معناداری

0.001

0.001

0.001

رتبه میانجی

ضریب همبستگی اسپیرمن

0.026-

0.019-

**0.074-

p معناداری

0.263

0.410

0.001

تعداد کتاب‌ها در الگوریتم هیتس

1,867

1,853

1,853

** همبستگی در 0.01 > p معنادار است.

 

 

 

 

 

همان‌طور که در جدول 5 مشاهده می‌شود، نتایج آزمون نشان دادند از بین دو رتبه هیتس، رتبه اعتبار با رتبه آموزشی در هر سه سطح رابطه معنادار و ضعیفی در سطح ضریب معناداری 0.001داشت. رتبه دیگر هیتس، یعنی میانجی، تنها در زیررده‌های کنگره با رتبه آموزشی رابطه معنادار و ضعیفی داشت (0.074- <  r ، 0.05p<).

پاسخ به سؤال چهارم پژوهش. آیا رابطه معناداری بین رتبه آموزشی کتاب‌ها و رتبه اعتبار و میانجی آنها در سطح رده‌های موضوعی کنگره وجود دارد؟

برای پاسخ به پرسش چهارم پژوهش و به‌منظور سنجش رابطه بین رتبه آموزشی کل کتاب‌ها در رده‌های اصلی کنگره با تعداد خام استنادهای اسکوپوس، رتبه پیچ و هیتس (اعتبار و میانجی)، با توجه به نرمال‌نبودن توزیع داده‌ها، از ضریب همبستگی اسپیرمن استفاده شد.

جدول 6. وضعیت همبستگی بین رتبه‌ آموزشی کتاب‌ها در رده‌های اصلی کنگره با استنادهای اسکوپوس، رتبه پیج، اعتبار و میانجی

موضوع رده‌های اصلی کنگره

استنادهای اسکوپوس

رتبه پیج

رتبه اعتبار

رتبه میانجی

علوم اجتماعی

**0.304-

**0.511-

**0.338-

0.028

زبان و ادبیات

0.181-

*0.191-

0.143-

0.110-

فلسفه، روا‌ن‌شناسی و دین

*0.198-

**0.648-

**0.568-

0.073

علوم سیاسی

**0.450-

**0.625-

**0.523-

0.028

علوم طبیعی

**0.296-

0.104

0.013

0.036

تاریخ جهان

**0.230-

**0.585-

**0.503-

0.191-

حقوق

**0.480-

**0.599-

**0.458-

0.041-

جغرافیا، انسان‌شناسی و تفرج

0.004

0.274-

0.281-

0.052-

تاریخ آمریکا

0.297-

*0.478-

0.405-

0.101

پزشکی

0.270-

0.188

0.175

0.043

فناوری

0.266

0.024

0.031

0.067-

کل

**0.285-

**0.395-

**0.319-

0.024-

* همبستگی در 0.05 > p معنادار است؛ ** همبستگی در 0.01 > p معنادار است؛ اعداد پررنگ قوی‌ترین همبستگی معنادار برای آن رده را نشان می‌دهند.

 

 

 

 

 

همان‌طور که در جدول 6 مشاهده می‌شود در اغلب رده‌ها همبستگی بین رتبه آموزشی و رتبه پیج قوی‌تر از رتبه اعتبار و استنادهای اسکوپوس بود ولی با رتبه میانجی همبستگی در هیچ‌کدام معنادار نبود. در رده‌های علوم اجتماعی، فلسفه، روان‌شناسی و دین، علوم سیاسی، تاریخ جهان، و حقوق رتبه آموزشی کل کتاب‌ها با هرسه سنجه استنادهای اسکوپوس، رتبه پیج، و رتبه اعتبار  همبستگی داشت؛ در رده علوم طبیعی، تنها رتبه آموزشی با استنادهای اسکوپوس همبستگی داشت. در زبان و ادبیات رتبه آموزشی تنها با رتبه پیچ رابطه معناداری داشت.

همبستگی بین رتبه آموزشی و استنادهای اسکوپوس در 5 رده موضوعی اصلاً معنادار نبود و به جز در رده حقوق (در 0.480- =  r ، 0.001>p) و علوم سیاسی (در 0.450- =  r ، 0.001>p) در سایر رده‌ها شامل علوم اجتماعی، فلسفه، روانشناسی و دین، علوم طبیعی، و تاریخ جهان شاهد همبستگی ضعیف ولی معنادار هستیم (0.304 > r > 0.198).

همبستگی بین رتبه پیج و رتبه آموزشی در پنج رده موضوعی علوم اجتماعی، علوم سیاسی، تاریخ جهان، حقوق، تاریخ آمریکا و فلسفه، روان‌شناسی و دین متوسط و معنادار بود (0.648 > r > 0.478) و بالاترین مقدار همبستگی در رده فلسفه، روان‌شناسی و دین و کمترین مقدار در تاریخ جهان بود. در رده زبان و ادبیات ارتباط بین رتبه آموزشی و رتبه پیج ضعیف ولی معنادار بود (0.191-=  r، 0.05>p) و این نشان‌دهنده تفاوت این رده موضوعی با سایر رده‌های مرتبط با علوم اجتماعی و انسانی است.

بحث و نتیجه‌گیری

در این پژوهش تلاش شد تا با بررسی همبستگی بین رتبه آموزشی کتاب‌ها با سنجه‌های استناد، پیج رنک و هیتس، پتانسیل این سنجه‌ها برای رتبه‌بندی آتی کتاب‌ها مورد سنجش قرار گیرد. نتایج نشان دادند همبستگی ضعیف ولی معناداری بین رتبه آموزشی کتاب‌ها و تعداد استنادهای اسکوپوس وجود دارد و این یافته هم‌راستا با یافته‌های پژوهش کوشا و ثلوال (2016) است که ارتباط ضعیفی بین تعداد رخداد تک‌نگاشت‌ها در سرفصل‌های درسی آنلاین و استنادهای رسمی مشاهده کرده بودند. دلیل احتمالی این امر این است که در اسکوپوس شمار استنادها به کتاب‌های حوزه علوم طبیعی بسیار بیشتر از کتاب‌های سایر حوزه‌ها بود؛ و از طرفی، کتاب‌های حوزه علوم طبیعی به میزان کتاب‌های رشته‌هایی مانند علوم اجتماعی و انسانی در سرفصل‌های درسی ظاهر نشده بودند. این موضوع را در 10 عنوان کتاب با بیشترین تعداد استناد می‌توان مشاهده کرد؛ از ۱۰ عنوان کتاب با بیشترین استناد ۴ عنوان در رده موضوعی Q یا علوم طبیعی قرار داشتند و 3 عنوان در رده T یا تکنولوژی بودند و تنها دو عنوان در رده H یا علوم اجتماعی و یک عنوان در رده B یا فلسفه جای داشتند. کتاب دارای بیشترین تعداد استناد دریافتی (تا زمان گردآوری داده‌های پژوهش) «عناصر نظریه اطلاعات[55]» نوشته کاور[56] با 24،163 استناد در اسکوپوس بود. این کتاب از لحاظ آموزشی نیز رتبه خوبی (رتبه 31 بین تمام 1869 کتاب) داشت. کتاب‌های دیگری نیز از حوزه علوم طبیعی و فلسفه با رتبه آموزشی بالا یا ارزش آموزشی کمتر ولی استناد زیاد وجود داشتند که عامل کاهش همبستگی بودند؛ برای مثال، کتاب «جامعه و خودتصویری نوجوان[57]» نوشته روزنبرگ[58] با 13،094 استناد اسکوپوس ارزش آموزشی کمی در بین کتاب‌ها (رتبه 1526 در بین 1869 کتاب) حتی در رده موضوعی خودش (رتبه 182 در بین 227 کتاب رده فلسفه، روان‌شناسی و دین) داشت.  این نشان می‌دهد که کتاب‌هایی که از لحاظ استنادی ارزش زیادی دارند یا دارای محتوای پژوهشی و اصیل علمی هستند کمتر برای آموزش مورد استفاده قرار می‌گیرند. این وضعیت در حوزه علوم و فناوری بیشتر به چشم می‌خورد ولی در حوزه‌های علوم اجتماعی نیز قابل مشاهده است.

جدول 7. اطلاعات مربوط به 10 عنوان کتاب با بیشترین رتبه پیج

ردیف

نویسنده

عنوان تک‌نگاشت

رتبه پیج

1

Woolf

A room of one's own

0.0234

2

Jung

Psychological types

0.0149

3

Croly

The promise of American life

0.0113

4

Marx

The communist manifesto

0.0106

5

Shakespeare

King Lear

0.0096

6

Beverley

The history and present state of Virginia

0.0091

7

Young

Justice and the politics of difference

0.0088

8

Merleau-Ponty

Phenomenology of perception

0.0084

9

Williams

Ethics and the limits of philosophy

0.00737

10

Agrawal

Nonlinear fiber optics

0.00737

 

 

همچنین نتایج نشان دادند در اغلب رده‌های علوم اجتماعی و انسانی، به جز در رده زبان و ادبیات، بین رتبه پیج و رتبه آموزشی همبستگی متوسط و معنادار وجود دارد. این یافته تا حدودی عجیب به نظر می‌رسد؛ زیرا بیشترین رتبه پیج مربوط به یک کتاب معروف در حوزه ادبیات با عنوان «اتاقی از آن خود[59]» نوشته ویرجینیا وولف[60] با رتبه پیج 0.023 بود. علی‌رغم بالابودن رتبه پیج در این حوزه، به نظر می‌رسد با کاربرد کتاب‌های حوزه ادبیات در آموزش ارتباط چندانی نداشته باشد. بیشترین مقدار رتبه پیج را می‌توان در علوم اجتماعی و فلسفه مشاهده کرد. همبستگی قوی رتبه پیج این حوزه‌ها با رتبه آموزشی نشان‌دهنده وجود ارتباط بین این سنجه‌هاست. سه عنوان کتاب از رده علوم طبیعی نیز در بین 10 عنوان کتاب با بیشترین رتبه پیج قابل مشاهده هستند که با توجه به عدم وجود همبستگی بین رتبه آموزشی و پیج رنک به نظر نمی‌رسد بیانگر ارزش آموزشی این کتاب‌ها باشد (جدول 7).

علاوه‌براین، به نظر می‌رسد نتایج رتبه اعتبار سخت‌گیرتر از پیجرنک است؛ زیرا در رده‌های مختلف هم‌پوشانی قابل توجهی بین این دو سنجه قابل مشاهده بود. تاریخ آمریکا و زبان و ادبیات که در پیجرنک همبستگی ضعیفی را نشان داده بودند در رتبه اعتبار، همبستگی معناداری نداشتند. بیشترین همبستگی بین رتبه آموزشی و رتبه اعتبار نیز، همانند رتبه پیج، در رده فلسفه، روان‌شناسی و دین بود. برخلاف رتبه پیج، کتاب‌های ادبیات کتاب‌هایی نبودند که بیشترین رتبه اعتبار را داشته باشند. بالاترین نمره اعتبار به کتابی با عنوان «عدالت و سیاست‌های تبعیض[61]» نوشته یانگ[62] با رتبه اعتبار (0.327) تعلق داشت که در رده فلسفه، روا‌ن‌شناسی و دین بود. سایر کتاب‌ها با بیشترین رتبه اعتبار نیز از همین حوزه و رده علوم اجتماعی، اقتصاد و سیاست بودند.

همچنین، نتایج پژوهش نشان داد بین رتبه آموزشی کتاب‌ها با رتبه میانجی آنها همبستگی وجود ندارد. در این رابطه باید اشاره کنیم که رتبه میانجی معکوس رتبه اعتبار است و بر مبنای مقادیر آن محاسبه می‌شود؛ بنابراین، وقتی رتبه اعتبار با رتبه آموزشی کتاب همبستگی داشته باشد طبیعی است که رتبه میانجی رفتاری معکوس نشان دهد. اغلب با افزایش رتبه اعتبار یک کتاب رتبه میانجی آن کاهش می‌یابد. به‌طور منطقی، رتبه میانجی مدارکی بیشتر است که به تعداد بیشتری از مدارک با رتبه اعتبار بالا استناد داده باشند؛ و درعین‌حال، استناد زیادی نیز از سایر مدارک دریافت کرده باشند. کتاب «مقید به تشخیص[63]» نوشته مارکل[64] بالاترین رتبه میانجی را با 0.00137 داشت. این کتاب از 103 عنوان کتاب دیگر استناد دریافت کرده بود و به 15 کتاب استناد داده بود و رتبه آموزشی آن 787 در میان 1869 عنوان کتاب بود. نبود همبستگی بین رتبه آموزشی و رتبه میانجی حاکی از آن است که رتبه آموزشی کتاب‌ها به میزان واسط قرارگرفتن کتاب‌ها یا توان مبادله استنادی آنها ربطی ندارد ولی با توجه به همبستگی رتبه آموزشی با رتبه اعتبار، به میزان اعتبار آنها (توان دریافت استناد) وابسته است.

با توجه به یافته‌های پژوهش می‌توان چنین استنباط کرد که اعتبار استنادی کتاب‌ها با یکدیگر، بیش از استناد به کتاب‌ها در میان نشریات، نشان‌دهنده ارزش آموزشی کتاب‌هاست و این ارتباط به‌طور ویژه‌ای در حوزه‌های علوم اجتماعی، علوم سیاسی، فلسفه، روان‌شناسی و دین، حقوق و تاریخ جهان قابل مشاهده است.

در این پژوهش تلاش شد تا پتانسیل سه سنجه استناد، پیج رنک و هیتس برای رتبه‌بندی کتاب‌های آموزشی مورد بررسی قرار گیرد. با توجه به یافته‌های پژوهش، همبستگی ضعیفی بین استنادها با رتبه آموزشی کتاب‌ها مشاهده شد که هم‌راستا با پژوهش کوشا و ثلوال (2016) بود که همبستگی ضعیفی بین تعداد سرفصل‌های درسی آنلاین و تعداد استنادهای سنتی گزارش کرده بودند. یافته‌ای که پژوهش ما را از آنها متمایز می‌کند این است که بین رتبه آموزشی کتاب‌ها با رتبه پیج و رتبه اعتبار کتاب‌ها همبستگی متوسط وجود داشت؛ بنابراین، می‌توان نتیجه گرفت که می‌توان از این دو شاخص (رتبه پیج و اعتبار) برای رتبه‌بندی بهتر کتاب‌ها استفاده کرد. شایان ذکر است که صحت نتایج به‌دست‌آمده و نتیجه‌گیری قطعی در این مورد، در پرتو پژوهش‌های بیشتر در این حیطه مشخص خواهد شد. بر این اساس پیشنهاد می‌شود در پژوهش‌های آتی با کنترل سایر عوامل مانند الگوهای میان‌رشته‌ای در نگارش، و همچنین کنترل عوامل مربوط به اهداف نگارش کتاب، مانند نگارش با هدف آموزشی یا پژوهشی، و سایر عوامل مداخله‌گر، نتایج به‌دست‌آمده با این پژوهش مقایسه شوند تا یافته‌های دقیق‌تری به دست آید.

این پژوهش نشان داد که استنادهای رسمی به کتاب‌های درسی به‌طوری ضعیف ارزش آنها در تدریس را بازنمایی می‌کنند؛ بنابراین، به سازوکارهای جدیدی برای شناسایی ارزش آموزشی تولیدات دانشگاهی و فعالیت آموزشی اساتید نیاز است تا منابع درسی شایسته تقدیر در نظام آموزشی با اتکا به شاخص‌هایی فراتر از استنادها شناسایی شوند. به دلیل همبستگی ضعیف استناد به کتاب‌ها با رتبه آموزشی آنها، در این پژوهش سعی کردیم از سنجه‌های دیگری مانند رتبه پیج و رتبه اعتبار بهره بگیریم که به‌طور متوسطی و بهتر از استناد، با رتبه آموزشی کتاب‌ها رابطه داشتند و می‌توانند در ارزیابی ارزش آموزشی کتاب‌ها مفید واقع شوند. البته باید در نظر داشت که سنجه‌های رتبه پیج و اعتبار در برخی حوزه‌ها، و نه همه آنها، همبستگی متوسطی (علوم سیاسی، فلسفه و تاریخ جهان) با رتبه آموزشی داشتند؛ بنابراین، تنها در حوزه‌هایی مانند موارد مذکور می‌توانند برای ارزیابی آموزشی مفید باشند. به همین دلیل، به شواهد مستقیم و بی‌واسطه از کاربرد منابع در آموزش نیاز اساسی وجود دارد.

در انتها یادآوری می‌شود که علی‌رغم اینکه این پژوهش در سطح کتاب‌های سرفصل درسی دانشگاه‌های برتر جهان انجام شده است و به‌طور مستقیم به منابع درسی دانشگاه‌های ایران نپرداخته است، می‌توان کاربردهای بالقوه‌ای را از آن برای کشور متصور بود. ساماندهی منابع درسی امری مهم برای پرکردن شکاف مربوط به ارزیابی منابع مفید در آموزش است؛ بنابراین، دنبال‌کردن منابع آموزشی نه‌تنها موضوعی است که در سطح فراملی اهمیت دارند بلکه برای کشور نیز مهم است و از بُعد علم‌سنجی هم کمتر به آن پرداخته شده است. در کشور منابع درسی پشتیبان و معرف هر رشته‌ در سرفصل‌های درسی رشته‌های دانشگاهی در وبگاه وزارت علوم، تحقیقات و فناوری به‌طور متمرکز ارائه می‌شوند، ولی ضرورتأ این سرفصل‌ها، منابعی که در دانشگاه‌ها تدریس می‌شوند نیستند. متناسب با سرعت تغییرات در هر رشته، آموزش آن حوزه نیز نیاز به روزآمدسازی مداوم دارد (هودسون، 2003). کتاب‌های درسی متعددی توسط اعضای هیئت علمی در داخل تألیف و ترجمه می‌شوند تا در نظام آموزشی به کار گرفته شوند. با اینکه، نگرانی‌هایی نظیر حق مؤلف و انحصار در شیوه تدریس مانع به اشتراک‌گذاری منابع درسی روزآمد در محیط آنلاین هستند، منابع درسی قدیمی‌تر که جای خود را در رشته‌ پیدا می‌کنند، می‌توانند در دسترس عموم قرار بگیرند. در داخل کشور شناسایی اینکه چند گروه آموزشی از کتاب درسی معینی در تدریس استفاده می‌کنند چندان راحت نیست و موضوعی است که دنبال‌کردن آن می‌تواند در تعیین میزان همپایی نظام آموزشی با نظام فراملی و تصمیم‌گیری، به‌ویژه در برنامه‌ریزی درسی و تعیین جهت‌گیری‌های سیاست علمی کشور مؤثر باشد.

پیشنهادهای اجرایی پژوهش

-   این پژوهش نشان داد که می‌توان از اطلاعات منابع مورد استفاده در سرفصل‌های درسی برای ارزیابی ارزش آموزشی کتاب‌های درسی بهره برد و همچنین، می‌توان از رتبه پیج و اعتبار که مستخرج از شبکه استنادی میان کتاب‌ها هستند برای تعیین ارزش و اثرگذاری آموزشی کتاب‌ها استفاده کرد؛ بنابراین، می‌توان پیشنهادهایی به شرح زیر ارائه کرد:

-   نظام‌های استنادی بین‌المللی علاوه بر فراوانی استناد، رتبه پیج و اعتبار را هم برای کتاب‌ها ارائه کنند و یا حداقل امکان محاسبه آنها را برای کاربرانشان فراهم نمایند.

-   علاوه‌بر‌این، با اینکه در سطح بین‌المللی نظام‌های پیوسته برای مستندسازی و شناسایی منابع مورد استفاده در سرفصل‌های درسی وجود دارد، در کشور خلأهایی جدی از این حیث قابل مشاهده است. راه‌اندازی چنین نظام‌هایی می‌تواند در ارزیابی اثرگذاری منابع در تدریس و انجام پژوهش در حوزه منابع آموزشی مفید باشد. این نظام‌ها می‌توانند اطلاعات جامعی درخصوص سرفصل‌های درسی و میزان استفاده از آنها توسط اعضای هیئت علمی، دانشجویان و جز آنها در اختیار برنامه‌ریزان، دست‌اندرکاران و محققان قرار دهند.



[1] . Nederhof

[2] . Abrizah & Thelwall

[3] . Hammarfelt

[4] . SENSE (Socio-Economic and Natural Sciences of the Environment) Ranking

[5] . Wischenbart

[6] . Zuccala, Guns, Cornacchia, & Bod

[7] . Kousha, Thelwall & Rezaie

[8] . Nederhof, Leeuwen, & van Raan

[9] . Boyack & Klavans

[10] . Chi, Jeuris, Thijs, & Glänzel

[11] . Cronin

[12] . اطلاعات دقیقی از مقدار این هزینه‌ها در ایران منتشرنشده است ولی این ارزیابی در سازمان‌های مختلف ازجمله دانشگاه‌ها، وزارت علوم، پژوهش و فناوری و وزارت بهداشت، درمان و آموزش پزشکی، جشنواره‌های فارابی، کتاب سال و مراکز نشر دانشگاهی به‌طور مستقل طی فرآیندهایی متفاوت اداره و اجرا می‌شود.

[13] . Hicks & Potter

[14] . Web of Science

[15] . Scopus

[16] . http://opensyllabusproject.org/faq-2/

[17] . Furnham

[18] . Chen

[19] . Ma

[20] . Radicchi

[21] . Leydesdorff & Salah

[22] . Knapp

[23] . Takasuna

[24] . Jeff

[25] . Hoass & Madigan

[26] . Lepionka

[27] . Guidera

[28] . Griggs & Procter

[29] . Li, Song & Kim

[30] . Finkstaedt

[31] . Clarivate Analytics

[32] . Thomson Reuters

[33] . Elsevier

[34] . Linmans

[35] . Pinski & Narin

[36] . Eigen vector

[37] . Page, Brin, Motwani & Winograd

[38] . Bollen

[39] . Chen

[40] . Zhuge & Zhang

[41] . Radicchi

[42] . Martins, Gonçalves, Laender, & Ziviani

[43] . Zhou, Orshanskiy, Zha, & Giles

[44] . Waltman, Yan, & Eck

[45] . Jiang, Sun, Yang, Zhuge, & Yao

[46] . Open Syllabus Project

[47] . Times Higher Education (THE) university ranking

[48] . Altmetric.com

[49] . Times Higher Education

[50] . Sci2Tool

[51] . damping factor

[52] . Kleinberg

[53] . IBM SPSS Statistics 25

[54] . Vaughan & Shaw

[55] . Elements of Information Theory

[56] . Cover

[57] . Society and the Adolescent Self-image

[58] . Rosenberg

[59] . A room of one's own

[60] . Woolf

[61] . Justice and the Politics of Difference

[62] . Young

[63] . Bound by Recognition

[64] . Markell

جمالی زواره، بتول، نصر، احمدرضا، و آرمند، محمد (1387). معیارهای ارزیابی کتاب‌های درسی دانشگاهی. پژوهش و نگارش کتب دانشگاهی، سال سیزدهم (1)، 9-31.

حریری، نجلا، و فیروزی، نگار (1393). تحلیل استنادی کتاب‌های درسی پزشکی سایت آمازون از نظر استناد به مقالات دانشکده‌های داروسازی دولتی ایران. مدیریت اطلاعات سلامت، سال یازدهم (2)، 190-198.

رضی، احمد (1388). شاخصه‌های ارزیابی و نقد کتاب‌های درسی دانشگاهی. پژوهش و نگارش کتب دانشگاهی، سال چهاردهم (1)، 21-.

سارلی، ناصرقلی (1383). کتاب درسی دانشگاهی و معیارسازی زبان. پژوهش و نگارش کتب دانشگاهی، سال هشتم (4)، 9-.

ملکی، حسن (1385). مبانی و معیارهای نقد کتاب درسی دانشگاهی. پژوهش و نگارش کتب دانشگاهی، سال یازدهم (1)، 9-20.

نوذری، سودابه، حری، عباس، حریری، نجلا، و منصوریان، یزدان (1392). تحلیل استنادی منابع کتاب‌ها درباره حافظ. مطالعات ملی کتابداری و سازماندهی اطلاعات، سال بیست و چهارم (1)، 52-75.

یارمحمدیان، محمدحسین، آرمند، محمد، و زارعی، هاجر (1389). ارزیابی کتاب‌های درسی دانشگاهی علوم انسانی بر اساس شاخص‌های مطلوب کتاب‌های درسی دانشگاهی. پژوهش و نگارش کتب دانشگاهی، سال پانزدهم (1)، 36-58.

.Abrizah, A., & Thelwall, M. (2014). Can the impact of non-‏‏‏‏‏Western academic books be measured? An investigation of Google Books and Google Scholar for Malaysia. Journal of the Association for Information Science and Technology, 65(12), 2498-‏‏‏‏‏2508. doi:doi:10.1002/ asi.23145

Bollen, J., Rodriquez, M. A., & Van de Sompel, H. (2006). Journal status. Scientometrics, 69(3), 669-687.

Boyack, K. W., & Klavans, R. (2014). Including cited non-source items in a large-scale map of science: What difference does it make? Journal of Informetrics, 8, 569-580. doi:10.1016/j.joi.2014.04.001

Chen, P., Xie, H., Maslov, S., & Redner, S. (2007). Finding scientific gems with Google’s PageRank algorithm. Journal of Informetrics, 1(1), 8-15.

Chi, P. S., Jeuris, W., Thijs, B., & Glänzel, W. (2015). Book Bibliometrics – A New Perspective and Challenge in Indicator Building Based on the Book Citation Index. Paper presented at the ISSI 2015-The 15th International Conference on Scientometrics and Informetrics, Turkey.

Cronin, B., Snyder, H., & Atkins, H. (1997). Comparative citation rankings of authors in monographic and journal literature: A study of sociology. Journal of documentation, 53(3), 263-273.

Finkstaedt, T. (1990). Measuring research performance in the humanities. Scientometrics, 19(4/5), 407-417.

Furnham, A. F. (1990). Quantifying quality: An argument in favour of citation counts. Journal of Further and Higher Education, 14(2), 105-110.

Griggs, R. A., & Christopher, A. N. (2016). Who’s Who in Introductory Psychology Textbooks: A Citation Analysis Redux. Teaching of Psychology, 43(2), 108–119. https://doi.org/10.1177/0098628316636276

Griggs, R. A., & Proctor, D. L. (2002). A citation analysis of who's who in introductory textbooks. Teaching of Psychology, 29(3), 203-206.

Guidera, J. (2009). Content and Citation Analysis of Interdesciplinary Humanities Textbooks within A Framework of Curriculum Theory.

Hammarfelt, B. (2011). Interdisciplinarity and the intellectual base of literature studies: citation analysis of highly cited monographs. Scientometrics, 86, 705-725. doi:10.1007/s11192-010-0314-5

Hammarfelt, B. (2016). Beyond Coverage: Toward a Bibliometrics for the Humanities Research Assessment in the Humanities (pp. 115-131): Springer International Publishing.

Hicks, D., J. Potter (1991), Sociology of scientific knowledge: A reflexive citation analysis or science disciplines and disciplining science," Social Studies of Science, 21,459-501.

Hicks, D. (1999). The Difficulty of Achieving Full Coverage of International Social Science Literature and the Bibliometric Consequences. Scientometrics, 44(2), 193-215. doi:10.1007/bf02457380

Hoaas, D. J., & Madigan, L. J. (1999). A citation analysis of economists in principles of economics textbooks. The Social Science Journal, 36(3), 525-532.

Hodson, D. (2003). Time for action: Science education for an aternative future. International Journal of Science Education, 25(6), 645-670. DOI: 10.1080/09500690305021

Jaffe, E. D. (1997). International marketing textbooks: a citation analysis as an indicator of the discipline’s boundaries. International Marketing Review, 14(1), 9-19.

Jiang, X., Sun, X., Yang, Z., Zhuge, H., & Yao, J. (2016). Exploiting Heterogeneous Scientific Literature Networks to Combat Ranking Bias: Evidence From the Computational Linguistics Area. Journal of the American Society for Information Science and Technology, 67(7), 1679-1702. doi:10.1002/asi.23463

Kleinberg, J. M. (1999). Authoritative sources in a hyperlinked environment. Journal of the ACM (JACM), 46(5), 604-632.

Knapp, T. J. (1985). Who's who in American introductory psychology textbooks: A citation study. Teaching of Psychology, 12(1), 15-17.

Kousha, K., & Thelwall, M. (2008). Assessing the Impact of Disciplinary Research on Teaching: An Automatic Analysis of Online Syllabuses. Journal of the American Society for Information Science and Technology, 59(13), 2060-2069. doi:10.1002/asi.20920

Kousha, K., & Thelwall, M. (2009). Google book search: Citation analysis for social science and the humanities. Journal of the American Society for Information Science and Technology, 60(8), 1537-1549. doi:10.1002/asi.21085

Kousha, K., Thelwall, M., & Rezaie, S. (2011). Assessing the Citation Impact of Books: The Role of Google Books, Google Scholar, and Scopus. Journal of the American Society for Information Science and Technology, 62(11), 2147-2164. doi:10.1002/asi.21608

Kousha, K., & Thelwall, M. (2015). An Automatic Method for Extracting Citations from Google Books. Journal of the American Society for Information Science and Technology, 66(2), 309-320.

Kousha, K., & Thelwall, M. (2016). An Automatic Method for Assessing the Teaching Impact of Books from Online Academic Syllabi. Journal of the Association for Information Science and Technology, 67(12), 2993-3007. doi:10.1002/asi.23542

Kousha, K., & Thelwall, M. (2017). Are Wikipedia citations important evidence of the impact of scholarly articles and books? Journal of the Association for Information Science and Technology, 68(3), 762-779. doi:10.1002/asi.23694.

Leydesdorff, L. (2009). How are New Citation-Based Journal Indicators Adding to the BibliometricToolbox? Journal of the American Society for Information Science and Technology, 60(7), 1327-1336. doi:10.1002/asi.21024

Leydesdorff, L., & Salah, A. A. A. (2010). Maps on the basis of the Arts & Humanities Citation Index: The journals Leonardo and Art Journal, and ‘‘Digital Humanities’’ as a topic. Journal of the American Society for Information Science and Technology, 61(4), 787-801.

Lee, H., Song, J. K. M., & Kim, C. O. (2015). Coherence analysis of research and education using topic modeling. Scientometrics, 102, 1119-1137. doi:10.1007/s11192-014-1453-x

Lepionka, M. E. (2005). Writing and Developing Your College Textbook Supplements: Atlantic Path Publishing.

Linmans, A. J. M. (2010). Why with bibliometrics the Humanities does not need to be the weakest link: Indicators for research evaluation based on citations, library holdings, and productivity measures. Scientometrics, 83, 337–354. doi:10.1007/s11192-009-0088-9.

Ma, N., Guan, J., & Zhao, Y. (2008). Bringing PageRank to the citation analysis. Information Processing and Management, 44:800-810. doi:10.1016/j.ipm.2007.06.006

Martins, W. S., Gonçalves, M. A., Laender, A. H. F., & Ziviani, N. (2010). Assessing the quality of scientific conferences based on bibliographic citations. Scientometrics, 83(1), 133-155. doi:10.1007/s11192-009-0078-y.

Nederhof, A. J. (1989). Books and chapters are not to be neglected in measuring research productivity, American Psychologist, 734-735.

Nederhof, A. J., Leeuwen, T. N., & Raan, A. F. J. (2009). Highly cited non-journal publications in political science, economics and psychology: a first exploration. Scientometrics, 83(2), 363-374. doi:10.1007/s11192-009-0086-y.

Page, L., Brin, S., Motwani, R., & Winograd, T. (1999). The PageRank citation ranking: Bringing order to the web. Stanford InfoLab.

Pinski, G., & Narin, F. (1976). Citation influence for journal aggregates of scientific publications: Theory, with application to the literature of physics. Information Processing and Management, 12(5), 297-312.

Radicchi, F., Fortunato, S., Markines, B., & Vespignani, A. (2009). Diffusion of scientific credits and the ranking of scientists. Physical Review E-Statistical, Nonlinear, and Soft Matter Physics, 80(5), 056103.

SENSE (2009). RANKING OF ACADEMIC PUBLISHERS – approved by SENSE General Board in May 2009. Retrieved from http://www.sense.nl/gfx_content/documents/ ABCDEindeling%20Scientific%20Publishers%20SENSE_approved_May_2009.pdf.

Takasuna, M. (2013). Important literature referenced in textbooks on the history of psychology: A preliminary citation analysis using 13 textbooks published after 2001. In: Cheiron.

Vaughan, L., & Shaw, D. (2003). Bibliographic and Web citations: What is the difference? Journal of the American Society for Information Science and Technology, 54(14), 1313–1324.

Waltman, L., Yan, E., & Eck, N. J. v. (2011). A recursive field-normalized bibliometric performance indicator: an application to the field of library and information science. Scientometrics, 89, 301-314. doi:10.1007/s11192-011-0449-z.

Zhou, D., Orshanskiy, S. A., Zha, H., & Giles, C. L. (2007). Co-ranking authors and documents in a heterogeneous network. Paper presented at the IEEE International Conference on Data Mining (ICDM).

Zhuge, H., & Zhang, J. (2010). Topological Centrality and its e-Science Applications. Journal of the American Society for Information Science and Technology, 61(9), 1824-1841. doi:10.1002/asi.21353.

Zuccala, A., Guns, R., Cornacchia, R., & Bod, R. (2015). Can We Rank Scholarly Book Publishers? A Bibliometric Experiment with the Field of History. Journal of the American Society for Information Science and Technology, 66(7), 1333-1347. doi:10.1002/asi.23267.