Son yıllarda; özellikle doçentlik başvuru şartlarının değişmesinden sonra, akademik çalışmalarda “hakem süreci” daha fazla aranır hale geldi. Bu nedenle hakemli dergi sayısında önemli bir artış yaşanırken, bilimsel toplantılarda da hakem heyetleri ön plana çıktı. Ardından, hakem değerlendirmeleri tartışmalara konu oldu.
İletişim bilimi açından özellikle akademik dergilerdeki hakem değerlendirmeleri farklı üniversitelerdeki farklı yaklaşımların ortaya çıkması ya da belirgin bir şekilde anlaşılması adına önemli bir rol oynadı. Araştırma sistematiğinin farklılığı, kullanılan kavramların çeşitliliği, yabancı dilden çevirilerdeki farklı kavram karşılıkları daha hissedilir hale geldi.
Örneğin araştırma yöntemleri konusunun sorunlu olduğu, niteliksel ve niceliksel tasarımlar arasında belirgin bir ayrımın henüz oluşmadığı konuşulmaya başlandı. “Varsayım” ile “hipotez” kavramlarına yüklenen anlamların farkı bu süreçte anlaşılır hale geldi. İngilizce “agenda-setting” ifadesi için farklı yerlerde “gündem belirleme”, “gündem kurma”, “gündem hazırlama”, “gündem oluşturma”, “gündem koyma ve saptama” gibi karşılıkların bir arada kullanılması sıkıntı yarattı. Bunun gibi pek çok fark, belki daha önce ortada duruyordu ama asıl hakem süreci sonrasında tartışmaya konu oldu. Çünkü artık “itiraz eden birileri” ortaya çıkmıştı…
Değerlendirme raporlarındaki eleştiriler, özellikle genç akademisyenler arasında kimi zaman “anlamlı” ve “yerinde” bulunurken, az da olsa “onur kırıcı” ya da “motivasyon bozucu” yorumlarına yol açtı. Kimi yorumlara göre raporlardaki kimi ifadeler ya da kullanılan sözcükler “acımasızca” ya da “emeğe saygı içermeyen” anlamlara sahipti ve “yapıcı”, “onarıcı”, “ufuk açıcı” nitelikte değildi. Bu yüzden kimi eleştiriler özellikle genç akademisyenleri hüsrana uğratırken, belki de içlerindeki “hevesi öldürme” yönünde etki yarattı.
DEĞERLENDİRMELER ÇELİŞKİLİ Mİ?
Sanırım, hakem değerlendirmelerine ilişkin eleştirilerin en önemlisi, bir çalışmanın en az birden fazla hakeme gönderilmesi ve oralardan gelen “birbiriyle çelişen” raporlara ilişkin. Örneğin bir makale üç ayrı hakeme gönderiliyor. Bunlardan birisi çalışma için “yayınlanabilir” raporu verirken, diğeri “düzeltme” istiyor. Bir diğeri de “bilimsel koşullara sahip olmadığından yayınlanamaz” sonucuna varıyor. Örneğin başka bir yerde, 10 tam puan üzerinden not verilen bir değerlendirmede, aynı makale için verilen notlar 0,25 ile 9,5 arasında değişebiliyor. Birbiriyle “çelişir” bulunan bu sonuçlar da makale yazarının zihninde “adaletsizlik” duygusu uyandırıyor.
Kimi hakemlerin değerlendirme amaçlı yazdıkları kimi yazılar da bir araya getirildiğinde birbiriyle çelişir bulunuyor. Örneğin bir makalenin literatür taraması bölümü için bir hakem “yeterli ayrıntıya sahip ve doyurucu”, diğeri ise “gereksiz yere uzatılmış, ilgisiz kaynaklar ard arda sıralanmış” yorumunda bulunabiliyor. Başka bir deyişle birinin “iyi” dediğine, diğeri “kötü” diyebiliyor.
Hakemlerin makalelerin üzerine yazdıkları kimi notlar da değerlendirmeye ilişkin olmaktan çok hakemlerin kişisel görüş ve bilgi birikimini yansıtıyor. Kimi zaman da bu notlar net bir şekilde anlaşılamıyor. Örneğin bir hakem tarafından bir dipnotta verilmiş kaynak için “(o) bu konuya ne kadar hakim ki!” ya da belki daha iyi niyetli olarak “başka kaynak mı yoktu?” eleştirisi getirilebiliyor. Örneğin “yeterli kaynaklara ulaşılmamış” denildiğinde, hakemin hangi kaynakları kast ettiği tam olarak anlaşılamıyor.
Kimi zaman da eleştiriler açık uçlu bırakılıyor. Örneğin “bu örneklem olmamış” ya da “başka gazeteler de örneklem alınabilirdi” gibi ifadelerin daha açıklayıcı ve yol gösterici olması bekleniyor.
Araştırma sistematiği adına da hakemler tam olarak ne istenildiği ya da istenilmesi gerektiği konusunda hemfikir değil. Örneğin diğer iki hakemin olumlu bulduğu bir tarih çalışması için başka bir hakem, “nerede bu çalışmanın problem, amaç, önem, varsayım ve sınırlılıkları” notunu düşebiliyor.
Tüm bu eleştiri karşısında ise genç bir akademisyen hakem raporlarına yönelik şu eleştiride bulunuyor: “Acaba hakem seçiminde de belirli kriterleri aramak ve not vermek ve ona göre hakem seçmek gerekiyor mu?”
Sonuç olarak hakemler tarafından yapılan kimi yorum ve eleştirilerin birer cümle ya da kelime olarak kalması, açıklama içermemesi, yazarların anlamamasına ya da yanlış anlamasına ve belki de “kırılmasına” neden olabiliyor.
KRİTERLER NEYİ DEĞERLENDİRİYOR?
Hakem değerlendirmelerine ilişkin bir diğer eleştirilen nokta ise bu değerlendirmelerin herhangi bir kriter içerip içermediği ve içeriyorsa, hangi kriterleri içerdiğine ilişkin. Çünkü birkaç yıl öncesi ile karşılaştırıldığında hakem değerlendirme formlarının hazırlanmaya başlandığı ve bu formların farkla akademik yayınlar için farklı nitelikler taşıdığı görülüyor. Başka bir deyişle bu konuda genel bir değerlendirme yerine, belirli kriterlerin oturtulmaya çalışması adına önemli bir gelişmenin sağlandığı söylenebilir.
Ancak belirlenen kriterler adına ise sorunlar devam ediyor. Çünkü kriterlerin en temelde niteliksel ve niceliksel çalışmalar için bile belirgin bir ayrımı içermemesi ya da çok temel unsurlar üzerinde durması ve hassas bir ölçme ve değerlendirme niteliğine sahip olmaması sorun yaratıyor.
Hakemlerin değerlendirme yapacağı kriterlerin çok net bir biçimde tanımlanmaması, açık uçlu, muğlak ya da göreli ifadeler içermesi de durumu karmaşıklaştırıyor. Dolayısıyla belirli kriterlerin var olması, uygun bir ölçme ya da değerlendirme aracının geliştirilebildiği anlamına gelmiyor. Bu nedenle kimi değerlendirmelerin ardından kriterler eleştiriliyor ya da yine yanlış anlaşılmalar ortaya çıkıyor. Çözüm ise bu kriterleri “daha iyi” hale getirmekten geçiyor.
PEKİ, NEDEN BU FARKLILIK?
Peki, neden hakemler birbirinden bu kadar farklı değerlendirmelerde bulunabiliyor? Bunun sanırım birçok nedeni öne sürülebilir. Akademisyenlerin birbirinden farklı eğitim ve bilgi birikimlerine sahip olması ilk akla gelen nedenlerden. Farklı yaklaşımları benimseyen hakemlerin aynı hakem heyetinde yer alması da belki başka bir unsur. Hakemlerin aynı “konsantrasyon” derecesi ile okuma yapıp yapmadıkları ve çerçevede farklı noktalara dikkat edip etmedikleri de diğer unsurlar. Ayrıca her bir hakemin farklı alanlarda uzmanlık sahibi olması ve diğerinin görmediğini daha iyi görebilmesi gibi nedenler de bu farklılığın nedenleri olarak sayılabilir. Ancak bütün bu unsurlar arasında tüm diğer şartlar aynı olsa bile “insan” unsurunun özellikle altını çizmek gerekiyor.
Uluslar arası bir derginin baş editörünün söylediği gibi hakem değerlendirmeleri arasındaki bu farklılık, aslında çok doğal ve insanca bir durumun da yansıması. Çünkü insan olmak, doğal olarak farklı olmayı da beraberinde getiriyor. Bilimsel ilerlemelerin sağlanabilmesi anlamında da bu “farklılık” anlam ve değer taşıyor.
Bu tartışma bir yandan da daha nesnel bir ölçme aracının nasıl geliştirilebileceği sorusunu gündeme getiriyor. Ancak aynı kriterler uygulansa bile farklı hakemlerin aynı çalışma için farklı puanlamada bulunması “insan” unsurunun bu kriterlerden daha önemli olduğunu akla getiriyor. Hakemlerin yargısallığı, kriterler üzerinde yapılan tartışmayı gölgede bırakıyor.
Öte yandan bir çözüm olarak düşünüldüğünde, hakem sayısını artırmak, doktora ve doçentlik sınavlarında uygulamaya başlanan önemli bir açılım. Üç yerine beş hakeme başvurmak, aşırı uçtaki değerlendirmelerin son karar üzerindeki rolünü etkiliyor. Örneğin üç hakemin ortalama düzeyde, birinin düşük ve birinin de yüksek not verdiği bir değerlendirmede karar orta noktada çıkabiliyor. Üç hakem olduğunda ise bir hakemin en düşük notu vermesi, iki hakemin verdiği ortalama ya da “geçer” notu anlamsız hale getirebiliyor. Bu nedenle belki de akademik çalışmaları üç yerine beş hakeme inceletmek insani yani yargısal boyutu daha uzlaşılabilir bir noktaya çekmek adına önem taşıyor.
ÖZET YETERLİ Mİ?
Bir diğer nokta sempozyum ve kongre gibi bilimsel toplantılarda kabul edilecek bildirilerin 300 ya da 500 kelimelik özetler üzerinden değerlendirme yapılması. Bu durumda da hangi kriterler olursa olsun, tam metin üzerinden değerlendirme yapılmaması “adil değerlendirme” tartışmasına yol açıyor. Çalışma nasıl olursa olsun, “en iyi özeti yazan” bildiri sahipleri, toplantıya katılma hakkını elde ediyor. Daha sonra toplantıya katılanlar ise kimi bildiriler hakkında “özetle bildiri arasındaki farka”, “bildirinin boş ya da şişirme olduğuna” ilişkin görüşler ortaya atabiliyor.
Ancak bilimsel toplantılar için “tam metin” istemenin getirdiği bir takım zorluklar bulunuyor. Bunlardan ilki, bu tür toplantılara genellikle çok sayıda akademisyenin başvurması ve bu başvurular arasından kısa sürede sunulabilecek nitelikte olanların belirlenmesi. Örneğin 100 özetin geldiği bir toplantı için bu bildirilerin her birinin en az üç hakem tarafından değerlendirilmesi ve yaklaşık 20 kişilik bir hakem heyetinin tamamından sonuçların alınması yaklaşık olarak, iyi bir olasılıkla, iki aylık süreyi gerekli kılıyor. Bunun bir de tam metin üzerinden yapılacak olduğu düşünülürse bu sürenin bir yılı bulabilecek ve belki de aşabilecek olması, sanırım işin en içinden çıkılmaz bölümünü oluşturuyor. Hatta kimi akademik dergilere bakıldığında, hakem süreci artık bir buçuk yılı ve daha uzun süreyi bulabiliyor. Bu durumda da konuların güncelliğini yitirmesi, yeni ve güncel bilgilerin ortaya çıkması, araştırmacının yazdıklarına yabancılaşması ve konuya soğuması gibi konular gündeme geliyor.
Yıllık olarak düzenli bir şekilde gerçekleştirilen bilimsel toplantılarda “zaman darlığı” önemli bir baskı aracı işlevi görüyor. Bu nedenle de bilimsel toplantıların hakemli dergilere oranla zaman açısından daha sıkışık bir yapıya sahip olduğunu ve belki bununla da bağlantılı olarak işlevlerinin farklı olduğunu ifade etmek gerekiyor. Belki de bu çerçevede hakemli bir dergide aranın bilimsel niteliği, bilimsel toplantılarda sunulan bildirilerde aramak iyi bir özetle çalışmasını anlatmaya çalışan “yazarın” iyi niyetine kalıyor.
TOPLANTILARIN ASIL İŞLEVİ NEDİR?
Bilimsel toplantılarda kimi zaman bir araştırmaya başlamadan özet yazılıyor. Eğer özet kabul edilirse çalışmaya girişiliyor. Bu durumda özette çalışmanın yöntemine bir parça değinilse de ve bulgularına hiç yer verilemiyor. Ancak özet kabul ediliyor ve çalışma birkaç ay içerisinde toplantıda sunulmak üzere sonuçlandırılıyor. Bu da çalışmanın niteliğini etkiliyor.
Bu durumun bir yandan olumlu, bir yandan da olumsuz yanlarından söz etmek mümkün. Öncelikle genç akademisyenlerin yeni çalışmalar yapmalarına fırsat vermek, onları motive etmek, önlerini açmak ve teşvik etmek adına çalışma özetlerini kabul etmek ve çalışmalarını tamamlamalarını istemek olumlu bir yön olarak görülüyor. Ancak bu çalışmalar tamamlandığında nitelik olarak seviyesinin düşük olması “olumsuz” yönü oluşturuyor. Bu durumda da karşımıza bilimsel toplantıların “bir eğitim kurumu” işlevi taşıyıp taşımadığı tartışması çıkıyor. Bu toplantılar bir tür buluşma, kaynaşma, paylaşma, fikir alış verişinde bulunma, tecrübe edinme, kendini gösterme, kendini kanıtlama ve kendini test etme işlevlerine de sahip.
İLERLEME VAR VE DEVAM EDECEK
Sonuç olarak önceki yıllarla karşılaştırıldığında hakem sürecinin aslında belirli bir seviye ulaştığını da söylememiz gerekiyor. Artık bilimsel dergilerde belirli bir hakem heyetinin değerlendirmesinden geçen ve onların önerileri doğrultusunda hazırlanmış çalışmalar yayınlanıyor. Hakem heyetlerinin çoğu, yazarın kimliğini bilmeden “kör okuma” yapıyor. Dolayısıyla yazarın kimliğinden etkilenmiyor. Hakem heyetleri aynı üniversitenin öğretim elemanları arasından kurulmuyor. Çok sayıda üniversiteden akademisyene bu heyetlerde yer veriliyor. Değerlendirme formları ve değerlendirme kriterleri her geçen yıl gelişiyor. Kimi dergiler tüm raporları ve yazışmaları en az iki yıl saklıyor. Şeffaf bir yol izliyor.
Belki zamanla daha uygun ve daha fazla sayıda kriter geliştirilebilir ve belki birbirine daha yakın değerlendirme ölçütlerine sahip hakemler seçilerek hakem heyetleri bu şekilde oluşturulabilir. Bu arada genç akademisyenler de daha “uygun” çalışmalar yapmaya başlar. Gelen eleştirileri daha anlayışla karşılar. Üniversitelerde verilen eğitim ve yaratılan koşullar da geliştirilen kriterleri göğüsler hale gelir. Ayrıca hakem raporları da bu arada tüm “kırıcı” unsurlardan arınır ve tamamıyla daha yapıcı ve yol gösterici hale gelir. Ancak şimdilik eğrisi ve doğrusuyla var olan ölçümü reddetmek ya da kaldırmak da mümkün değil. Geliştirilebilen en uygun ölçüm araçlarıyla çalışmalar değerlendirilmeye devam edilecek. Kuşkusuz bu değerlendirmeler eski değerlendirme yöntemlerine oranla pek çok avantaja sahip. Bu nedenle sanıyorum zamanla her şey daha da yerine oturacak.
-------------------------------
Erkan Yüksel
eyuksel@anadolu.edu.tr
Anadolu Üniversitesi İletişim Bilimleri Fakültesi Öğretim Üyesi
Erkan Yüksel
eyuksel@anadolu.edu.tr
Anadolu Üniversitesi İletişim Bilimleri Fakültesi Öğretim Üyesi
05.04.2007