Salah satu isu paling menarik saat ini di kalangan pengamat, pendukung dan pengelola perpustakaan digital adalah isu evaluasi. Sebagaimana di masa sebelum digital ketika perpustakaan masih didominasi koleksi tercetak, maka kini setiap upaya menyediakan jasa perpustakaan digital memerlukan justifikasi (pembenaran) yang cukup. Dari segi evaluasi, ada perbedaan antara perpustakaan non-digital dan digital, yang menyebabkan perhatian khusus. Saracevic (2004) dengan sangat baik merumuskannya sebagai:

• complexity – perkembangan teknologi informasi yang sangat dinamis dan cepat menyebabkan perpustakaan digital tergolong salah satu institusi yang paling rumit, dan ini menyebabkan evaluasi sulit dilakukan.
• pre-maturity – biar bagaimana pun, fenomena perpustakaan digital baru benar-benar hadir di akhir 1990an, dan setelah 10 tahun baru dianggap dalam tahap perkembangan, sehingga masih ada beberapa aspek yang belum cukup stabil untuk dievaluasi.
• interest levels – sebelum benar-benar dianggap stabil, biasanya banyak pihak lebih tertarik pada pengembangan, dan kurang pada upaya evaluasi.
• funding – berkaitan dengan butir di atas, saat ini belum ada cukup banyak dana tersedia untuk evaluasi yang menyeluruh.
• culture – kegiatan evaluasi belum populer manakala semua orang sedang lebih tertarik pada eksperimen dan pengembangan landasan kerja baru.
• cynicism – belum banyak orang peduli pada kinerja perpustakaan digital, terutama karena juga banyak pihak yang belum jelas memahami: apa yang akan diukur?

Tradisi evaluasi terhadap kinerja perpustakaan yang sudah lama dijalankan para pustakawan, seringkali dianggap tidak memadai untuk situasi digital. Belakangan ini semakin banyak upaya menyusun kerangka pikir baru untuk memodifikasi sistem evaluasi perpustakaan agar lebih cocok bagi keadaan masa kini. Namun, sebagaimana dikatakan oleh Berton et. al. (2004), evaluasi terhadap perpustakaan digital tentu tidak dapat secara sertamerta dilepaskan dari apa yang sudah selama ini dijalankan. Toh, pada dasarnya perpustakaan digital merupakan fenomena lanjutan dari perpustakaan non-digital karena dibangun di atas landasan sosial-budaya maupun teknologi yang sama. Terlepas dari perbedaan karakternya, keberhasilan dan kegagalan perpustakaan non-digital maupun perpustakaan digital sangat bergantung pada bagaimana insitusi-institusi ini ‘bergaul’ dengan masyarakat penggunanya, dan bagaimana pergaulan itu dipahami oleh pengelola untuk meningkatkan kualitas kerja mereka.

Melihat ke sejarah yang panjang tentang evaluasi kinerja perpustakaan, Berton dan kawan-kawan menengarai keberadaan empat jenis evaluasi sebagaimana terlihat di tabel berikut. Keempatnya memiliki cara pandang berbeda terhadap apa yang perlu diukur dan dievaluasi. Ada yang lebih mengutamakan luaran (output) dan cenderung kuantitatif, ada juga yang menitik-beratkan pada hasil atau dampak terhadap masyarakat pengguna, sementara ada juga yang memperhatikan kualitas serta gabungan dari semua unsur lainnya. Perlu juga diingat bahwa masing-masing jenis evaluasi ini digunakan oleh pengelola perpustakaan untuk keperluan yang berbeda. Ada jenis evaluasi yang lebih cocok untuk perencanaan operasional, dan ada pula yang lebih cocok untuk mengukur kepuasan pengguna jasa.

Image:Tabel Evaluasi 1.jpg

Terlepas dari perbedaan dan persamaan berbagai pendekatan di atas, evaluasi terhadap perpustakaan digital memerlukan cara pandang baru karena setidaknya ada 2 hal penting, yaitu:

• Perpustakaan digital sebagai institusi seringkali bukan pembuat dan penyedia fasillitas teknologi atau materi digital yang digunakan para pengunjungnya. Mulai dari OPAC sampai pangkalan data, portal, dan search engine yang digunakan di perpustakaan digital seringkali dibuat dan dikembangkan oleh pihak lain, atau menjadi bagian dari infrastruktur yang lebih besar. Beberapa sumberdaya digital bahkan bersifat lisensi, misalnya yang terjadi dengan jurnal atau buku elektronik, dan perpustakaan digital tidak punya kendali langsung atas kualitas akses.
• Keseluruhan infrastruktur perpustakaan digital itu sendiri seringkali merupakan bagian dari infrastruktur yang lebih luas. Sementara para pengguna perpustakaan digital juga menggunakan alat atau jaringan kerja yang merupakan bagian dari infrastruktur teknologi informasi lebih luas. Pihak-pihak yang terlibat dan bertanggungjawab terhadap kinerja menyeluruh ini tentu saja berada di luar jangkauan wewenang pengelola perpustakaan digital, padahal kinerja perpustakaan itu sendiri sangat dipengaruhi oleh kinerja infrastruktur.

Kedua hal di atas sangat menentukan bagaimana sebuah kualitas dipersepsi oleh para pemakai. Jika kita menggunakan salah satu perangkat evaluasi, misalnya seperti yang dibuat oleh Association of Research Libraries (ARL)[1], yaitu LibQUAL+, maka perlu kiranya diingat bahwa perbedaan kondisi lingkungan tercetak dan lingkungan elektronik sangat mempengaruhi perilaku pencarian informasi (information seeking behavior) dan tata cara pengguna memanfaatkan kandungan isi koleksi. Jika perpustakaan kita berkategori “hibrida”, maka kita tidak dapat begitu saja menggabungkan nilai kepuasan pengguna terhadap fasilitas perpustakaan yang berbeda itu.

Dalam survei pendapat pemakai, perlu juga diperhatikan bahwa para pemakai mungkin bereaksi secara holistik kepada berbagai bentuk fasilitas, padahal fasilitas tersebut belum tentu ada dalam kendali perpustakaan, atau hanya sebagian saja berada dalam kendali perpustakaan. Jika sebuah perpustakaan digital hanya bertindak sebagai ‘perpanjangan tangan’ dari sebuah penyedia jasa digital (misalnya dalam kasus penggunaan federated search ), maka harus diperhatikan: unsur kepuasan apa yang seharusnya dinilai. Dan kalau ada berbagai unsur kepuasan di dalam penggunaan sebuah fasilitas, unsur yang mana harus dijadikan barometer kinerja perpustakaan digital.

Hal lain yang perlu diperhatikan dalam fenomena perpustakaan digital adalah kenyataan bahwa teknologi yang mendasarinya memungkinkan integrasi dalam menciptakan, mencari, dan menggunakan informasi digital. Semua kegiatan ini dapat berlangsung secara cepat di dalam sebuah jaringan digital yang tersebar luas, bahkan mengglobal. Namun semua ini baru merupakan potensi teknologi dan seringkali memberikan harapan berlebihan kepada masyarakat pengguna. Akibatnya, penilaian terhadap perpustakaan digital seringkali terpengaruh oleh persepsi tentang potensi ini. Dari sisi evaluasi, maka perpustakaan digital tidak dapat dilepaskan dari berbagai unsur teknologi, yaitu:

• Kinerja umum (Performance) – Memenuhi persyaratan dasar umum dalam penggunaan teknologi digital berjaringan (digital network).
• Keselarasan (Conformance) – Memakai standar lokal, nasional, maupun internasional dalam hal pengiriman dan pertukaran informasi digital. Ini juga berkaitan dengan interoperability.
• Kekhususan (Features) – Memberikan kemudahan tambahan yang tidak ada di perpustakaan biasa dalam bentuk fitur khusus atau jasa khusus.
• Kehandalan (Reliability) – Menjamin keajegan dalam penyediaan informasi yang bernilai tinggi bagi pengguna, termasuk di dalammnya ketersediaan (availability), kepastian dalam antar-hubungan (tidak ada dead links), bisa sering digunakan (tidak sering down), cepat dan akurat.
• Kesinambungan (Durability) – Bukan merupakan “proyek sesaat” melainkan sebuah jasa yang terus menerus disediakan dan ditingkatkan kualitasnya.
• Keterbaruan (Currency) – Mengupayakan penyediaan hal-hal baru yang menambah nilai jasa perpustakaan kepada pengguna. Misalnya, seberapa baru informasi yang tersedia lewat portal perpustakaan? Seberapa sering jasa ini diperbarui (updated).
• Kemudahan jasa (Serviceability) – Memastikan bahwa semua fasilitas digital yang disediakan perpustakaan mudah digunakan, termasuk bagi mereka yang baru pertamakali menggunakan fasilitas ini.
• Keindahan Penampilan (Aesthetics and Image) – Memenuhi selera (subjektif) penguna demi kenyamanan penggunaan fasilitas digital.
• Kesepakatan Kualitas (Perceived Quality) – Menyadari bahwa kualitas jasa perpustakaan digital selalu dibanding-bandingkan oleh pengguna dengan jasa lainnya. Misalnya, sistem temu kembali di perpustakaan selalu dibandingkan dengan Google atau Yahoo. Kualitas jasa perpustakaan digital seringkali merupakan kesepakatan antar pemakai, bukan pandangan individual.
• Kebergunaan (Usability) – Merupakan ukuran paling penting di semua jenis jasa. Secara lebih spesifik, nilai ini ditentukan oleh pengguna sesuai persepsi subjektif berdasarkan pengalaman mereka dalam berbagai hal termasuk seberapa jauh perpustakaan digital mampu secara tepat memberikan solusi informasi bagi pengguna. Termasuk di sini adalah relevansi informasi itu bagi pengguna. Pengguna juga peduli pada kemampuan sistem menghemat waktu dan upaya pengguna dalam mendapatkan informasi dari berbagai sumber, tidak hanya dari lingkungan lokal.

Sementara itu, khusus mengenai kinerja perpustakaan digital dari segi antar-muka, memang kini sedang berkembang pola evaluasi yang tercakup dalam bidang teknologi interaksi manusia dengan mesin, atau Human-Computer Interaction. Selain kajian-kajian yang lebih bersifat mekanistik dan teknis pembuatan antar-muka, belakangan juga muncul kajian yang menekankan pentingnya pemahaman tentang kebutuhan pemakai sebagai bagian dari interaksi manusia-mesin. Sebagaimana yang dulu pernah dilontarkan Belkin (2002), kajian dan evaluasi antar-muka perpustakaan digital harus memperhatikan berbagai hal sekaligus mulai dari kenyataan bahwa perpustakaan digital melayani komunitas-komunitas spesifik, dengan karakteristik pengguna yang beragam, dengan tugas, tujuan, dan keterampilan yang berbeda-beda, sampai pada jenis koleksi digital yang cenderung berbeda-beda (teks, gambar, video, suara) tetapi disatukan (multimedia dan multiple media). Akibat dari keadaan ini, maka Belkin menegaskan bahwa antar-muka perpustakaan digital sebaiknya dikaitkan dengan tiga hal penting, yaitu tujuan spesifik dari perpustakaan digital yang bersangkutan, ciri perpustakaan digital yang bersangkutan, dan kebergunaan (usability).

Perlu kita garis bawahi pula, bahwa dalam hal kebergunaan ada banyak persepsi tentang apa saja ciri-ciri atau atributnya. Sebagaimana diulas oleh Jeng (2005), sedikitnya ada 14 pendapat yang beredar selama ini, sebagaimana terlihat di tabel berikut:

Image:Tabel Evaluasi 2.jpg
Kita dapat melihat di tabel di atas, bahwa “kebergunaan” menjadi semakin kompleks sebab melibatkan unsur objektif dari sisi teknologi, maupun unsur subjektif dari sisi pemakai teknologi. Dalam bentuk skema, unsur-unsur “kebergunaan” itu dapat dilihat seperti dalam gambar di akhir bagian ini.

Skema tersebut dapat dipakai untuk menyusun rencana evaluasi perpustakaan digital secara menyeluruh untuk mengukur secara holistik, seberapa besar atau tinggi nilai keberadaan perpustakaan digital di lingkungan masyarakatnya. Perhatikanlah bahwa efisiensi dalam simpan dan temu-kembali merupakan salah satu bagian saja dari penilaian tentang kebergunaan. Seringkali kecanggihan penggunaan teknologi temu-kembali ini harus diimbangi oleh hal-hal yang tidak langsung berhubungan dengan teknologi itu, seperti tampilan dan kualitas isi. Demikian pula, atribut-atribut teknologis dalam sebuah sistem, seperti kecepatan, keluasan jangkauan, dan keleluasaan akses seringkali tidak ada nilainya bagi pengguna jika sistem itu secara keseluruhan tidak dapat diselaraskan dengan kegiatan-kegiatan di masyarakat penggunanya. Dalam kasus perpustakaan digital di lingkungan perguruan tinggi, misalnya, kecanggihan sistem perpustakaan digital harus diimbangi dengan integrasinya ke dalam fungsi-fungsi pendidikan atau penelitian (tentang hal ini, dapat dibaca dalam pembahasan tentang e-learning).

 

Image:Tabel Evaluasi 3.jpg

________________________________________
[1] Lihat (http://www.libqual.org/)