Pengukuran dan Evaluasi Program Literasi Informasi

*dipresentasikan pada Pelatihan Information Literacy Training for IL Trainer 28-30 Juli 2010 di Universitas Pelita Harapan, Lippo Karawaci*

Definisi dan tujuan pengukuran dan evaluasi

Kata assessment ternyata tidak mudah untuk diterjemahkan ke dalam Bahasa Indonesia ketika digunakan dalam konteks untuk memberi penilaian terhadap suatu kinerja. Kata Bahasa Indoensia untuk assessment dalam beberapa kamus, baik online maupun cetak adalah penaksiran atau pengukuran. Kata pengukuran digunakan dalam materi ini untuk mewakili kata assessment, sekalipun assessment lebih nyaman dan terasa pas untuk digunakan. Sementara kata evaluation sudah membumi di Indonesia dengan kata evaluasi sebagai padanan kata dalam Bahasa Indonesia.

Kedua kata, evaluasi dan pengukuran terkesan dapat saling menggantikan. Tapi ketika dirasakan lagi, dua kata tersebut memiliki arti yang berbeda. Berdasarkan beberapa sumber di Internet, pengukuran (assessment) adalah kegiatan untuk menilai kinerja dan dilakukan saat proses itu berlangsung. Sementara evaluasi adalah kegiatan untuk memberikan nilai apakah suatu kegiatan, program atau suatu hal itu sudah sesuai dengan tujuan yang ditetapkan atau standar yang digunakan. Evaluasi menggunakan pembanding. Pembanding yang digunakan adalah tujuan yang ditetapkan atau kriteria/standar yang diberlakukan. Seberapa pencapaian yang dihasilkan itu diberi nilai. Itulah evaluasi.

Pengukuran (assessment) pada program literasi informasi diberikan kepada para peserta program. Dalam konteks perpustakaan akademik peserta adalah mahasiswa dan dalam konteks perpustakaan sekolah, peserta adalah siswa yang mengikuti program literasi informasi. Pengukuran tersebut untuk melihat apa yang mereka pelajari dalam program literasi informasi. Sementara evaluasi digunakan untuk menilai program literasi informasi. Program literasi informasi yang dirancang pasti mempunyai tujuan. Untuk itu evaluasi digunakan untuk melihat apakah tujuan program tercapai.

Tujuan Instruksional Program Literasi Informasi

Program literasi informasi adalah program tutorial yang diadakan untuk membekali siswa/mahasiswa dengan kemampuan memanfaatkan informasi dan menggunakan informasi secara efektif dan etis untuk kebutuhan informasi mereka. Tujuan yang ditentukan oleh penyelenggara program adalah setiap mahasiswa/siswa yang telah mengikuti program ini memiliki kemampuan tersebut. Tujuan umum tersebut dirinci menjadi beberapa tujuan-tujuan yang lebih khusus sesuai dengan tutorial yang disajikan. Masing-masing tutorial yang tercakup di dalam program memiliki tujuan masing-masing yang akhirnya kesatuannya membentuk tujuan program literasi informasi.

Memulai program literasi informasi diawali dengan mengetahui kebutuhan atau masalah kemampuan yang berkaitan dengan pemanfaatan informasi oleh siswa/mahasiswa. Hal ini dapat dilakukan dengan survey atau observasi terhadap mereka dan dengan bekal temuan kebutuhan tersebut, dibentuklah proposal program literasi informasi. Proposal tersebut kemudian diwujudkan dalam program literasi informasi. Dalam proposal telah tercantum jelas tujuan dari program yang akan dijabarkan menjadi tujuan umum tiap modul, dan setiap tujuan umum modul menjadi dasar bagi tujuan khususnya. Selain itu model literasi informasi yang akan digunakan sebagai dasar program ditetapkan dan dicantumkan dalam proposal program. Model literasi informasi tersebut akan mendasari perancangan detil program dan modul.

Pada setiap modul ditetapkan tujuan instruksional umum (TIU) dan tujuan instruksional khusus (TIK). TIU dan TIK dapat mengacu pada standar model literasi informasi yang digunakan. Misalnya pada model literasi informasi BIG 6, langkah kedua information Seeking Strategies atau strategi pencarian informasi. Standar yang ditetapkan adalah:

1. Determine all possible sources/Menentukan sumber-sumber yang tersedia

2. Select the best sources/ Memilih sumber yang terbaik/tepat.

Ada beberapa modul yang dapat dihasilkan seperti :

1. Modul pencarian informasi dengan mesin pencari di Internet

2. Modul pemanfaatan e-journal

3. Modul evaluasi informasi dari web dan web 2.0

Pengukuran dibuat berdasarkan TIU dan TIK modul berupa tes atau ujian yang beragam bentuknya. Hasil dari pengukuran setiap peserta secara keseluruhan akan menghasilkan pola atau gambaran kinerja atau pencapaian kelas. Hasil tersebut kemudian dibandingkan dengan standar yang ditetapkan. Hasil pembandingan tersebut adalah hasil evaluasi terhadap peserta progam literasi informasi dan juga evaluasi terhadap program literasi informasi. Evaluasi terhadap program literasi informasi dapat dilakukan secara khusus dengan alat pengukuran seperti kuesioner atau pertanyaan terbuka.

Metode Pengukuran dan Evaluasi

Pemilihan metode pengukuran dan evaluasi didasari pada beberapa hal yaitu:

1. kepada siapa hasil pengukuran dan evaluasi tersebut ditujukan

Pemilihan metode berdasarkan tujuan pengukuran, kepada siapa pengukuran diperuntukkan, dan apa yang akan dinilai. Sebagai contoh tujuan pengukuran adalah untuk menilai pencapaian peserta dalam memahami materi yang diberikan. Hasil pengukuran untuk manager atau kepada siapa kita bertanggung-jawab. Hasil tersebut akan digunakannya untuk memperlihatkan hasil program LI dan memutuskan keberlanjutan dari program tersebut setelah pelaksanaan. Objek yang dapat diukur adalah instruktur program LI dan kemampuan peserta program LI.

2. tipe data apa yang diperlukan untuk mendapatkan gambaran dari hasil program

Tentukan data yang diperlukan. Seberapa tepat, rinci atau detil. Bentuknya numerik atau deskripsi. Jika bertujuan untuk meningkatkan perfoma program selanjutnya, maka data yang diperlukan berkaitan dengan sikap dan opini dari peserta program berkaitan dengan hasil pembelajaran.

3. pelaksanaan pengukuran dan evaluasi

Hal-hal praktis yang perlu diperhatikan berkaitan dengan waktu pelaksanaan: kapan dan berapa lama. Alat-alat yang digunakan, lingkungan tempat pelaksanaan, dan teknologi yang mungkin terlibat dalam pelaksanaan. Perkembangan teknologi informasi memungkinkan adanya pengukuran secara online dan dilakukan kapanpun pada lingkungan yang ditentukan oleh yang peserta program LI.

Metode-metode pengukuran dan evaluasi dapat didasari pada waktu pelaksanaan pengukuran/evaluasi, jenis data yang diperlukan dan standar penilaian yang digunakan.

1. Formative dan Summative

Pengukuran formative untuk memberi umpan balik ke pengajar dan dilakukan saat produk/program berlangsung. Pengukuran dilakukan saat kelas berlangsung untuk melihat efektifitas dari penyajian materi. Informasi yang diberikan adalah bagian mana dari pengajaran yang berhasil/berjalan dengan baik dan bagian mana yang perlu perbaikan. Formative pengukuran didasari pada teknik pengukuran informal: observasi kelas.

Pengukuran summative menentukan pengaruh atau hasil dari program atau produk setelah dilaksanakan. Pengukuran ini dilakukan setelah kelas selesai dan hasilnya digunakan untuk memastikan apakah standar yang digunakan sudah dipenuhi. Pengukuran ini bentuknya formal dan temuannya sebagai bahan pertanggung-jawaban program. Pengukuran ini untuk menjawab pertanyaan apakah kelas ini perlu dilanjutkan atau tidak. Pengukuran ini adalah evaluasi.

2. Kualitatif dan Kuantitatif

Metode kualitatif bersifat deskriptif dan berasal dari interview, observasi, pertanyaan terbuka dan laporan pribadi. Peserta diskusikan apa yang mereka temukan: apa yang sukses, kurang, tepat, berguna, dan cara lain yang mereka pikirkan. Hasil tidak dikategorikan dalam kriteria pencapaian tertentu. Katagori justru kadang terbentuk setelah data dikumpulkan dan direview untuk menentukan beberapa katagori. Metode ini memungkinkan munculnya respon yang tidak terpikirkan. Dipilih untuk program yang tujuannya dapat diukur tanpa menggunakan angka dan deskripsinya bermanfaat untuk menilai, mengubah dan melanjutkan program.

Pendekatan kuantitatif cenderung pada test objektif yang tidak memberikan indikasi proses belajar yang jelas. Sekalipun kuantitatif banyak digunakan, metode kualitatif mulai digunakan untuk mengukur kemampuan dari peserta. Pendekatan ini lebih menyeluruh sehingga keseluruhan fenomena tertangkap.

Kualitatif biasanya digunakan pada pengukuran kognitif/humanis karena mau menangkap apa yang terjadi pada pikiran seorang pembelajar. Pengukuran kognitif/humanis yang efektif biasanya untuk: metode mengajar yang menekankan pada: self-directed learning, berpikir kritis, belajar aktif, dan relevansi. Bentuk informasi yang diperlukan dan diharapkan adalah kunci dari penentukan penggunaan kuantitatif atau kualitatif. Keduanya dapat dikumpulkan, dianalisis dan memberi makna. Sebagai contoh kuesioner (numerik/kuantitatif) diberikan kepada para peserta program LI di akhir program (summative) dan kuesioner tersebut dibuat dengan Google Docs dan tersaji secara online.

Alat-alat Pengukuran dan Evaluasi

Beberapa alat pengukuran dan evaluasi yang dapat digunakan adalah sebagai berikut beserta penjelasan dari karakteristik alat pengukuran tersebut :

1. Objective test : pertanyaan dengan pilihan jawaban yang pasti seperti contohnya: pilihan ganda, matching, true/false. Mengumpulkan fakta tapi tidak dapat menguji kemampuan kognitif. Tidak cocok untuk kebutuhan program LI.

2. Essay atau pertanyaan terbuka: fleksibel, mengumpulkan data berupa deskripsi dan opini. Hasil sulit dinilai.

3. Kuesioner untuk mendapatkan gambaran tentang sikap dan opini dengan berbagai jenis pertanyaan. Jawaban pada kluster tengah lebih sering terjadi.

4. Wawancara: menghabiskan banyak waktu, arah dapat disesuaikan dengan kebutuhan hal yang perlu diuji pada tiap orang dapat berbeda

5. Performance Assessment: menilai melalui pengamatan peserta melakukan hal-hal yang harus dilakukan. Kadang-kadang kurang valid karena mereka dapat berlaku kurang alami karena tahu kalau diamati

6. Product Assessment: memberikan hasil yang jelas, tapi tidak tahu proses yang dijalani untuk mendapatkan hasil itu

7. Classroom Assessment Techniques (CAT) menggunakan Minute Paper. Pertanyaan-pertanyaan diajukan di kelas saat mengerjakan langkah-langkah tertentu dan mereka harus menjawab pada secarik kertas pada waktu yang terbatas. Cara ini dianggap paling cocok untuk pengukuran kemampuan peserta program LI.

Penggunaan dan pemilihan alat sangat dipengaruhi oleh tujuan dari pengukuran.

Merancang Pengukuran pada Program Literasi Informasi

Berikut ini merupakan contoh rencana pengukuran terhadap peserta program LI yang mengunakan model literasi informasi : BIG 6, terutama pada langkah Information Seeking Strategies atau strategi pencarian informasi. Dalam contoh ini pencarian informasi dilakukan dengan menggunakan mesin pencari di Internet. Peserta dianggap mampu melakukan pencarian jika telah memenuhi standar. Standar yang digunakan diambil dari BIG6 pada langkah 2 yaitu :

1. Determine all possible sources/Menentukan sumber-sumber yang tersedia

2. Select the best sources/ Memilih sumber yang terbaik/tepat

Tujuan instruksional (TIU) dari modul Pencarian Informasi di Internet adalah : membekali mahasiswa dengan cara melakukan pencarian dan evaluasi sumber informasi di Internet menggunakan mesin pencari secara efisien dan efektif. Berikut rancangan dari pengukuran yang akan dilakukan:

TIK	Indikator	Metode Pengukuran	Alat ukur
1. Setelah mengikuti kelas ini, mahasiswa mampu menentukan beberapa kata kunci yang tepat untuk kebutuhan informasinya	1. mampu menentukan kata benda dari deskripsi kebutuhan informasi untuk kata kunci 2. mampu membahasakan dalam bahasa Inggris 3. mampu mendapatkan padanan kata untuk pencarian berikutnya	Formative	Minute paper 1. tuliskan kata-kata kunci yang digunakan berdasarkan urutan penggunaan dan hasil yang didapatkan 2. dari mana mendapatkan padanan kata, dan kata kunci apa yang paling tepat untuk hasilkan sumber informasi yang dimaksud?
2. Setelah mengikuti kelas ini, mahasiswa mampu menentukan strategi pencarian informasi dengan mesin pencari secara efisien dan efektif	Mampu gunakan penelusuran lanjut pada mesin pencari	Formative	Minute Paper berupa tugas pencarian : 1. Pencarian dari domain khusus 2.Pencarian dari domain khusus dan file khusus 3. Pencarian yang menyempit dengan hilangkan kata tertentu dan file khusus
3. Setelah mengikuti kelas ini, mahasiswa mampu menetapkan sumber informasi yang sah dan dapat dipertanggung-jawabkan	Mampu membuktikan faktor-faktor penentu keabsahan sumber informasi.	Formative	Minute Paper : Menentukan sumber informasi dan memberikan argumentasi keabsahan sumber informasi.
4. Setelah mengikuti kelas ini, mahasiswa mampu menentukan sejumlah sumber informasi dari Internet yang tepat untuk kebutuhan informasinya.	Mampu memberikan daftar sumber informasi, kata kunci yang digunakan untuk mendapatkan, dan argumentasi keabsahan sumber informasi	Summative	Product Assessment 1. Tentukan 2 sumber informasi yang sah dan bertanggung jawab dari Internet untuk kebutuhan informasi bentuk-bentuk kreatif menyajikan tur perpustakaan bagi mahasiswa baru 2. Tentukan 2 sumber ifnormasi yang sah dan bertanggung jawab dari Internet untuk kebutuhan informasi cara mengajar satu mata ajar untuk siswa SD/SMP./SMA.

Kriteria-kriteria keberhasilan untuk setiap pengukuran dapat ditetapkan berdasarkan indikator-indikator pencapaian TIK di atas. Misalnya pada TIK ke 3, indikatornya adalah mampu membuktikan faktor-faktor penentu keabsahan sumber informasi. Untuk menentukan keabsahan sumber informasi dari Internet hal-hal yang harus dipenuhi adalah :

1. Pengarang: kompetensi tepat atau tidak tepat, dan terbukti

2. Domain situs: kesesuaian dengan kebutuhan

3. Pembaharuan informasi di situs: kekinian dari informasi

4. Link terkait : jika ada link, terkait atau tidak

5. Tujuan informasi yang disajikan: kesesuaian dengan kebutuhan

6. Situs pembanding: informasi saling mendukung atau tidak

Jika apa yang dilakukan peserta sesuai dengan kriteria, maka peserta dinyatakan mampu untuk mencapai TIK.

Evaluasi program literasi informasi dapat dilakukan dengan menyiapkan beberapa pertanyaan tentang pelaksanaan program, situasi kelas, materi yang diberikan dan instruktur yang mendampingi dengan menyediakan beberapa alternatif jawaban. Bentuk berupa kuesioner dan dilengkapi dengan pertanyaan terbuka yang memberi kesempatan bagi peserta untuk menjawab sesuai dengan apa yang dirasakan, dialami dan dipikirkannya. Jawaban-jawaban dari pertanyaan terbuka kadang-kadang melebihi dari apa yang dipikirkan atau diperkirakan oleh pelaksanaan program LI.

Sebagai contoh, beberapa deskripsi berikut adalah catatan singkat tentang pengalaman mengikuti 4 pertemuan kelas literasi informasi untuk mahasiswa program studi Teologia di UKDW.

JB:

Literasi informasi itu sangat luas dan kompleks, banyak hal yang menarik untuk dipelajari. Bukan hanya untuk mencari informasi yang tepat tetapi berbagi informasi juga. Mendapatkan informasi yang akurat itu tidaklah mudah, untuk memahami langkah-langkah mencari informasi diperlukan ketelitian dan kepekaan serta ketepatan cara. Meskipun belum sepenuhnya menguasai materi dan langkah-langkahnya serta pengaplikasiannya, belajar literasi informasi di semester ini sangat mendukung untuk matakuliah lainnya. tapi sayang kelas "literasi informasi" hanya dibuka tuk empat minggu saja, inipun bagian dari kelas Bahasa Indonesia.

NP:

Dari hasil pembelajaran ini saya sangat merasa tertolong dalam pencarian data tetapi cara yang dalam pengaktifasian suatu web sangat sulit Khususnya Mindmeister.com selalu mengalami kesalahan password. tetapi keseluruhan pembelajaran ini menarik untuk dibahas karena sedikit menantang saya untuk mencari apa yang menjadi permasalahan. yang membuat saya tertarik untuk mempelajari literasi informasi adalah saya menjadi sangat terbantu dalam pencarian bahan serta materi untuk membuat paper dan pekerjaan lain.

EA:

sebelum belajar Literasi Informasi saya sama sekali tidak tahu bagaimana caranya memperoleh dan mengidentifikasi data. Saya sungguh berterimakasih karena dengan adanya belajar Literasi Informasi saya sudah mampu lebih cepat dan tepat dalam mencari informasi. bukan hanya itu, saya juga sudah tahu ada banyak cara untuk menggunakan search engine dan selain search engine kita juga dapat menggunakan metasearch. waahhh,,,, pokoknya banyak banget hal baru yang saya temukan.

Hal yang tidak dipikirkan sebelumnya dan muncul diutarakan adalah beberapa dari mereka merasa pertemuan sebanyak 4 kali di awal kuliah Bahasa Indonesia kurang untuk mereka dapat melengkapi diri mereka dengan kemampuan-kemampuan literasi informasi yang dibutuhkan. Ide yang muncul adalah program ini terpisah dari matakuliah apapun dan diselenggarakan semester penuh. Pelaksanaan program literasi informasi juga mendapat tanggapan positif dan dirasa mendukung kegiatan belajar mereka. Ini adalah alasan penting untuk melanjutkan dan mengadakan program literasi informasi.

Penutup

Program literasi informasi merupakan program tutorial yang dapat diselenggarakan dengan banyak cara, sebagai syarat dari program tutorial, pengukuran hasil proses tutorial harus ada dan merupakan bukti apakah tutorial yang disampaikan berhasil atau tidak. Hasil pengukuran terhadap peserta program literasi informasi akan menjadi suatu gambaran pencapaian dari program. Apapun hasilnya menggambarkan bagaimana program itu terlaksana. Ini berarti evaluasi bagi program literasi informasi.

Sumber Belajar

1. (2010).“Information Literacy Program Assessment”. Kramer Family Library. . University of Colorado at Colorado Springs (UCCS). Online di: http://www.uccs.edu/~library/services/infolit/assessment.html . Tgl akses 18 Juli 2010.

2. ATHERTON J S (2010). Learning and Teaching; Assessment .UK.Online: http://www.learningandteaching.info/teaching/assessment.htm Tgl Akses: 21 July 2010

3. Grassian, Esther S. Kaplowits, Joan R.(2001). Information Literacy Instruction: Theory and Practive.Neal-Schuman Publishers, Inc. New York.

4. Pausch, Lois M..(2010).“Assessment of Information Literacy: Lessons from the Higher Education Assessment Movement”. ACRL. ALA. Online di: http://www.ala.org/ala/mgrps/divs/acrl/publications/whitepapers/nashville/pauschpopp.cfm. Tgl Akses: 18 Juli 2010

Tambahan sumber informasi :

1. Assessment of Information Literacy http://jonathan.mueller.faculty.noctrl.edu/infolitassessments.htm

2. Classrooms Assessment Techniques. Center of Excellence in Learning and Teaching, Iowa University http://www.celt.iastate.edu/teaching/cat.html

3. Faculty Development: Teaching Tips Index. University of Hawaii, Honolulu Community College. http://honolulu.hawaii.edu/intranet/committees/FacDevCom/guidebk/teachtip/teachtip.htm

4. Pausch, Lois M..“Assessment of Information Literacy: Lessons from the Higher Education Assessment Movement”. ACRL. (2010). ALA. Online di: http://www.ala.org/ala/mgrps/divs/acrl/publications/whitepapers/nashville/pauschpopp.cfm.

5. Chartered Institute of Educational Assessors. http://www.ciea.org.uk/knowledge_centre/articles_speeches/general_articles.aspx.