Jakarta – Para peneliti mengungkapkan artificial intelligence/AI (kecerdasan buatan) selalu salah menafsirkan posisi jarum jam sehari-hari dan gagal dalam aritmatika dasar yang diperlukan untuk tanggal kalender.
Kejadian ini ditremukan peneliti di server pracetak arXiv pada 18 Maret 2025 yang disampaikan dalam sebuah presentasi di International Conference on Learning Representations (ICLR) 2025.
“Kebanyakan orang dapat mengetahui waktu dan menggunakan kalender sejak usia dini. Temuan kami menyoroti kesenjangan yang signifikan dalam kemampuan AI untuk menjalankan keterampilan yang cukup mendasar bagi manusia,” kata Peneliti di Edinburgh University sekaligus penulis utama studi ini, Rohit Saxena pada Senin (19/5/2025).
Kekurangan ini harus diatasi jika sistem AI ingin berhasil diintegrasikan ke dalam aplikasi dunia nyata yang peka terhadap waktu, seperti penjadwalan, otomatisasi, dan teknologi bantuan.
Untuk menyelidiki kemampuan pencatatan waktu AI, para peneliti memasukkan kumpulan data khusus gambar jam dan kalender ke dalam berbagai multimodal large language model (MLLM), yang dapat memproses informasi visual maupun tekstual.
Model yang digunakan dalam penelitian ini meliputi Llama 3.2-Vision milik Meta, Claude-3.5 Sonnet milik Anthropic, Gemini 2.0 milik Google, dan GPT-4o milik OpenAI.
Namun, model AI tidak dapat mengidentifikasi waktu yang tepat dari gambar jam atau hari dalam seminggu untuk tanggal sampel lebih dari separuh waktu. Namun, para peneliti memiliki penjelasan untuk kemampuan pembacaan waktu AI yang sangat buruk.
“Sistem awal dilatih berdasarkan contoh berlabel, sedangkan membaca jam memerlukan sesuatu yang berbeda, penalaran spasial,” ujar Saxena.
“Model tersebut harus mendeteksi jarum jam yang saling tumpang tindih, mengukur sudut, dan menavigasi berbagai desain seperti angka Romawi atau pelat jam. AI yang mengenali bahwa ‘ini adalah jam’ lebih mudah daripada benar-benar membacanya.”
Pengenalan AI terhadap tanggal pun terbukti sama sulitnya. Ketika diberi tantangan seperti ‘Hari apa tanggal ke-153 dalam setahun?’ Tingkat kegagalannya juga tinggi. Sistem AI hanya membaca jam dengan benar sebesar 38,7% dan kalender hanya sebesar 26,3%.
Kekurangan ini juga mengejutkan, karena aritmatika merupakan landasan dasar komputasi, tetapi seperti yang dijelaskan Saxena, AI menggunakan sesuatu yang berbeda.
“Aritmatika mudah untuk komputer tradisional tetapi tidak untuk model bahasa yang besar. AI tidak menjalankan algoritma matematika, ia memprediksi keluaran berdasarkan pola yang dilihatnya dalam data pelatihan,” tuturnya.
“Jadi, meskipun ia dapat menjawab pertanyaan aritmatika dengan benar, penalarannya tidak konsisten atau berbasis aturan, dan pekerjaan kami menyoroti kesenjangan itu.”
Proyek ini merupakan yang terbaru dalam serangkaian penelitian yang menyoroti perbedaan antara cara AI memahami dengan cara manusia. Model memperoleh jawaban dari pola yang sudah dikenal dan unggul ketika banyak contoh dalam data pelatihannya, tetapi gagal ketika diminta untuk menggeneralisasi atau menggunakan penalaran abstrak.
“Apa yang bagi kita merupakan tugas yang sangat sederhana seperti membaca jam mungkin sangat sulit bagi mereka, dan sebaliknya,” ujarnya.
Penelitian ini juga mengungkap masalah yang dialami AI ketika dilatih dengan data yang terbatas, seperti fenomena yang jarang terjadi seperti tahun kabisat atau perhitungan kalender yang tidak jelas.
Meskipun LLM memiliki banyak contoh yang menjelaskan tahun kabisat sebagai sebuah konsep. Namun, itu tidak berarti mereka membuat koneksi yang diperlukan untuk menyelesaikan tugas visual.
Penelitian ini menyoroti kebutuhan akan contoh yang lebih terarah dalam data pelatihan dan kebutuhan untuk memikirkan kembali bagaimana AI menangani kombinasi penalaran logis dan spasial.
Hal ini terutama dalam tugas yang tidak sering ditemuinya dan penelitian ini mengungkap satu hal bahwa terlalu mempercayakan hasil AI dapat membahayakan manusia.
“AI itu hebat, tetapi ketika tugas memadukan persepsi dengan penalaran yang tepat, kita tetap memerlukan pengujian yang ketat, logika fallback, dan dalam banyak kasus, manusia yang terlibat,” ujarnya. (adm)
Sumber: detik.com
