Apa yang tidak bisa dilakukan LLM? – REVOLUSI Marginal
Terima kasih! Anda telah berhasil ditambahkan ke daftar langganan email Marginal Revolution.
Oleh Rohit Krishnan, dia dan saya sama-sama tertarik dengan pertanyaan tentang apa yang tidak bisa dilakukan LLM, dan mengapa. Berikut ini salah satu kutipannya:
Mungkin lebih baik untuk mengatakan bahwa LLM menunjukkan intuisi yang luar biasa tetapi kecerdasan yang terbatas. Ia dapat menjawab hampir semua pertanyaan yang dapat dijawab dalam satu langkah intuitif. Dan dengan data pelatihan yang cukup dan iterasi yang cukup, hal ini dapat menghasilkan kecerdasan yang masuk akal.
Fakta bahwa menambahkan tautan tipe RNN tampaknya membuat sedikit perbedaan meskipun tidak cukup untuk mengatasi masalah, setidaknya pada model mainan, merupakan indikasi ke arah ini. Tapi itu tidak cukup untuk menyelesaikan masalah.
Dengan kata lain, ada “penyimpangan tujuan” di mana semakin banyak langkah yang ditambahkan, sistem secara keseluruhan mulai melakukan hal yang salah. Ketika konteks meningkat, bahkan mengingat riwayat percakapan sebelumnya, LLM mengalami kesulitan dalam menentukan di mana harus fokus dan apa tujuan sebenarnya. Perhatian tidak cukup tepat untuk banyak masalah.
Jawaban yang lebih dekat di sini adalah bahwa jaringan saraf dapat mempelajari segala macam pola tidak beraturan setelah Anda menambahkan memori eksternal.
Dan:
Dalam LLM seperti halnya manusia, konteks adalah hal yang langka.
Menarik secara keseluruhan.
