Tiga Modul Multibahasa USE Baru Akan Hadir di TensorFlow

Google adalah salah satu pelopor penelitian AI dan banyak proyek mereka telah berubah pikiran. AlphaZero dari Google Pikiran Dalam Tim adalah terobosan dalam penelitian AI, karena kemampuan program untuk mempelajari game rumit dengan sendirinya (Tanpa Pelatihan dan Intervensi Manusia). Google juga telah melakukan pekerjaan luar biasa di Program Pemrosesan Bahasa Alami (NLP), yang merupakan salah satu alasan di balik efisiensi Asisten Google dalam memahami dan memproses ucapan manusia.

Google baru-baru ini mengumumkan rilis tiga baru GUNAKAN modul multibahasa dan menyediakan lebih banyak model multibahasa untuk mengambil teks yang mirip secara semantik.

Pemrosesan bahasa dalam sistem telah berkembang pesat, dari penguraian pohon sintaks dasar hingga model asosiasi vektor besar. Memahami konteks dalam teks adalah salah satu masalah terbesar di bidang NLP dan Universal Sentence Encoder menyelesaikannya dengan mengonversi teks dalam vektor berdimensi tinggi, yang membuat peringkat dan denotasi teks lebih mudah.

Menurut Google, "Ketiga modul baru semuanya dibangun di atas arsitektur pengambilan semantik, yang biasanya membagi pengkodean pertanyaan dan jawaban menjadi jaringan saraf terpisah, yang memungkinkan untuk mencari di antara miliaran jawaban potensial dalam milidetik.Dengan kata lain, ini membantu dalam pengindeksan data yang lebih baik.

“Ketiga modul multibahasa dilatih menggunakan a multi-task dual-encoder framework, mirip dengan model USE asli untuk bahasa Inggris, sementara menggunakan teknik yang kami kembangkan untuk meningkatkan dual-encoder dengan pendekatan additive margin softmax. Mereka dirancang tidak hanya untuk mempertahankan kinerja pemelajaran transfer yang baik, tetapi untuk melakukan tugas pengambilan semantik dengan baik. ” Fungsi Softmax sering digunakan untuk menghemat daya komputasi dengan mengeksponensial vektor dan kemudian membagi setiap elemen dengan jumlah eksponensial.

Arsitektur pengambilan semantik

“Tiga modul baru semuanya dibangun di atas arsitektur pengambilan semantik, yang biasanya membagi pengkodean pertanyaan dan jawaban menjadi jaringan saraf terpisah, yang memungkinkan untuk mencari di antara miliaran jawaban potensial dalam milidetik. Kunci untuk menggunakan encoder ganda untuk pengambilan semantik yang efisien adalah dengan melakukan pra-encode semua jawaban kandidat ke kueri masukan yang diharapkan dan menyimpannya dalam database vektor yang dioptimalkan untuk memecahkan masalah tetangga terdekat, yang memungkinkan sejumlah besar kandidat untuk dicari dengan cepat dengan presisi dan daya ingat yang baik. "

Anda dapat mendownload modul ini dari TensorFlow Hub. Untuk bacaan lebih lanjut, lihat postingan blog lengkap GoogleAI.