Dile dayalı bir yapay zeka modelinin temel zorunluklarından bir tanesi, çevredeki içeriğin bağlamını anlamaktır.
Bu sorunu çözmek için Google, yalnızca 16 GB alan kullanarak 1 milyon satırın içeriğini anlayabilen Reformer isimli yeni bir model tanıttı. Şirket bunu, eski model Transformer’ın problemlerini çözmek amacı için yarattı – aralarındaki ilişkiyi anlamak için bir paragraftaki kelimeleri birbirleri ile karşılaştıran sinir ağı –
Mevcut olan modeller, odaktaki metinden önce ve sonra birkaç satır veya paragrafın anlaşılmasını destekliyor.
Ancak çift eşleştirmeyi kullandığından, Transformer modeli metni birkaç bin kelimeden fazla işlemesi gerekiyorsa çok fazla veri alanı kullanıyor. Bu nedenden ötürü, uzun bir makaleyi veya kitabı işlerken pek kullanışlı olmuyor.
Bu ne demek oluyor? Model, tüm kellimeler birbirleri ile karşılaştırmak yerine benzer kelimeleri bir kovada bir araya getirmek için bir karma işlevi kullanıyor ve daha sonra kelimeleri aynı veya komşu kovada birbirleri ile karşılaştırmaya tabi tutar ve işlem aşırı yüklenmesini azaltır.
Bellek problemini çözmek için araştırmacılar bir katmanın aktivasyonlarını (çıkışlarını) kullanan ve başka bir katmanda kullanan tersinir artık katmanlara sahiptir. Bu modeli test etmek için Google, Reformer’a bazı resimler verdi ve buntan tam çerçeve görüntüler oluşturmayı başardı.
Google Mühendisleri, yeni modelin tüm kitapları kolayca işleyebileceğini söyledi. Bu, metni toplu olarak işlemek için büyük bir potansiyel oluşturur.
