من الصعب فهم البيانات المنظمة بشكل تسلسلي - سواء كانت لغة أو موسيقى أو فيديو - خاصة عندما تعتمد بشكل كبير على السياق الذي يحيط بها. على سبيل المثال ، إذا اختفى شخص أو أي شيء من مجال الرؤية في تسجيل فيديو وظهر مرة أخرى بعد فترة زمنية طويلة ، فسوف تنسى العديد من النماذج كيف بدا. في مجال معالجة اللغة ، توفر الشبكات العصبية للذاكرة طويلة المدى (LSTM ) سياقًا كافيًا لترجمة جملة بجملة بنجاح . في هذه الحالة ، يمكن أن تحتوي نافذة السياق (أي تغطية البيانات التي يأخذها النموذج في الاعتبار عند الترجمة) من عشرة إلى مائة كلمة. أحدث طراز محوللم يحسن جودة الترجمة المتتالية فحسب ، بل يمكن استخدامه لإنشاء مقالات ويكيبيديا كاملة عن طريق تلخيص مستندات متعددة. هذا ممكن بسبب حقيقة أن المحول قام بتوسيع نافذة السياق إلى ألف كلمة. بالإضافة إلى ذلك ، فإن مثل هذا السياق الواسع المدروس يسمح باستخدام المحول ليس فقط لمعالجة النص ، ولكن أيضًا البكسل أو الملاحظات الموسيقية ، والتي يمكن على أساسها إنشاء الصور أو الموسيقى .
. , . , 100 , 100 100 , 10 , . . , , ( – ). , , , .
Reformer – , 1 16 . Reformer , : (locality-sensitive-hashing, LSH), , (reversible residual layers) .
, – ? LSH : , , -, . , , ( ), . , . , , , , – (chunks), . ( ) , .
: Reformer , ( , ), . LSH , . .
, Reformer', : , , . , , . , . , , . , , ; . , , , .
: (a) . (b) , . () , .
Reformer'
Reformer' , 1 16 . , Reformer , . , Reformer' .
, – . Colab- Reformer' . , , Reformer (. ).
: , Reformer'. : «» . Imagenet64.
Reformer' , . Reformer . , Colab- « ». , , , Reformer, .
, Reformer , . , , Reformer', . , . , Reformer'. Colab– , .