Наближаваме изчислителните граници на deep learning, според изследователите от Масачузетския технологичен институт, MIT-IBM Watson AI Lab, Underwood International College и Бразилския университет, които откриха в скорошно проучване, че напредъкът в deep learning е „силно зависим“ от увеличаването на изчисленията.

Твърдението им е, че постоянният напредък ще изисква „драматично“ по-изчислително ефективни методи за deep learning, било чрез промени в съществуващите техники или чрез нови все още неразкрити методи.

„Ние показваме, че deep learning не е изчислително скъпо от случайност, а от самия дизайн. Същата гъвкавост, която го прави отличен при моделиране на различни явления и превъзхождащи експертни модели, също го прави драматично по-скъпо изчислително„, пишат съавторите Нейл Томпсън, Кристиян Грийнуолд, Кийхеон Лий и Габриел Мансо. „Въпреки това установяваме, че действителната изчислителна тежест на моделите за задълбочено обучение се намалява по-бързо от (известните) по-ниски граници от теорията, което предполага, че могат да бъдат възможни значителни подобрения.„

Изследователите отбелязват, че има исторически прецедент за подобренията на deep learning на алгоритмично ниво. Те посочват появата на хардуерни ускорители като тензорни обработващи единици на Google, програмируеми полеви масиви (FPGA) и специфични за приложение интегрални схеми (ASIC), както и опити за намаляване на изчислителната сложност чрез техники за компресиране и ускоряване на мрежата. Изследователите също така цитират търсене на невронна архитектура и мета-обучение, които използват оптимизация, за да намерят архитектури, които запазват добро представяне на клас проблеми, като пътища към изчислително ефективни методи за усъвършенстване.