Изследователи от Google са предоставили отворен код на EvoLved sIgn mOmeNtum (Lion) – оптимизационен алгоритъм за обучение на невронни мрежи, който е открит с помощта на еволюционен алгоритъм за автоматизирано машинно обучение, съобщава Infoq.

Моделите, обучени с Lion, могат да постигнат по-добра точност, отколкото моделите, обучени с други оптимизатори, като същевременно изискват по-малко изчислителни цикли за сходимост.

За откриването на алгоритъма Google използва еволюционно търсене на символни програми. Lion използва по-малко памет и по-малко инструкции от Adam. Една от ключовите разлики между Lion и другите оптимизатори е, че той се интересува само от знака на градиента и прилага еднаква по големина актуализация за всяко тегло.

Използвайки Lion, екипът е обучил няколко модела за различни задачи за сравнение. Обученият за класификация на ImageNet е с нова най-съвременна точност. ViT, обучен от Lion, е повишил точността си в ImageNet с 2%, като същевременно е спестил 5 пъти изчислителните цикли за обучение.

Повече подробности около новината можете да прочетете на международното издание DevStyleR.IO – Google Uses AutoML to Discover a More Effective AI Learning Algorithm