Microsoft пусна Orca 2, а целта е да се изследват възможностите на по-малки езикови модели с около 10 милиарда параметъра или по-малко. Моделът демонстрира, че подобрените методи за обучение могат да подобрят способностите за разсъждение на по-малките езикови модели, за да ги направят равностойни на по-големите модели.

В публикация в блога на Microsoft се казва, че в сравнение с моделите с подобен размер, включително оригиналния Orca, Orca 2 значително ги превъзхожда и постига нива на производителност, сходни или по-добри от тези на моделите, които са 5-10 пъти по-големи.

“Успехът на Orca 2 се крие в прилагането на разнообразни техники за разсъждение и идентифицирането на оптимални решения за различни задачи. Въпреки че има няколко ограничения, включително ограничения, наследени от базовите модели и общи за други езикови модели, потенциалът на Orca 2 за бъдещ напредък е очевиден, особено в подобреното разсъждаване, специализацията, контрола и безопасността на по-малките модели. Използването на внимателно филтрирани синтетични данни за последващо обучение се очертава като ключова стратегия в тези подобрения”, пише още екипът на Microsoft в блога.

Повече подробности около Orca 2 прочетете на DevStyleR.io – Microsoft Releases Orca 2 to Explore the Possibilities of Smaller Language Models

Гледайте Втори Епизод “ИТ Индустрията във Варна – Компании, Кариера, Бъдеще” от документалната поредица The BIG TECH на DevStyleR.

Слушайте новия подкаст на DevStyleR “Може ли да се доверим на Cloud Provider”.

Следвайте ни във Facebook, Instagram, LinkedIn и YouTube.

Прочетете Още:
1. Amazon Обяви Редица Актуализации и Подобрения на AWS re: Invent
2. Топ Съвети, които ще ви Превърнат в Успешен Технически Ръководител
3. Sony е Изправена пред Колективен Съдебен Иск за близо $8 млрд. във Великобритания