Meta представи следващото поколение на фамилията големи езикови модели Llama (LLM) с отворен код, разработено от компанията. Компанията определя Llama 3 за “най-добрите модели с отворен код от своя клас”.
Силициевият гигант пусна първите два модела от семейството Llama 3 – един с параметри 8B и един със 70B. Според Meta тези модели са значително по-добри от моделите Llama 2, като предлагат много по-нисък процент на фалшиви откази, подобрено подравняване и по-голямо разнообразие в отговорите на моделите. Специфичните възможности на моделите като, генериране на код и следване на инструкции също са значително подобрени.
Llama 3 беше предварително обучена върху повече от 15T токена от публично достъпни източници, поради което наборът от данни за обучение на Llama 3 е седем пъти по-голям от набора от данни за обучение на Llama 2 и съдържа четири пъти повече код.
Според Meta при разработването на Llama 3 е разработен и нов набор за оценка от хора за сравнителен анализ, който съдържа 1800 подсказки в 12 случая на употреба. Те включват искане на съвет, класификация, отговор на затворен въпрос, писане на код, творческо писане, извличане, отговор на отворен въпрос, разсъждение, пренаписване, обобщаване и др.
Моделът с параметри 70B победи Claude Sonnet, Mistral Medium, GPT 3.5 и Llama 2, използвайки този нов набор за оценка.
“Със създаването на Llama 3 си поставихме за цел да предоставим най-добрите отворени модели, които да са равностойни на най-добрите собствени модели, налични днес”, пише Meta.
Llama 3 е налична в AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM и Snowflake. Освен това някои доставчици на хардуер също ще предложат поддръжка за нея, включително AMD, AWS, Dell, Intel, NVIDIA и Qualcomm.
През следващите няколко месеца компанията планира да актуализира Llama 3 с нови функции, по-дълги контекстни прозорци и по-големи размери на моделите.
ГЛЕДАЙТЕ: Къде Инвестират ИТ Специалистите? Успешните Стратегии – Част 1
ГЛЕДАЙТЕ: Къде Инвестират ИТ Специалистите? Успешните Стратегии – Част 2
ГЛЕДАЙТЕ: ИТ Индустрията във Варна – част 2 | Епизод 2 | The BIG TECH #BG | DevStyleR
Прочетете още:
1. GitLab Пусна GitLab Duo Chat с Над 40 Нови Функции
2. Ocado Technology създава ново звено в България
3. OpenSSF, CISA и DHS Обединяват Сили в Нов Проект с Отворен Код
