Meta* Platforms представила в пятницу большую языковую модель Large Language Model Meta* AI (LLaMA) на базе ИИ, предназначенную для исследовательского сообщества. LLaMA будет доступна по некоммерческой лицензии исследователям и организациям, связанным с правительством, гражданским обществом и академическими кругами, сообщается в блоге компании. Разработчики смогут использовать LLaMA для создания чат-ботов и других продуктов на основе ИИ.
LLaMA отличается от ChatGPT тем, что вовсе не является системой, с которой можно поговорить, а скорее исследовательским инструментом, который может помочь экспертам выявить проблемы языковых моделей ИИ, от предвзятости и токсичности до их склонности выдумывать информацию. Также следует отметить, что LLaMA Meta* будет доступна в нескольких версиях — LLaMA-7B, LLaMA-13B, LLaMA-33B и LLaMA-65B, где цифры означают количество параметров — 7, 13, 33 и 65 млрд соответственно.
Инструмент, LLaMA, является новейшим достижение Meta* в области больших языковых моделей, которые «показали многообещающие возможности для создания текста, ведения разговоров, обобщения письменного материала и более сложных задач, таких как решение математических теорем или предсказание белковых структур», — сообщил исполнительный директор Марк Цукерберг в своём аккаунте в Instagram*.
LLaMA является более новой и продвинутой системой по сравнению с вышедшей в мае прошлого года большой языковой моделью OPT-175B, тоже предназначенной для исследователей, которая легла в основу новой версии чат-бота Meta* BlenderBot.
Meta* утверждает, что вторая по размеру версия модели LLaMA, LLaMA-13B, «в большинстве тестов» работает лучше популярной модели OpenAI GPT-3, в то время как самая большая модель LLaMA-65B, «конкурирует с лучшими моделями», такими как Chinchilla70B от DeepMind и PaLM 540B от Google.
В конце прошлого года компания выпустила ещё одну языковую модель Galactica, демонстрационную версию которой вскоре закрыла после того, как исследователи обнаружили, что она регулярно делилась предвзятой или неточной информацией.
Сообщается, что компания предоставит пользователям базовый код для настройки модели и её применения в сценариях использования, связанных с исследованиями. Модель, которая, по словам Meta*, требует «гораздо меньше» вычислительной мощности, обучается на 20 языках с упором на языки с латиницей и кириллицей. После обучения LLaMA-13B сможет работать на одном ускорителе NVIDIA Tesla V100.
* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».