4 Фев 2025
0
DeepSeek-R1: Новые возможности AI в Web3
Выпущен DeepSeek-R1 — открытая модель рассуждений, которая сопоставима с ведущими AI-моделями при низких затратах на обучение. Это новшество ставит под сомнение традиционные законы масштабирования в AI и подчеркивает качество китайских инноваций в этой области.
Ключевые инновации DeepSeek-R1
- Использует фреймворк предобучения, аналогичный другим базовым моделям, состоящий из трех основных этапов:
- Предобучение на неразмеченных данных
- Супервизированное дообучение (SFT) для выполнения инструкций и ответов на вопросы
- Согласование с человеческими предпочтениями
- Разработан на базе модели DeepSeek-v3-base с 617 миллиардами параметров.
- Введен R1-Zero, обученный в основном через обучение с подкреплением, обладающий заметными способностями к рассуждению.
- Сгенерированы синтетические наборы данных для рассуждений через R1-Zero для дообучения DeepSeek-R1, что привело к улучшению производительности по сравнению с R1-Zero.
Последствия для Web3-AI
- Сети дообучения с подкреплением: Позволяют децентрализованным сетям участвовать в настройке моделей.
- Генерация синтетических наборов данных для рассуждений: Децентрализованные узлы могут автономно создавать наборы данных, что повышает уровень автоматизации.
- Децентрализованный вывод для малых моделей: Меньшие модели подходят для развертывания в децентрализованных средах.
- Происхождение данных рассуждений: Повышает прозрачность в задачах рассуждения, позволяя отслеживать каждый шаг рассуждения.
Выпуск DeepSeek-R1 представляет собой значительный шаг в генеративном AI, потенциально более тесно интегрированном с принципами Web3. Достижения в области рассуждений и обучения моделей могут способствовать эволюции AI-ландшафта в соответствии с децентрализованными технологиями.