Daniela Amodei: скептики AI теперь подают резюме в LLM-компании
Даниэла Амодеи заявил, что на примере GPT-2 он увидел поворотный момент, который приносит масштабирование крупных моделей. Он подчеркнул скейлинг-законы, согласно которым увеличение размера модели резко повышает ее эффективность: в эпоху GPT-2 результаты по отдельным заданиям были ограниченными, но решающим была широта универсальных способностей.
Ключевые тезисы
- Вывод из наблюдений над GPT-2: при достаточно большом масштабе высока вероятность превзойти человеческий уровень.
- Эта технология оценивается как решающее событие для экономики и науки в целом: ожидается структурное влияние на государства, экономику и будущее человечества.
Тогдашняя реакция и природа ошибок
- Разделение реакций: около 10% окружения заметили тот же шок и потенциал, 90% проигнорировали, ссылаясь на невысокие впечатляющие показатели по отдельным задачам.
- Причины ошибки: оценка, сосредоточенная только на баллах по конкретным заданиям. Были упущены универсальность, переносимость и кривая улучшения при масштабировании.
Прогноз по темпам прогресса
- Временная перспектива: в течение 6 месяцев сложные сегодня задачи могут стать стандартными; в течение 12 месяцев работы, считающиеся сейчас невозможными, могут войти в повседневность.
- Расширение универсальной области: паттерн, замеченный в GPT-2, повторяется в более широких доменах, а социальная приемлемость растет.
Изменение отношения в академии и индустрии
- В прошлом: известные исследователи и лидеры открыто высмеивали; взгляд на GPT-2 как на поворотный момент считался лженаукой.
- Сейчас: тогдашние критики подают заявки в компании LLM. Хотя прошлые высказывания склонны забываться, он отмечает, что внутри отрасли сохраняется память и оценка надежности тех суждений.
Выводы
- Смена критериев оценки: нужно переходить от фокуса на показателях отдельных задач к оценке универсальности, масштабируемости и кривых обучения.
- Политика и стратегия: на уровне государств и компаний необходимо учитывать скейлинг-подход при распределении ресурсов, отборе талантов и выборе направлений исследований.
- Рынки: распространение понимания ускорения возможностей ИИ может стать благоприятным фактором для смежных отраслей и распределения капитала.
Авторы, указанные в источнике: dolbikong
Материал опубликован Holder на основе внешнего источника.
