Daniela Amodei says AI skeptics now apply to LLM firms

2 min

다니엘라 아모데이는 GPT-2를 계기로 대규모 모델 확장이 가져올 변곡점을 확인했다고 밝혔다. 그는 모델 규모 확장이 성능을 비약적으로 끌어올린다는 스케일링 법칙을 강조했다: GPT-2 당시에는 개별 과제 성능이 제한적이었으나 범용 능력의 폭이 핵심이었다는 주장이다.

핵심 요지

- GPT-2 관찰에서 결론 도출: 규모를 충분히 키우면 인간 수준을 넘어설 가능성이 크다는 판단.
- 이 기술은 경제와 과학 전반의 결정적 사건으로 평가: 국가, 경제, 인류의 미래에 구조적 영향을 미친다는 전망.

당시 반응과 오판의 구조

- 반응 분화: 주변의 약 10%는 동일한 충격과 가능성을 인지했고, 90%는 과제별 성능의 낮은 인상도를 근거로 무시했다.
- 오판의 원인: 특정 과제 점수에만 집중한 평가. 범용성, 전이 가능성, 스케일링에 따른 성능 곡선을 간과했다.

진전 속도에 대한 전망

- 시간 축 전망: 6개월 내 현재의 어려운 과제가 평준화될 가능성, 12개월 내 현재 불가능하다고 여겨지는 작업의 일상화 가능성.
- 범용 영역 확장: GPT-2에서 보였던 패턴이 더 넓은 도메인으로 반복되고 있으며 사회적 수용도 상승 중.

학계와 업계의 태도 변화

- 과거: 저명 연구자들과 리더들이 공개적으로 조롱. GPT-2를 전환점으로 보는 관점은 유사과학 취급을 받음.
- 현재: 당시 비판자들이 LLM 기업에 지원. 과거 발언은 묻히는 경향이 있으나 판단 신뢰성에 대한 내부적 기억과 평가가 존재한다는 언급.

함의

- 평가 기준 전환: 개별 과제 성능 중심에서 범용성, 확장성, 학습 곡선에 대한 평가로 이동 필요.
- 정책과 전략: 국가와 기업 단위의 자원 배분, 인재 선발, 연구 방향 설정에 스케일링 관점 반영 필요.
- 시장 관점: AI 역량 가속화 인식 확산은 관련 산업과 자본 배분에 우호적 요인으로 작용할 가능성.