Google says power is bottleneck, ramps data center and grid investments

2 min

구글 AI 인프라 총괄의 핵심 메시지: 대규모 AI 인프라는 단일 칩 성능보다 전체 시스템의 안정성과 전력 조달이 병목을 좌우한다. 데이터센터는 가속기에 맞춘 전력·냉각·네트워크까지 통합 설계되는 전용 컴퓨터로 진화하고 있으며, 장기적으로 가장 근본적인 제약은 전력이다.

시스템 관점: 데이터센터가 거대한 전용 컴퓨터로 전환

- 데이터센터 설계 범위: PU/TPU 등 가속기에 맞춰 전력, 냉각, 네트워크를 함께 설계한다.
- 성능 지표 전환: FLOPS보다 실제 워크로드 처리 효율을 뜻하는 Goodput을 중시한다.
- 대규모 운영 특성: 가속기 10만 개 규모에서는 일일 다중 장애가 상수로 발생하므로 최고 성능보다 안정성과 빠른 복구가 핵심이다.

스케일 목표와 개선 원천

- 목표: 토큰 생성 능력을 6개월마다 2배로 확장.
- 개선 기여: 하드웨어뿐 아니라 모델·컴파일러·스케줄러·분산 시스템 등 소프트웨어 최적화에서 상당 부분이 나온다.

하드웨어 수요와 추론 트렌드

- 수요 방향: 소프트웨어 최적화가 진행돼도 하드웨어 수요는 감소하지 않는다. 추론 트래픽이 빠르게 증가해 기존 장비만으로는 부족하며 데이터센터 증설이 지속된다.
- 에이전트 상시 실행의 영향: 장시간 작동하는 에이전트가 늘어나면 CPU, DRAM, 스토리지, 네트워크 요구량이 동반 확대된다.

네트워크: 광학 중심으로 재편

- 광통신 비중 확대: 대규모 클러스터에서 네트워크가 성능과 안정성의 핵심 축이 된다.
- 장애 우회: 구글은 Optical Circuit Switching을 활용해 장애가 발생한 TPU 랙을 네트워크 레벨에서 우회한다.

전력: 최상위 병목으로 부상

- 장기 계획 요구: 데이터센터 전력은 송전망과 발전, 에너지저장장치까지 포함한 다년 계획이 필요하다. 전력 인프라는 데이터센터 투자와 일체로 취급된다.
- 전력 제약의 파급: 지상 전력 공급의 병목이 커지면서 우주 데이터센터까지 검토 대상에 포함됐다. 핵심 동인은 전력 조달 제약이다.