세계에서 가장 큰 AI 칩

세계에서 가장 큰 AI 칩

 

 

 

 

 

 

 

 

세계 최대 AI 칩은 1인치도 추가하지 않고 스펙을 두 배로 증가시켰습니다.

Cerebras Systems Wafer Scale Engine은 큰 디너 플레이트 정도의 크기입니다.
이 표면적의 모든 것은 프로세서에서 메모리까지 더 많은 것을 가능하게 합니다.
2019년 출시된 최초의 WSE 칩은 1조2000억개의 트랜지스터와 40만개의 프로세싱 코어를 탑재했습니다.
그것의 후계자는 물리적인 크기를 제외하고 모든 것을 두 배로 만듭니다.


WSE-2는 2.6조 개의 트랜지스터와 85만 개의 코어를 같은 디너 플레이트에 채워 넣습니다.
온칩 메모리는 18기가바이트에서 40기가바이트로 증가했고, 정보를 셧다운하는 속도는 9페타바이트/초에서 20페타바이트/초가 되었습니다.


WSE-2는 대만 반도체 제조사(TSMC)에 의해 제조됐으며
TSMC의 16나노미터 칩 제조 프로세스에서 10나노 노드를 뛰어넘는 7나노미터 프로세스로의 비약이며 WSE-2의 장점 대부분을 가능하게 했습니다.


여기에는 칩의 물리적인 설계에 변경이 필요했는데,
Cerebras 씨에 따르면 새로운 프로세스를 기능하기 위해 필요한 것 이상으로 각 코어에 개량을 가했다고 합니다.
업데이트된 메가 칩은 훨씬 빠르고 효율적이어야 합니다.

거대 컴퓨터 칩을 만드는 이유

그래픽처리장치(GPU)는 여전히 인공지능에서 최고의 지위를 차지하고 있지만 특별히 AI를 위해 만들어진 것은 아닙니다.
오히려 GPU는 게임 등의 그래픽을 많이 사용하는 애플리케이션에 최초로 사용되었습니다.


이들은 AI와 슈퍼컴퓨팅을 위해 놀라운 일을 했지만 최근 몇 년간 AI를 위해 만들어진 전문칩이 계속 늘어나는 추세입니다.


Cerebras는 Graphcore나 SambaNova와 같은 다른 신흥 기업이나 Intel이나 엔비디아와 같은 더 친숙한 기업들과 경쟁사 중 하나로 나열되어 있습니다.


이 회사는 WSE-2를 정상급 AI 프로세서(NVIDIA A100)와 비교해 경쟁사들과의 차이점을 강조하고 싶어합니다.
A100은 표면적의 2% 남짓한 트랜지스터 수(542억 개)를 차지하합니다.
훨씬 작지만 A100의 능력은 더 큰 시스템에서 수백, 수천 개의 칩을 연동시킴으로써 더 완전히 구현됩니다.


이에 반해 WSE-2는 실리콘 단일 웨이퍼에 가능한 한 많은 처리와 메모리를 방해함으로써 이 모든 칩을 연결하는 비용과 복잡성을 줄일 수 있습니다.
동시에 여러 서버 랙에 분산되어 있는 다수의 칩 간에 데이터를 이동할 필요가 없어지기 때문에 속도와 효율이 크게 향상됩니다.


이 칩의 설계는 작고 고속인 코어에 전용 메모리를 제공하여 코어간의 신속한 통신을 가능하게 합니다.
또한 Cerebras의 컴파일 소프트웨어는 PyTorch나 Tensor Flow와 같은 표준 프레임워크를 사용한
머신러닝 모델과 연동하여 칩의 코어 간에 태스크를 분산시키는 작업을 상당히 간단하게 합니다.


이 접근법은 웨이퍼 스케일 컴퓨팅이라고 불립니다.
왜냐하면 칩은 보통 많은 칩이 절단되는 표준 실리콘 웨이퍼 크기이기 때문입니다.
웨이퍼 스케일 컴퓨팅은 오랜 기간 레이더에 비춰졌지만
상업적으로 이용 가능한 칩을 제조한 것은 Cerebras가 처음입니다.


이 칩은 CS-2라고 불리는 컴퓨터 시스템에 동봉되어 있습니다.
이 시스템에는 냉각장치와 전원장치가 탑재되어 있으며
표준 서버랙의 약 3분의 1에 해당합니다.


스타트업이 2019년에 칩을 발표한 이후 고객 명단이 늘어나는 중입니다.
Cerebras는 Glaxo Smith Kline, Lawrence Livermore National Lab, Argonne National 을 제약, 바이오테크놀로지, 제조 및 군사 분야의 익명 파트너와 함께 고객으로 카운트하고 있습니다.
많은 애플리케이션이 AI에 내장돼 있지만 전부는 아닙니다.
이 회사에 따르면 지난해 미국 에너지기술연구소(NETL)는 유체역학 시뮬레이션에서 이 칩으로 슈퍼컴퓨터를 앞질렀습니다.

웨이퍼 스케일은 커지는가?

웨이퍼 스케일 컴퓨팅이 보급될지는 아직 알 수 없습니다.

Cerebras에 따르면 이 회사의 칩으로 머신러닝 태스크가 대폭 고속화되면서 초기 고객(일부 고객은 상당한 이익을 내고 있음)으로부터의 증언이 이를 뒷받침하고 있습니다.

하지만 아직 독자적인 직접 비교는 없습니다.
예를 들어 Cerebras나 다른 대부분의 AI 하드웨어 스타트업들은 최근 AI 시스템의 MLperf 벤치마크 테스트에 참여하지 않았습니다.
(상위 시스템 대부분은 알고리즘을 고속화하기 위해 NVIDIA GPU를 사용하고 있었습니다).


IEEE Spectrum 에 따르면 Cerebras는 보다 일반적이고 잠재적으로 적용성이 낮은 벤치마크로 판매하는 것이 아니라
관심 있는 구매자에게 특정 뉴럴 네트워크에서 시스템을 테스트하도록 하는 것이 좋다고 말하고 있습니다.
AI 분석가 Karl Freund 씨는 말합니다.
"누구나 자신의 비즈니스를 위해 개발한 독자적인 모델을 실행하고 있습니다. 구매자에게 중요한 것은 그것뿐이죠."


또한 WSE는 칩에 들어갈 정도로 작은 작업만 처리할 수 있다는 점에 유의해야 합니다.
이 회사에 따르면 발생한 가장 적절한 문제는 적합할 수 있으며 WSE-2는 더 많은 공간을 제공합니다.
그럼에도 기계학습 알고리즘의 규모는 빠르게 확대되고 있습니다.
그래서인지 Cerebras는 2대에서 3대의 CS-2를 서버 캐비닛에 수납할 수 있다는 점에 주목하고 있습니다.


궁극적으로 한 대 또는 여러 대의 GPU가 해당 트릭을 실행하는 소규모 태스크에는 WSE-2는 의미가 없습니다.
현재 이 칩은 과학이나 연구에 있어서 계산량이 많은 대규모 프로젝트에서 사용되고 있습니다.
현재 응용에는 암 연구와 약물 발견, 중력파 검출, 핵융합 시뮬레이션 등이 있습니다.
Cerebras CEO 겸 공동창설자인 Andrew Feldman 씨는 클라우드에 대한 단기적이고 집중도가 낮은 수요를 가진 고객들도 이 서비스를 이용할 수 있게 될 가능성이 있다고 말합니다.


칩 시장은 틈새지만 Feldman은 HPC WIRE에 대해 말했습니다.
"2015년에 예상했던 것을 뛰어넘는 규모이며 AI에 대한 새로운 접근이 지속적으로 출현하고 있어 아직 성장하고 있습니다."
그는 시장은 믿을 수 없을 정도로 빠르게 움직이고 있다고 설명합니다.


AI 칩 간 경쟁이 갈수록 치열해지고 있는 점도 주목할 만합니다.
최종적으로는 목적에 맞는 어프로치가 몇 가지 있거나 또는 정상에 오르는 접근 방식이 있습니다.

적어도 현재로서는 거대한 컴퓨터 칩을 아낌없이 제공하고 싶은 욕구가 있는 것 같습니다.