Monster AI Supercomputer
Meta는 거대한 기계 학습 알고리즘을 훈련시키기 위해 새로운 슈퍼컴퓨터를 만들고 있습니다.
부분적으로만 완성되었지만,
AI 연구 슈퍼클러스터(RSC)는 이미 지구상에서 가장 강력한 기계 중 하나입니다.
그것이 완성되면, 이전에 페이스북으로 알려진 회사는 그것이 어디에서나 가장 빠른 AI 슈퍼컴퓨터가 될 것이라고 말합니다.
Meta는 RSC가 유해 콘텐츠를 더 잘 표현하고 제품을 개선하는 알고리즘을 훈련할 수 있기를 바랍니다.
이번 개발로 텍스트, 이미지, 동영상 등 다양한 입력으로
수만 명의 온라인 사용자 간 실시간 번역과 공유가 가능한 멀티태스킹 알고리즘 구현도 가능합니다.
이 모든 것이 로봇과 같은 실제 응용 프로그램을 개발하는 데 도움이 될 것이며,
물론 원시 메타버스를 위한 토대를 만들 것입니다.
MetaAI의 제롬 페첸티 부사장은 말했습니다.
" 메타버스에서는 100% 3D 멀티센서 경험인데, 이와 접촉하는 이런 환경에서 인공지능 에이전트를 만들어야 한다"고.
궁극적인 응용이 무엇이든, 투자는 Meta에서 알파벳, 마이크로소프트에 이르기까지 가장 큰 기술 업체가 첨단 AI와 경쟁하는 것이 점점 더 중요해지고 있음을 보여줍니다.
빅 AI로 가는 추세
이 발표는 더 많은 컴퓨팅 리소스와 더 큰 데이터 세트가 필요한 더 큰 기계 학습 알고리즘으로 향하는 추세의 일부입니다.
2020년 OpenAI의 자연어 알고리즘 GPT-3는 매개 변수로 알려진 알고리즘의 내부 연결 수와 그에 상응하는 훈련 데이터 양을 늘리면 큰 이점을 실현할 수 있음을 보여줍니다.
GPT-3의 성공에 고무된 마이크로소프트 메가트론 AI는 지난해보다 3배 더 큰 알고리즘으로 구글과 중국 연구진이 1조개 이상의 파라미터를 가진 알고리즘을 구축했습니다.
다음 단계가 있을 때까지 Meta는 RSC를 사용하여 수조 개의 매개 변수로 알고리즘을 훈련할 계획입니다.
이 거대한 알고리즘을 점점 더 많이 활용하기 위해서, 우리는 슈퍼컴퓨터가 필요합니다.
우주 크기의 기계로 과학자들이 지구의 기후를 가로지르는 소립자에서 우주 전체에 이르기까지 물리적 시스템을 시뮬레이션할 수 있습니다.
예를 들어, OpenAI는 작년에 파트너 마이크로소프트가 훈련 모델을 위한 특별한 슈퍼컴퓨터를 만들었다고 발표했습니다.
그 회사에 따르면, 이 새로운 기계는 당시에 세계에서 가장 빠른 슈퍼컴퓨터 중 5위로 선정되었다고 합니다.
Meta는 현재 최대 RSC 속도에 대한 숫자를 제공하지 않지만
원시 처리 용량에 관한 한 세계의 5단 펄머트 슈퍼컴퓨터에 필적하는 것으로 보입니다.
현재 RSC는 6.800개의 NVIDIA 100 그래픽 처리 장치(GPU)로 구동됩니다.
한때 게임에 국한됐던 특수 칩이지만, 현재는 AI를 중심으로 널리 사용되고 있습니다.
이미 이 기계는 컴퓨터 비전 워크플로우를 20배 더 빠르게 처리하고 GPT-3와 같은 대형 음성 모델을 3배 더 빠르게 처리합니다.
회사가 모델을 빠르게 교육할수록 해당 연도에 더 많은 모델을 완성하고 개선할 수 있습니다.
RSC는 순수한 속도 외에도 Meta에 방대한 사용자 데이터 수집을 위한 알고리즘을 훈련하는 기능도 제공합니다.
그 회사는 앞서 블로그 게시물에서 AI가 공개 오픈소스 데이터 세트에 대해 교육을 받았지만
RSC는 Meta 프로덕션 서버에서 실제 사용자 생성 데이터를 사용한다고 밝힌 바 있습니다.
최근 몇 년 동안 데이터 보호 및 보안 Meta에 대한 수많은 논의를 고려할 때,
이러한 개성은 여러 사람을 당황하게 만들 수 있습니다.
블로그 게시물에서 그 회사는 데이터가 완전히 익명으로 암호화되어 있다고 언급했습니다. 그리고 그들은 RSC가 더 큰 인터넷에 직접 연결되지 않는다고 말했습니다.
Meta의 방대한 교육 데이터 세트를 수용하고 교육을 더욱 가속화하기 위해 올해 하반기에는 약 1만6천개가 설치될 예정입니다.
GPU와 엑사바이트의 메모리 설치를 확장할 것입니다. 그것은 3만6천년 분량의 고화질 비디오에 해당됩니다.
Meta는 RSC가 완성되면 초당 16테라바이트 속도로 전달되고 최대 5엑사플롭의 속도로 운영될 것이라고 말한다.
오늘날 완성된다면 RSC는 세계에서 가장 빠른 인공지능 슈퍼컴퓨터가 될 것입니다.
하지만 그것이 정확히 무엇을 의미하는지 잠시 탐구해 볼 가치가 있습니다.
Apple에서 Apple로?
슈퍼컴퓨터는 매우 다르게 만들어졌습니다.
대표적인 구성은 CPU(CPU)와 GPU이지만 칩셋 제조사가 다르고 인프라 역시 이들을 모두 연결합니다.
슈퍼컴퓨터를 비교하기 위해, 업계는 슈퍼컴퓨터가 초당 푸는 간단한 방정식의 수를 측정하는 부동소수점 컴퓨팅(또는 음성 언어로 부동소수점 컴퓨팅)이라고 불리는 벤치마크를 사용합니다.
Top 500 순위에 따르면, 세계에서 가장 빠른 만능 슈퍼컴퓨터인 Fugaku는 일본에서 왔습니다.
실제로 GPU를 사용하지 않는 Fugaku는 442 페타플롭스(또는 442.000조 연산/초)의 놀라운 피크 속도를 가지고 있습니다.
빠르지만, Fugaku와 같은 시스템은 인공지능을 훈련시키기 위해 점점 더 많이 만들어지고 있습니다.
따라서, Top 500 기업은 특히 AI 애플리케이션을 위한 새로운 벤치마크를 보고하기 시작했습니다.
기계 학습 알고리즘은 과학적 응용 프로그램과 동일한 정확도를 요구하지 않기 때문에, 새로운 AI 벤치마크는 부정확한 측정값을 사용합니다.
이를 바탕으로 Fugaku는 엑사플롭 혹은 초당 100만조 이상의 연산 속도를 달성합니다. 그것이 AI 슈퍼컴퓨터의 의미인 것입니다.
Meta로 돌아가.
TOP500 리스트에 있는 대부분의 기계는 정부와 대학에서 운영됩니다.
RSC 및 OpenAI와 마이크로소프트는에서 구축한 시스템과 같은 개인용 슈퍼컴퓨터는 리스트에 나와 있지 않습니다.
성공하기 위해서는 회사의 말을 들어야 합니다.
RSC가 AI 애플리케이션의 최대 속도인 5엑사플롭에 이른다고 가정하면 확실한 선두로 Fugaku를 이길 것입니다.
하지만 2021년 말에 그것이 세계 최고가 될지는 아직 확실하지 않습니다.
앞으로 출시될 프런티어 슈퍼컴퓨터는 정밀도 높은 응용 분야에서 Fugaku보다 3배 더 빠를 것으로 예상됩니다.
또한 AI를 위해 구축된 Frontier는 최고의 AI 슈퍼컴퓨터를 놓고 치열한 경쟁을 벌이게 될 것입니다.
벤치마크의 최대 성능이 실제 워크로드의 실제 성능이 아니라는 점도 주목할 만합니다. 고성능 컴퓨팅 분석가인 Bob Sorensen에 따르면,
"좋은 시스템 설계의 진정한 척도는 설계된 작업에서 신속하게 수행할 수 있는 것입니다. 실제로 실제 애플리케이션을 실행할 때 일부 HPC가 이른바 피크 성능의 25% 미만을 달성하는 것은 드문 일이 아닙니다"
새로운 AI 벤치마크인 MLPerf는 실제 작업의 성과를 측정하는 데 더 가깝습니다. 시스템이 얼마나 빨리 매우 큰 모델을 훈련시킬지는 아직 측정할 수 없지만 그럼에도 불구하고 유용한 비교가 됩니다.
최신 MLPerf 결과에서는 RSC 빌드에 사용된 것과 동일한 NVIDIA 100 칩을 사용하는 시스템이 지배적입니다.
가장 큰 테스트 시스템인 Nvidia 소유의 SeleneAI 슈퍼컴퓨터는 16초 만에 BERT 언어 프로세서를 훈련시켰습니다.
어느 쪽이든 RSC는 인공지능 연구를 위한 강력한 기계가 됩니다.
댓글