IBM은 자신들의 시스템Z 메인프레임의 막강한 트랜잭션 성능과 대역폭을 끝도없이 자랑하고 싶어하지만, 이제 그들에게 자랑거리가 하나 더 생겼다.


그것의 이름은 파워 시스템 IH 슈퍼컴퓨팅 노드로, 아범의 차세대 프로세서인 파워7 프로세서와 동사에서 직접 개발한 광학 및 구리 배선 혼용 인터커넥트에 기반한다.


파워7 IH노드는 지난주 오레곤주 포틀랜드에서 개최된 SC09 슈퍼컴퓨터 박람회에서 공개되었다. [···] ···이 서버 노드는 현재 일리노이주 대학에 설치되고 있는 20페타플롭스급 “블루워터” 슈퍼컴퓨터의 심장을 이루게 된다.


예 전에 보도된 대로, IBM에서는 지난 8월에 있었던 핫칩스 컨퍼런스에서 파워7 패밀리 제품군에 대한 정보를 살짝 공개한 바 있다. 파워7 CPU는 45nm 구리/SOI 공정으로 제조되며, 12억개의 트랜지스터와 8개의 코어를 하나의 다이에 집적한다.


각각의 파워7 코어에는 12개의 연산 유닛이 탑재된다. 2개의 정수연산 유닛과, 2개의 Load/Store유닛, 4개의 배정밀도 부동소수점 연산 유닛과 1개의 벡터 연산 유닛(행렬 연산시 사용), 그리고 1개의 10진법 부동소수점 연산 유닛 (돈계산시 활용)이 탑재된다. 부동소수점 연산 유닛은 기존의 64비트 파워 CPU와 마찬가지로 클럭당 2개의 부동소수점 연산을 할 수 있다.


파워7 코어에는 32kB L1 명령 캐쉬와 32kB L1 데이터 캐쉬가 탑재된다. 각각의 코어는 코어당 4개의 쓰레드를 동시에 실행 가능한 SMT 기능이 탑재되어 있으며, 256kB의 L2 캐쉬가 긴밀히 통합되어 있다. 이 CPU에는 또한 32MB의 eDRAM이 공유 L3캐쉬 역할을 하고 있으며, 4개의 세그먼트마다 각각의 8개의 코어에 연결되어 있다. 파워7 CPU는 두개의 듀얼채널 DDR3 메모리 컨트롤러를 구현하고 있으며, 각 칩당 100GB/s의 지속된 대역폭을 제공한다.


 power7_switch_packages.jpg


이번 SC09에서 IBM은 슈퍼컴퓨터 고객들을 위해 준비해왔던 4칩 MCM 제품에 대한 정보를 좀 더 공개했다. 참고로 파워7 IH 서버 노드는 기존 제품에 비해 유닛당 연산 속도 측면에서 매우 밀도가 무지막지하게 높다. 위의 사진에 나온게 파워7 IH노드의 MCM CPU 패키지인데, 4개의 8코어 파워7이 때려박혀있다. 그 옆에 있는게 바로 IH노드 허브 스위치이며, CPU와 비슷한 패키지를 갖추고 있다.


두 칩 패키지는 동일한 5336핀 (92 x 58)을 갖고 있다고 IBM의 시스템&테크놀러지 그룹의 서버 및 네트워크 테크니컬 스태프 주임인 앨런 브레너씨가 밝혔다. 이 칩은 512GB/s의 총 메모리 대역폭과 192GB/s의 I/O 대역폭을 갖춘다.


예상했던 대로, IBM은 파워7의 클럭 스피드를 하향 조절했는데, IBM이 말하길 이 파워7 IH MCM의 클럭스피드는 3.5GHz에서 4GHz가 될 것이라고 한다. 현세대 파워6+ CPU의 최대 클럭 속도는 5GHz인데, 물론 이는 칩당 두개의 코어만 갖고 있으며, 보다 적은 연산 유닛을 갖고 있다. IBM에서는 이 파워7 IH 단일 CPU하나(4x8 코어)가 부동소수점 연산 능력만 따져도 1테라플롭스의 연산 성능을 발휘한다고 밝히고 있다.


TDP가 무려 800와트나 달하기 때문에 발열이 적다고는 절대로 말 못할 물건이긴 하지만, 파워7 IH MCM은 와트당 1.28 기가플롭스의 성능을 제공하고 있다. 그에 비해 인텔의 제온 5500 CPU는 코어당 4개의 부동소수점 연산을 할 수 있고, 단일 4코어 다이당 16개의 연산을 할 수 있는데, 이는 곧 최상위급 제온인 X5570은 TDP 95와트에서 46.9 기가플롭스를 제공하며, 고작 와트당 493메가플롭스 밖에 되지 않는다는 것을 의미한다.


(중략)


이 사진에서 보시다시피 파워7 IH 노드는 절대로 작지 않다. 이것은 가로 39인치에 높이가 6인치나 되며, 여기엔 케이블을 위한 공간이 포함된다. IH 노드의 랙은 2U 높이이며, 8개의 파워7 IH MCM을 탑재할 공간이 있어서 총 256개의 코어가 들어간다. 여기에는 두개의 괴수급 크기의 메인보드가 CPU와 메모리와 허브/스위치 및 인터커넥트를 때려박고 있다. 이들 메인보드는 일본의 서버 메이커인 히타치에서 제조했으며, 브레너씨가 말하길 이 메인보드는 현존하는 가장 큰 크기의 메인보드랜다.


 power7_ih_node.jpg



IH 노드는 100% 수냉 방식으로 냉각되며, 파워7 MCM 및, IBM에서 전용으로 직접 디자인한 8GB DDR3 메모리 모듈과 파워7 IH 허브/스위치 모듈 (정식 명칭은 아직 결정되지 않음)에 워터 블럭이 장착되게 된다.


각각의 메모리 모듈에는 DIMM마다 버퍼가 장착되며, 이것은 IBM에서 성능을 향상시키기 위해 직접 디자인한 것이다. 그리고 각각의 소켓마다 16개의 DIMM 슬롯이 장착되며, IBM에서는 8GB DIMM을 쓰기 때문에 코어당 4GB가 배정된다.


각각의 랙마다 총 1테라바이트의 메모리가 장착되며, 완성된 블루워터 전체는 총 2페타바이트의 메인 메모리를 갖게 된다. IBM에서는 메모리 아키텍쳐에 대해선 많은 말을 하려 하진 않았으나, 파워7 CPU에는 일종의 글로벌 어드레스 스페이스 (일반적인 SMP와 NUMA의 캐쉬 코히런트 공유 메모리와는 다른 기법)를 지원하는 기능이 탑재되어 있다. 이러한 글로벌 어드레스 스페이스 메모리가 어떻게 구현되는지 보는 것도 흥미로울 것이다.


위의 사진에서 파워 서플라이는 맨 오른쪽에 위치하며, 왼쪽으로 가면서 DDR3 메모리 뱅크, 8개의 파워7 IH MCM 소켓, 그리고 또 다른 메모리 뱅크, 허브/스위치 모듈과 다른 클러스터와 접속하기 위한 광학 케이블이 위치한다. 샤시의 맨 왼쪽에는 (랙의 맨 뒤로 가게 된다) 16개의 PCIe 2.0 16x 슬롯과 만일의 사태를 위한 8x 슬롯이 한개 있다.



수냉 쿨러는 각각의 노드를 랙 샤시 전면부 (위 사진의 맨 오른쪽)를 통해서 서로 연결한다. 이 샤시는 모든 부품이 장착되면 무게가 136kg에 달한다. 이런걸 12개 묶고, 총 1페타바이트의 로컬 하드디스크와 함께 특수 제작된 랙에 장착한다. 각 랙마다 98.3 테라플롭스의 연산 능력을 갖게 된다.


 power7_switch_network.jpg


각각의 노드를 서로 묶어주는 파워7 IH 노드의 심장부에 위치한 허브/스위치는 이 머신의 “비밀의 양념”과도 같다. 브레너씨는 이에 대해서 자세한 설명은 생략했지만, IBM이 예전에 만들었던 “페더레이션” SP허브/스위치에서 영감을 얻었다고는 밝혔다. 이것은 ASCI 블루를 비롯한 AIX와 인피니밴드 스위치 기반의 여러 슈퍼컴퓨터를 위해 개발된 것으로, 아범이 파워5와 파워6 프로세서를 리모트 I/O에 연결하는데 사용한 인피니밴드와도 연관이 있다.


한편 브레너씨는 파워7의 IH 노드에 사용된 허브/스위치 기술이 페더레이션과 인피니밴드보다도 뛰어난 것이라고 자랑하긴 했다. 그리고 기존의 허브와의 차이점 중 하나가 네트워크에 존재하는 모든 노드에 대해서 2차원 토폴로지를 제공한다고 말했다. 단일 노드상에서 모든 프로세서는 메인보드를 통해서 서로 링크되며, IH 노드 허브/스위치를 통해 제어된다.


광학 인터커넥트는 허브/스위치의 맨 윗부분에 장착되는데, 허브 꼭대기에 달린 네모난 물건들은 사실 소형 옵티컬 트랜시버들로 구성되어 있으며, 각각의 네모마다 10Gb/s의 대역폭을 가진다고 브레너씨는 설명했다. 파워7 IH MCM과 허브/스위치는 캐나다의 퀘벡에 위치한 IBM의 브로몬트 공장에서 조립되었다고 하며, 여기서는 또한 플삼과 엑박의 부품들이 생산되고 있다. 뉴욕에 있는 IBM의 이스트 피쉬킬 공장에서는 파워7의 웨이퍼와 허브의 칩셋이 생산되고 있다.


파워7 IH의 인터커넥트가 어떻게 돌아가냐면, 간단하다. 랙의 뒷부분에서 나오는 대부분의 옵티컬 인터커넥트는 각각의 노드를 슈퍼노드로 묶는 역할을 하며, 슈퍼노드마다 4개의 랙으로 구성되어 32 테라플롭스의 연산능력을 가진다. 이번 SC09에서 공개된 허브/스위치 인터커넥트는 현재 512개의 슈퍼노드까지 스케일이 가능하며, 이는 총 16.4 페타플롭스의 성능을 가진다. (아범에서 이 녀석으로 20페타플롭스를 달성하려면 4.88GHz로 오버해야 할 듯 하다)


브레너씨가 말하길 이 허브/스위치 모듈은 총 1128GB/s -- 이거 비트 아니다, 바이트다 --의 총 대역폭을 제공한다고 말했다. 이것은 각각의 파워7 MCM마다 192GB/s의 대역폭을 공급하며 (이걸 아범에서는 호스트 커넥션이라고 부른다), 336GB/s의 대역폭을 랙에 존재하는 다른 7개의 로컬 노드에 공급하고, 240GB/s 대역폭을 4랙 슈퍼노드에 공급하고, 320GB/s의 대역폭을 한 노드가 리모트 노드에 접속하는데 제공한다. 여기엔 또 다른 범용 I/O를 위한 40GB/s의 대역폭이 존재한다.

 

원본 출처 http://www.theregister.co.uk/2009/11/27/ibm_power7_hpc_server/

4thread , 8 core , 4 die , 800W TDP...

CPU 당 4 X 4 X 8 = 128 thread..;

수냉필수