블로그 방명록 사전 갤러리 게시판 인클봇 인클챗 웹 IRC 위즈 인클플
(동접: 0명/0명) [?]
 


지난주 수요일에 있었던 구글 I/O 컨퍼런스에서, 구글 직원 제프리 딘(Jeffrey Dean)이 구글 데이터 센터(클러스터)의 운영 방식에 대해 간략히 설명했습니다. 구글 데이터 센터는 전 세계에 36개가 있는 것으로 알려져 있습니다.

구글 데이터 센터

딘에 따르면, '보다 신뢰할 수 있는 하드웨어를 일정 개수 배치하는 것보다, 신뢰성은 다소 떨어지더라도 그보다 2배 많은 하드웨어를 배치하는 것이 더 좋다'고 합니다. '컴퓨터를 1만 대 운영한다고 하면, 매일 무언가가 고장나기' 때문에, '신뢰성은 소프트웨어 수준에서 제공하는 것이 좋다'는군요.

구체적인 통계도 제시했는데, 각 클러스터에서 처음 1년 동안 '컴퓨터 1000대가 고장나고, 하드 디스크 수천 개가 고장나며, 배전 장치(PDU) 하나가 고장나면서 컴퓨터 500~1000대를 6시간 가량 중단시키고, 랙 20개가 고장나면서 각각 컴퓨터 40~80대를 네트워크에서 사라지게 하고, 랙 5개가 이상 동작을 일으키면서 담당하고 있던 네트워크 패킷의 절반 가량이 손실됩니다.' 또한 '배선 변경이 한 번 있는데, 전체 컴퓨터 중 5%가 어느 순간 2일 가량 멈출 수 있습니다.' 마지막으로 '50% 확률로 전체 클러스터가 과열되어 5분 내로 서버 대부분이 다운되고, 복구하는 데 1~2일 걸릴 수 있습니다.'

구글의 값싼 하드웨어 대량 살포 정책(?)에 대해서는 익히 알고 있었지만, 구체적인 이야기를 들으니 재미있군요. 데이터 안정성은 서비스의 안정성으로 직결되니, 집착할 수밖에 없겠지요.

Posted by 랜덤여신

2008/06/03 23:09 2008/06/03 23:09

Trackback URL : http://barosl.com/blog/trackback/759

Comments List

  1. 유듯무듯 2008/06/03 23:37 # M/D Reply Permalink

    완전 재밌습니다.
    영어를 못해서 이런 정보를 얻기가 어려운데
    이렇게 포스팅 해주시는 분을 보면 감사할 따름입니다.

  2. A2 2008/06/04 00:00 # M/D Reply Permalink

    오잉~ 그럴싸 한데요. ㅋ

  3. daybreaker 2008/06/04 02:19 # M/D Reply Permalink

    링크하신 글을 자세히 읽어보니 GFS의 경우 최소 3개의 서로 다른 머신에 64MB 단위의 데이터 블록을 분산 배치한다고 하는데, 확률적으로 그 3개가 동시에 고장나기는 힘들겠...지요?; 그런 경우는 어떻게 처리하려나 ...

    마지막에 현재 구글의 목표는 한 데이터센터 내에서 머신끼리의 데이터 이동을 구현하는 수준이 아니라 데이터센터끼리 주고받는 걸 원한다고 하는군요. 오호;;

  4. z0nKT1g3r 2008/06/04 15:10 # M/D Reply Permalink

    저도 갔다왔는데, 여러모로 초보인 저로서는 정말 많은걸 배울기회가 될 수 있어 좋았던것같습니다 ^^
    정말 유익하더군요!

  5. luzluna 2008/06/13 09:31 # M/D Reply Permalink

    GFS의 3개 세트가 동시에 고장나서 gmail의 데이터를 잃어버리는 사고가 적어도 한번이상 발생했었습니다... 유료 또는 중요한 데이터는 더 많이 분산하겠죠...

Leave a comment
« Previous : 1 : ... 98 : 99 : 100 : 101 : 102 : 103 : 104 : 105 : 106 : ... 769 : Next »

블로그 이미지

랜덤여신이 살아가는 이야기입니다. / 국내 점유율이 1%도 안 되는 리눅스 관련 글을 주로 씁니다. 관심 좀... ㅠㅠ / 컴퓨터쪽 이야기도 씁니다.

- 랜덤여신

Archives

Recent Posts

  1. 심비안, 오픈 소스 전환 완료 (3)
  2. 노키아 N900 스마트폰에서 맥 OS X 돌리기 (1)
  3. 리눅스 커널 트리에서 안드로이드 커널... (8)
  4. 킨들용 비공식 Qt 환경
  5. 우분투 넷북 에디션, 오픈 오피스 대신... (2)
  6. 네이버 비디오, 서비스 종료 (6)
  7. 페이스북, PHP 컴파일러 '힙합' 출시 -... (1)
  8. 오픈 오피스, 독일 시장 점유율 20% 달성 (3)
  9. YES24와 지마켓, 비 IE 카드 결제 중단 (10)
  10. 페이스북, PHP 성능 향상을 위해 컴파... (7)
  11. 파이어폭스 모바일 1.0 출시 (4)
  12. 구글, 확장 DNS 프로토콜 제안 - 가장 ... (1)
  13. 아이폰, 3G를 통한 인터넷 전화 허용 (5)
  14. 우분투, 기본 검색 엔진을 야후로 변경 (3)
  15. 구글 보이스, 앱 스토어를 우회하여 아... (1)
  16. 소스 포지, '테러 지원국' 접근 차단 (2)
  17. 이메일 중 95%는 스팸 (1)
  18. 유튜브, HTML5 비디오 지원 - video 태그 (7)
  19. 국제 우주 정거장에 첫 인터넷 개통 (1)
  20. 파이어폭스 3.6 출시 - 페르소나 지원,... (2)
  21. 아이폰 앱 스토어, 99.4% 시장 점유율 ... (1)
  22. 하이쿠, KDE 지원 시작 - KOffice 포함
  23. ReactOS, 새로운 개발 방식 도입 - 와...
  24. 트윗픽 가치, 1000만 달러 이상? (2)
  25. 2009년 가장 장애인 친화적인 게임 - ...
  26. 순수 자바스크립트 기반 플래시 플레이... (2)
  27. 구글, ext2 버리고 ext4 사용 (2)
  28. 지마켓에서 ActiveX 없이 신용 카드 결... (16)
  29. 구글, 중국 검열 중단 요구 - 서비스 ... (2)
  30. 터치 스크린 정확도 비교 - 아이폰 승,... (2)