블로그 방명록 사전 갤러리 게시판 인클봇 인클챗 웹 IRC 위즈 인클플
(동접: 0명/0명) [?]
 


지난주 수요일에 있었던 구글 I/O 컨퍼런스에서, 구글 직원 제프리 딘(Jeffrey Dean)이 구글 데이터 센터(클러스터)의 운영 방식에 대해 간략히 설명했습니다. 구글 데이터 센터는 전 세계에 36개가 있는 것으로 알려져 있습니다.

구글 데이터 센터

딘에 따르면, '보다 신뢰할 수 있는 하드웨어를 일정 개수 배치하는 것보다, 신뢰성은 다소 떨어지더라도 그보다 2배 많은 하드웨어를 배치하는 것이 더 좋다'고 합니다. '컴퓨터를 1만 대 운영한다고 하면, 매일 무언가가 고장나기' 때문에, '신뢰성은 소프트웨어 수준에서 제공하는 것이 좋다'는군요.

구체적인 통계도 제시했는데, 각 클러스터에서 처음 1년 동안 '컴퓨터 1000대가 고장나고, 하드 디스크 수천 개가 고장나며, 배전 장치(PDU) 하나가 고장나면서 컴퓨터 500~1000대를 6시간 가량 중단시키고, 랙 20개가 고장나면서 각각 컴퓨터 40~80대를 네트워크에서 사라지게 하고, 랙 5개가 이상 동작을 일으키면서 담당하고 있던 네트워크 패킷의 절반 가량이 손실됩니다.' 또한 '배선 변경이 한 번 있는데, 전체 컴퓨터 중 5%가 어느 순간 2일 가량 멈출 수 있습니다.' 마지막으로 '50% 확률로 전체 클러스터가 과열되어 5분 내로 서버 대부분이 다운되고, 복구하는 데 1~2일 걸릴 수 있습니다.'

구글의 값싼 하드웨어 대량 살포 정책(?)에 대해서는 익히 알고 있었지만, 구체적인 이야기를 들으니 재미있군요. 데이터 안정성은 서비스의 안정성으로 직결되니, 집착할 수밖에 없겠지요.

Posted by 랜덤여신

2008/06/03 23:09 2008/06/03 23:09

Trackback URL : http://barosl.com/blog/trackback/759

Comments List

  1. 유듯무듯 2008/06/03 23:37 # M/D Reply Permalink

    완전 재밌습니다.
    영어를 못해서 이런 정보를 얻기가 어려운데
    이렇게 포스팅 해주시는 분을 보면 감사할 따름입니다.

  2. A2 2008/06/04 00:00 # M/D Reply Permalink

    오잉~ 그럴싸 한데요. ㅋ

  3. daybreaker 2008/06/04 02:19 # M/D Reply Permalink

    링크하신 글을 자세히 읽어보니 GFS의 경우 최소 3개의 서로 다른 머신에 64MB 단위의 데이터 블록을 분산 배치한다고 하는데, 확률적으로 그 3개가 동시에 고장나기는 힘들겠...지요?; 그런 경우는 어떻게 처리하려나 ...

    마지막에 현재 구글의 목표는 한 데이터센터 내에서 머신끼리의 데이터 이동을 구현하는 수준이 아니라 데이터센터끼리 주고받는 걸 원한다고 하는군요. 오호;;

  4. z0nKT1g3r 2008/06/04 15:10 # M/D Reply Permalink

    저도 갔다왔는데, 여러모로 초보인 저로서는 정말 많은걸 배울기회가 될 수 있어 좋았던것같습니다 ^^
    정말 유익하더군요!

  5. luzluna 2008/06/13 09:31 # M/D Reply Permalink

    GFS의 3개 세트가 동시에 고장나서 gmail의 데이터를 잃어버리는 사고가 적어도 한번이상 발생했었습니다... 유료 또는 중요한 데이터는 더 많이 분산하겠죠...

Leave a comment
« Previous : 1 : ... 133 : 134 : 135 : 136 : 137 : 138 : 139 : 140 : 141 : ... 804 : Next »

블로그 이미지

랜덤여신이 살아가는 이야기입니다. / 국내 점유율이 1%도 안 되는 리눅스 관련 글을 주로 씁니다. 관심 좀... ㅠㅠ / 컴퓨터쪽 이야기도 씁니다.

- 랜덤여신

Archives

Recent Posts

  1. 안드로이드 시장 점유율, 빠르게 상승 ... (2)
  2. OpenSSH 5.4 출시 - SSH1 비활성화
  3. 아이폰 개발자 프로그램, 약관 전문 폭로 (4)
  4. 스팀 및 밸브 게임, 맥 지원 시작
  5. 유비소프트, 인증 서버 다운으로 게임 ... (1)
  6. MS, 윈도 폰과 엑스박스 동시 지원 게...
  7. MS, IE6 장례식에 조화 보내 (3)
  8. 북한 리눅스 배포판 '붉은 별' (3)
  9. 우분투, 새 디자인 공개 - '빛' 테마 (7)
  10. 미국 토피카 시, '구글 시'로 이름 변경 (4)
  11. 애플, 아이폰 특허 침해로 HTC 고소 - ... (7)
  12. PS3 구형, 달력 버그로 게임 실행 불가능 (2)
  13. EU, 구글 스트리트 뷰에 사생활 침해 경고
  14. 2ch 공격이 무의미한 이유 (60)
  15. 동영상 포맷 화질 비교 - H.264, Ogg T... (7)
  16. 아이튠즈 스토어, 음악 다운로드 100억...
  17. 고 대디, 암호화 없이 비밀번호 저장하... (2)
  18. 페도라 쓴다고 말해! (7)
  19. 유튜브, 3월 13일에 IE6 지원 중단 (2)
  20. 애플, 앱 스토어에서 성인 앱 6000개 제거 (3)
  21. 구글 기어스, HTML5로 대체
  22. 모바일 리눅스에는 인라이튼먼트가 제격? (2)
  23. MS, 유럽 윈도에 '웹 브라우저 선택' ... (10)
  24. 파이어폭스 부가 기능 사이트 차단과 S... (13)
  25. SKT 주최 '안드로이드 개발자 컨퍼런스... (1)
  26. 구글, 위키미디어 재단에 200만 달러 기부 (5)
  27. 오픈 소스 모델은 정말 효율적인가? MS... (10)
  28. 노키아와 인텔, 모바일 플랫폼 '미고' ... (1)
  29. 아이작 아시모프의 '파운데이션', 3D ... (2)
  30. 아이폰용 오페라 미니 발표 - 앱 스토... (7)