Каждую секунду на видеохостинге YouTube появляется огромное количество нового контента. Сложно представить хранилища для такого объема данных. Компания Google не раскрывает все свои секреты, но все же постараемся разобраться, где и насколько надежно хранятся видео YouTube.
Дата-центры Google
Дата-центры Google представляют собой центры, предназначенные для обработки данных. Они содержат компьютерные узлы, накопительные диски, внешние и внутренние сети, системы охлаждения и программное обеспечение. Google не предоставляет официальных данных относительно того, сколько именно серверов, но по приблизительным оценкам некоторых исследовательских компаний их количество может составлять более 2,5 млн.
Существует множество центров обработки данных компании Google, расположенных на нескольких континентах. В Северной Америке их 15, в Южной Америке – 3, в Европе – 8, в Азии – 5.
Типы серверов, используемых в дата-центрах:
- веб-серверы;
- индексирования данных;
- рекламные;
- сбора данных;
- документов;
- проверки правописания.
Файловая система Google
GFS или файловая система компании Google представляет собой проприетарную кластерную файловую систему. Она была разработана Google для того, чтобы максимально надежно и эффективно обеспечивать доступ к данным. Версия Colossus является последней (представлена в 2010 году).
Файловая система необходима для удовлетворения основных потребностей компании в хранении и дальнейшем использовании данных (в основном для системы поиска). GFS способна к генерации больших объемов информации. «Предком» GoogleFS являлась BigFiles, которая была разработана Сергеем Брином и Ларри Пейджем, когда компания только начала свое существование.
Резервируются ли видео YouTube и каков общий размер хранилищ данных?
Данные на серверах Google хранятся в виде синхронизированных между собой копий одновременно в нескольких дата-центрах. Таким образом, даже если один из центров обработки данных выйдет из строя, видеоконтент никуда не пропадет. Какие объемы хранилищ – неизвестно. Согласно некоторым неофициальным оценкам, объем ежегодно загружаемых файлов составляет около 120 ПБ (1 ПБ = 1024 ТБ или более миллиона ГБ).
