Каталог решений

08.04.2011

Опыт оптимизации энергопотребления в режиме реального времени в критически важном информационном центре компании eBay

Разработчики и задачи проекта

Основанная в 1995 году компания eBay объединяет энтузиастов: покупателей и продавцов сферы малого бизнеса. Обслуживая более чем 90 миллионов активных пользователей во всем мире, eBay является крупнейшим интернет магазином, где каждый может купить и продать практически все, что угодно.

Являясь одной из крупнейших платформ интернет-коммерции в мире, eBay нуждается в устойчивой работе дата-центров. Любой сбой системы обойдется компании более чем в 2000$ за одну секунду простоя. Таким образом, команда, обслуживающая основной центр обработки данных, должна одновременно обеспечить бесперебойную работу и гибкость системы и в то же время минимизировать возможные затраты.

С момента создания компания eBay построила сеть из 12 центров обработки данных, которые должны справляться с постоянно растущей вычислительной нагрузкой. При этом расходы eBay на поддержание работы информационных центров увеличиваются с каждым годом по мере роста бизнеса.

«Успешная стратегия для центров обработки данных предполагает ежегодный рост вычислительных возможностей без пропорционального увеличения операционных расходов», объясняет Дин Нельсон, руководитель центра стратегий обработки данных и операций eBay. «Мы должны сломать линейную зависимость между вычислительной нагрузкой и эксплуатационными расходами системы. Это требует эволюции в сфере энергетической эффективности, вычислительной мощности и схем загрузки серверов».

Решением этой проблемы стало осуществление четырехлетнего плана с амбициозной целью: сократить затраты на электроэнергию в два раза, одновременно удвоив вычислительную способность своих информационных центров. В то же время, новая схема инфраструктуры позволила бы увеличить оперативную гибкость и повысить надежность системы.

Для достижения этой цели, компании необходимо было сосредоточить свои активы в меньшем количестве информационных центров. При этом каждый ЦОД должен был быть заново спроектирован в соответствии с требованиями энергоэффективности и без ущерба для работоспособности всей системы. Используя систему управления электропитанием Dominion® PXTM intelligent rack PDUs от ведущего разработчика систем удаленного управления, компании Raritan, специалисты eBay создали и внедрили модель ЦОД, обеспечивающих высокую надежность IT -операций и требующих на 50% меньше затрат на эксплуатацию, по сравнению с предыдущими поколениями систем.

Реализация проекта

В мае 2010 года eBay запустил в эксплуатацию флагман своей новой стратегии дата-центров, проект «Topaz», расположенный в Южном Джордане, штат Юта, США. В «Topaz» размещается треть всех серверов компании, объект является крупнейшим капиталовложением в истории eBay. Благодаря внедренной на объекте системе энергосбережения даже при запуске всего оборудования дата-центра показатели энергоэффективности потребления (PUE) составили 1,4. (Коэффициент Power Usage Effectiveness (PUE) определяется соотношением полной энергии, подаваемой на площадку, к энергии, потребляемой ИТ-оборудованием)

В дополнение к минимизации ошибок и снижению эксплуатационных расходов, здание eBay в Южном Джордане, штат Юта, США получило золотой рейтинг престижной системы сертификации строений с точки зрения экологии и энергоэффективности (LEED).

Еще одним важным достоинством информационного центра eBay, наряду с эффективностью (золотой рейтинг LEED) и надежностью (Tier IV), является его масштабируемость.

Система энергоэффективности объекта «Topaz»



В инфраструктуре ЦОД использованы инновационные энергосберегающие приемы: оптимизированная конструкция здания, экономайзеры воды, сбор дождевой воды и динамические элементы управления всей системой охлаждения и подсистемой распределения электричества. Благодаря этому «Topaz» обеспечивает энергопитание и охлаждение на высших этажах здания информационного центра с минимальными затратами.

Кроме того, в здании дата-центра оптимизировано пространство на высших этажах, что вместе с уникальной охлаждающей установкой поспособствовало сертификации здания в соответствии с современными критериям экологичности и энергоэффективности LEED.

Пять ключевых особенностей конструкции «Topaz» на высших этажах особенно ценны для отрасли, поскольку могут быть применеры во всех современных центрах обработки данных:
  1. Изоляция горячих коридоров
    Для достижения максимальной эффективности охлаждения eBay применила тщательно разработанную и протестированную систему изоляции горячих коридоров. Команда архитекторов информационных центров в штаб-квартире eBay в Сан-Хосе создала полномасштабные макеты мультиизоляции, экспериментируя с различными стратегиями (горячий и холодный коридор), материалами (герметические двери и пластиковая обшивка) и размерами. Проектирование позволило определить оптимальный баланс между стоимостью, гибкостью и надежностью схемы перед ее массовым внедрением. В eBay обнаружили, что в случае выхода из строя системы охлаждения ЦОД, холодный коридор нуждается в большей изоляции. Команда установила изолированные ряды шкафов 45U, обеспечив модульность конструкции и сведя риск утечки к минимуму.

  2. Электроснабжение каждого серверного шкафа
    Разработчики eBay хотели, чтобы блоги распределения питания выдерживали нагрузку до 17кВт для размещения в серверный стойках блэйд-серверов. Dominion PX от Raritan поддерживают нагрузку до 22,4кВт, что полностью удовлетворяет данным требованиям. Можно было использовать стандартные модули, рассчитанные на напряжение в 208В, но в «Topaz» компания попыталась добиться большей экономической эффективности за счет более высокого напряжения, подаваемого на каждый шкаф. Подавая 400В на отдельный шкаф, eBay удалось минимизировать потери при понижении и передаче напряжения, в то же время уменьшая количество использованной меди. В частности, eBay подает 400В 3-фазного тока на два интеллектуальных блока распределения питания Raritan (также известных как «фильтры» или «устройства распределения электропитания») в каждом шкафу. Устройство распределения электропитания блока, с внутренней проводкой «фаза+нейтраль» (3-фазная звезда), подает на каждый сервер 240В однофазного тока, что подходит рабочему диапазону питания практически любого IT- оборудования. Исключив ненужные преобразования напряжения при подаче 400В тока, удалось сэкономить по сравнению с подачей 208В 2-3% потребляемой электроэнергии и 4-5% по сравнению с подачей 120В. Являясь известным поставщиком систем распределения питания, Raritan предоставляет широкий спектр оборудования, которое поддерживает питание в 400В. Это является новшеством для Северной Америки, но для оборудования Raritan, которое используется в Австралии и странах Европы, такое напряжение является стандартом.

  3. Особенности системы электропитания
    Возможно, наиболее важным экономическим показателем для команды дата-центра eBay является совокупная стоимость одного поиска. Возможности центрального процессора сервера возрастают с каждым обновлением (раз в два года), так как совокупная выгода от производительности на один Ват превышает капитальные затраты на покупку новых активов. С каждым новым поколением серверов eBay старается минимизировать стоимость одного поиска, включая не только капитальные, но и все эксплуатационные расходы. Притом, что расходы на электроэнергию являются крупнейшим операционным расходом любого упомянутого актива. Для максимизации экономии eBay установил блоки распределения питания Raritan Dominion PX, которые в соответствии со стандартами IEC / ANSI непрерывно с точностью до 1% отображают информацию о потреблении электричества (киловатт в час) для каждого отдельного устройства центра обработки данных. Таким образом, устройства Dominion PX обеспечивают третий уровень мониторинга PUE3 (Power Usage Efficiency) согласно нормам энергесберегающего стандарта, принятого отраслевым консорциумом Green Grid. «Dominion PX обеспечивает точность, необходимую для расчета эксплуатационных расходов каждого сервера, вплоть до копейки», говорит Нельсон, руководитель центра стратегий обработки данных и операций eBay. «Я могу отследить эффективность работы оборудования различных поставщиков, и составить список требований к оборудованию, при следующей модернизации системы».

  4. Особенности климатической системы
    eBay предпочитает иметь точные данные о температуре и влажности внутри каждого шкафа информационного центра. В частности, в системе «Topaz», согласно рекомендациям американского сообщества инженеров ASHRAE (American Society of Heating, Refrigerating, and Air-Conditioning Engineers) относительно мониторинга показателей среды, измеряется холодный коридор вверху, посередине и внизу серверной стойки. Измерение и контроль показателей влажности и температуры воздуха серверов eBay осуществляют интеллектуальные блоки распределения электропитания Dominion PX. Именно потому, что эти показатели постоянно контролируются, персонал компании может точно настроить параметры охлаждения для оптимизации его эффективности, и мгновенно среагировать на любую неисправность оборудования.

  5. Накладной шинопровод энергоснабжения
    Большинство центров обработки данных используют подпольный лабиринт силовых кабелей от фильтров к каждому шкафу. Такая конструкция значительно затрудняет поток воздуха и тем самым снижает эффективность охлаждения. Кроме того, стандартная паутина выделенного подпольного питания для каждого прерывателя и значительное количество малоиспользуемой меди снижают масштабируемость системы. Для решения этой проблемы в «Topaz»используются накладные шинопроводы энергоснабжения, которые позволяют легко подключить любой шкаф к источнику питания с силой тока в 400A. Две шины, параллельно лежащие вдоль каждого ряда шкафов, поставляют избыточный ток, полностью исключая необходимость создания паутины проводов под фальшполом. Хранилище можно добавить в любом месте в ряду шкафов за пару минут, подключив защищенную монтажную коробку.


Результаты внедрения системы энергоэффективности

eBay – это компания, которая заботится о повышении надежности своего оборудования, поскольку каждая секунда его простоя обходится в 2000$ (120,000 $ в минуту). Масштабы деятельности eBay's требуют постоянного мониторинга компьютерного оборудования и контроля энергопотребления. Для достижения этих целей eBay разработала модель дата-центров, обеспечивающих высокую надежность IT -операций и вдвое снижающую затраты на эксплуатацию информационной системы.

В дополнение к минимизации ошибок и снижению эксплуатационных расходов здание eBay в Южном Джордане, штат Юта, США, получило золотой рейтинг престижной системы сертификации строений с точки зрения экологии и энергоэффективности американской рейтинговой системы LEED (Leadership in Energy and Environmental Design).

Кроме высоких показателей энергоэффективности, информационный центр имеет степень надежности Tier IV в соответствии со стандартами ассоциаций предприятий Uptime Institute. Четвертый уровень надежности означает, что «Topaz» является отказоустойчивым дата-центром с резервированием всех систем, позволяющим выполнить любые плановые и внеплановые работы без прерывания работы ЦОД.

Еще одним важным достоинством информационного центра eBay, наряду с эффективностью и надежностью, является его гибкость и масштабируемость. Этот дата-центр может быть легко адаптирован к изменениям в потребностях и оборудовании, и, что особенно важно для eBay, имеет большой потенциал для роста в будущем.

На примере eBay мы видим, как реализуя передовой опыт IT-отрасли, даже небольшие по размеру центры обработки данных могут повысить надежность работы, сократить расходы и более эффективно использовать уже имеющееся оборудование.



Продукция
Печатные каталоги
СЕРИЯ MASTERCONSOLE DIGITAL от компании Raritan

Посмотреть все каталоги