| Sandro | Дата: Среда, 16.12.2009, 05:44 | Сообщение # 1 |
 Генерал-полковник
Группа: Администраторы
Сообщений: 76
Статус: Offline
| Наверняка многие слышали о том, что ИнноваСистемс решила улучшить качество своих услуг. Нам выпала возможность увидеть все технические улучшения своими глазами. Сотрудники компании пригласили нас в свой дата-центр. Анна Бейкул (PR) и Сергей Пономаренко (Distribution) встретили нас у Павелецкой, и, пока мы ехали в по Варшавскому шоссе, нам удалось задать им несколько вопросов
 
Divor: Как выбирали дата-центр?
Сергей: В Москве есть масса дата-центров, но большинство, к сожалению, не очень высокого уровня. Обусловлено это, наверное, тем, что
заказчики в массе своей не предъявляли такого количества требований, какое предъявляем мы. Появляться серьезные ЦОД (центр обработки данных – то же, что и дата-центр - прим. Divor) начали вместе с возникновением на рынке западных компаний, а это совершенно другой уровень, нежели был у нас в стране. Мы очень долго выбирали и,
остановились на, пожалуй, одном из самых лучших ЦОД в стране.
Факторы выбора - это и цена, и качество, и охрана и то, какое они оборудование ставят, поддержка этого дата-центра. Важно, чтобы системы автономного питания были высокого уровня, чтобы соответствовали системы охлаждения, кондиционирования воздуха.
Для Айона была выбрана соответствующая мировому уровню площадка, и в будущем она будет еще расширяться для других наших проектов.
Divor: Это значит, что железо новое будет у Айона, а игрокам Lineage 2 улучшений ждать не стоит?
Сергей: Нет, там также стоят основные сервера Lineage 2, и все наши проекты получат улучшения по скорости связи, потому что мы подписываем договора со всеми телекомами. Меняем условия внутри этих компаний, меняем оборудование на площадках, тем самым повышая уровень связи.
Раньше это было трудно делать, потому что телекомы не шли на сотрудничество, а сейчас слишком быстро стало все развиваться, и из-за конкуренции
им приходится эти условия принимать.
К этим дата-центрам мы прокопали около 50 км собственной оптики по Москве. К сожалению, много вещей, связанных с бумагами и с оформлением всего этого сильно тормозит процесс, поэтому не все так быстро получается. Но я думаю, в ближайшие несколько месяцев мы очень сильно повысим качество связи.
Divor: совсем недавно Борис “Radiant” Синицкий публиковал материал "Иннова борется за качество связи". Там сказано, что с М9 достигнуто соглашение, и большая часть
Московских провайдеров теперь имеет общий пиринг с серверами Иннова Системс.
Сергей: Да, действительно, это позволяет заметно повысить качество связи. Мы и с Корбиной общались, но проблема в том, что с этой компанией пока трудно договариваться
Divor: А в чем дело?
Сергей: У них очень много пертурбаций внутри компании. Им интересно с нами работать, но они сосредоточены на своих внутренних проблемах.
Правда, я думаю, что это скоро решится. При наших объемах трафика (Иннова Системс сейчас в десятке компаний по количеству генерируемого трафика),
они не могут нами не интересоваться.
Divor: Это игровой трафик позволил вам так высоко подняться?
Сергей: Да именно он. У нас много проектов, но даже если просто взять Айон, то это клиент в 8 ГБ, и сразу сотни тысяч человек, которые этот клиент качают.
Divor: Совсем недавно Иннова Системс получила лицензию на предоставление услуг связи...
Сергей: Мы на самом деле все лицензии, которые возможно, получили сейчас. Это и телематика, и связь, и все на свете.
У нас есть свои зарегистрированные узлы связи. То, что мы будем предоставлять услуги, - это мало вероятно, скорее это делается для нашей
безопасности со стороны законодательства. Чтобы не было вообще никаких поводов придраться к нам.
Divor: То есть никаких расширений в сферу провайдинга не планируется?
Сергей: Нет, это совсем не наша специфика. Лезть не в свой бизнес - не наш подход. В ближайшее время не будем делать ничего подобного.
Эти лицензии получены еще для ряда наших новых сервисов, которые мы разрабатываем. Возможно это будет ряд медиасервисов, которые будут
предоставлены наших пользователям. Для некоторых из них нужны определенные лицензии.
Лицензия по сути недорогая, но трудоемкая по получению, но зато мы обезапасим себя от всевозможных придирок.
Divor: Такие придирки уже имели место?
Сергей: Нет, придирок не было, но чем больше становится компания, тем больше шанс с ними столкнутся. Мы понимаем, что становимся все крупнее и крупнее, и будут встречаться люди, которые захотят на этом заработать. Это всегда так было... Мы хотим себя полностью закрыть от всего подобного.
У нас бизнес по предоставлению услуг, и по решению судов возможно каким-то образом остановить работу серверов, а это совершенно неприемлемо.
Divor: противозаконных вещей вы вроде не делаете? :)
Сергей: У нас вообще суть компании в том, что мы делаем все "в белую". Мы хотим все это перевести на другой уровень. "Белый" бизнес хорош,
на нем тоже можно зарабатывать деньги. Когда-то люди просто не верили, что так может быть, а сейчас это вполне работает, и на наших проектах это было доказано.
Divor: Пользователей нашего портала беспокоит платформа Айон. Имею в виду всю базу: и техническая, и кадры - специалисты, которые будут этим заниматься.
Наших форумчан интересует подход к подготовке. На момент тестирования Lineage 2 пользователи жаловались на качество перевода.
Многое было сделано халтурно, особенно жаловались на перевод автоматикой. Из всех этих мелочей для пользователей сложилась достаточно неприятная картина.
Все понимают, что локализация очень объемная, в Lineage 2 много текста, истории. Крайне сложно все это было сделать идеально, но, тем не менее, ожидания того, что будет с Айон, уже совершенно другого уровня. И компания выросла, и специалисты получили огромный опыт.
Сергей: Очевидно, что проектов такого уровня в России немного. Специалистов с большим опытом работы в этой области найти трудно, поэтому были какие-то ошибки с Lineage 2. Несмотря на это, огромное количество людей играют и очень довольны. Я бы не сказал, что что-то сорвалось. Ошибки, конечно, зафиксированы, опыт получен, и при работе с Айон все это учитывается. Честно говоря, к Айону был совершенно другой подход, чем к Lineage2. По Lineage 2 и сроки были очень сжатые. Чтобы получить эту игру, мы должны были выполнить ряд условий, а опыта подобной локализации было мало.
Для Айон же мы полностью поменяли техническую команду, пригласили сильнейших специалистов в области связи. Эти инженеры очень известны в области ИТ.
Также были приглашены "связники" из других компаний; они заняты тем, что заключают с телекомами договора по улучшению качества связи.
Ведется большая работа, и команда соответствует по уровню профессионализма.
Divor: Есть шанс, что к моменту запуска у нас не будет 17 прыжков через Европу с нашими провайдерами?
Сергей: Вот как раз работа этих людей и направлена на то, чтобы не такого было. Я думаю, все будет лучше. Сейчас работа ведется каждый день и почти круглосуточно. К моменту запуска все будет отлажено, а в ближайшие несколько месяцев ситуация будет еще улучшаться.
Стоит также сказать, что у нас сейчас имеются определенные договоренности с телекомами Сибири.
Divor: То есть радоваться стоит не только москвичам?
Сергей: Нет, работа ведется по всей России. Вскоре будет охвачена вся Сибирь. Буквально вчера получили письма о предложениях сотрудничества от ряда сибирских монополистов.
Divor: Что на счет самых дальних участков Родины? Например, Владивостока?
Сергей: Доберемся: работа ведется и с телекомами Владивостока. Вообще наша задача сейчас - поставить стойки во всех "миллионниках". В Москве и Питере они уже есть, и идет работа дальше. Думаю, в следующем году 10 "миллионников" точно получат наши стойки.
Мы разворачиваем CDN сеть, одну из новейших поколений сетей по раздаче контента. Думаю, что аналоги сейчас кто-то делает, но наша - будет одной из первых. Посмотрим, как это будет работать, потому что технологии совсем новые для нашей страны.
Оборудование мы привезли сюда такое, которое у нас просто никто никогда не видел. Это самые последние технологии, которые только есть. Конечно, на Западе они уже работают, но все оборудование этого года выпуска.
У нас огромное количество абонентов, и популярность проектов только растет. А задумок - еще миллион, и хочется сделать для этого надежную базу.
Divor: А нет опасений, что Айон все-таки не будет таким сверхпопулярным проектом, как Lineage 2?
Сергей: Не думаю. Интерес, который был к ЗБТ и сейчас проявляется к ОБТ, очень велик. Все идет хорошо.
Наша страна - далеко не Корея, но 300 тысяч входов за первые пять минут запуска в Корее, безусловно, достойный результат.
Мы надеемся на самые радужные перспективы.
Divor: А что на счет евентов? В Lineage 2 их было мало, хотя обещали, что будет российский колорит, что будет много игровых событий. Пользователи этой частью игры остались недовольны.
Сергей: Подход стал гораздо более серьезный. Мы проанализировали ошибки, общаемся с пользователями.
Дата-центр.
По сути - это режимный объект с очень строгой контрольно-пропускной системой. Попасть сюда кому-то без предварительной записи просто невозможно. Встретили нас еще двое сотрудников:
 
Михаил (менеджер сервисных проектов) и Роман (сотрудник дата-цента, который
отвечает за слаженную работу всех систем ЦОДа).
"Без внешних систем дата-центр - не дата-центр", - начинает Михаил нашу экскурсию по периметру территории дата-центра.
Роман: Здесь 4 трансформаторных подстанции, которые реализованы пока наполовину.
Этот большой дизель сейчас сдается в эксплуатацию. Он будет обеспечивать 4 зала.
Он же - резервный автономный источник, на случай аварий, отключений электроэнергии в городе.
Divor: Такого масштаба беду, как веерное отключение электричества на юге Москвы в мае 2005, ЦОД переживет?
Роман: По запасу топлива он будет рассчитан на 72 часа. То есть дизель сможет поддерживать ЦОД 3 дня без электричества.
Роман рассказывает о предстоящих достройках ЦОДа:
А здесь подстанция, только половина которой реализована. Запущено и в работе 2 серверных зала на 100 стойкомест. 2 зала построены и на этапе сдачи. Сейчас как раз туда начинают заезжать наши заказчики.
На втором этаже у нас будет еще 3 серверные по 100 стойкомест и ведется стройка еще.
Весь периметр под видеонаблюдением. Запись осуществляется уже несколько месяцев, но срабатывают камеры только на движения и не записывают все подряд.
Есть у нас и еще один дизель, который был специально включен в систему только для первого зала. Сейчас по мощности его достаточно на 2 зала.
И он у нас еще остается пока в работе как и еще один резервный источник.
Правее располагаются "чилера" - наружные блоки для кондиционирования. Сейчас запущены три, а в работе – два из них. По мощности вместе с резервированием нам сейчас достаточно 2х. Система охлаждения снаружи построена на Гликоле, чтобы ничего не замерзло. А внутри помещения - всё на воде.
(Бак с водой находится вот под этим местом)
И в эту систему охлаждения включен еще автономный бак емкостью 2тыс. тонн. Под землей на глубине 2.5м находится бетонный резервуар. Вода в нем в любое время года не замерзает. Поддерживается температура в районе 5 градусов. И этого резервуара, если остановить все "чилеры", будет достаточно на 1 сутки на всю мощность ЦОДа. А на мощность, которая в данный момент здесь, хватит на 3-4 суток.
Это главный вход.
Здесь располагается охрана, ведущая запись всех лиц, которые проходят в помещение.
Почти сразу после входа в помещение начинается чистая зона. Здесь необходимо носить бахилы.
Нашу экскурсию внутри дата-центра начали с демонстрации системы бесперебойного электроснабжения.
Здесь - самая главная система бесперебойного электроснабжения, которая рассчитана на два зала.
Такая система будет установлена на каждые два зала ЦОД (всего залов запланировано 8). На оборудование денег не жалели.
Электричество поступает с подстанции сначала сюда и только потом в залы. По 500 кВатт на каждый. Кроме источников, тут также стоит и распределительное оборудование. Система бесперебойного питания снабжает электроэнергией серверные.
Также поддерживает работу серверной система кондиционирования; в каждом зале есть отдельные помещения, где установлены по 6 кондиционеров, а также насосные группы, которые гоняют холодную воду для охлаждения.
Эта система будет до 15 минут поддерживать работу серверной, пока происходит автоматический переход на автономное питание. Необходимость в этом возникает, т.к. дизель запускается не моментально. Разрыв в электроснабжении есть. Дизель запускается примерно за 1 минуту и принимает всю нагрузку на себя.
Защита от пожаров серверной и помещений бесперебойного снабжения ведется автоматической газовой станцией.
Таблички, которые располагаются над дверями серверной и помещении ИБП. "Газ Не входи.” Они активируются в пожароопасных ситуациях.
Станция рассчитана на автоматическое тушение двух направлений. Каждое
помещение является отдельным направлением. Сейчас запущено 3 направления: 2 серверные и помещение ИБП. В планах у нас еще 2 зала и одна такая же система. Для тушения используется газ Хладон 125, который считается безвредным.
На данный момент в мире это одна из самых современных систем подобного рода. Во всех залах стоят датчики, через которые в пожароопасной ситуации идет предупреждение, звуковой сигнал. Система выключается автоматически, и ее включают вручную или по закрытию двери, если кто-то находится в зале. Когда из зала выходит последний человек, идет звуковое оповещение, после которого впускают газ (Хладон).
После отработки срабатывает газо-дымо удаление: из помещения удаляются, как бы высасываются, продукты горения. После этого человек идет и все проверяет "вручную". Открывает помещение.
На каждый зал выделено помещение с кондиционерами, которые охлаждают серверную, 6 кондиционеров производства Stulz(Германия)
Дальше нас пригласили почти в «святилище» - серверную. Перед входом нужно одеть вторую пару бахил, потому что начинается новая «чистая зона».
Это - специально выделенная решетка. Она для физического отделения от помещения и как защита от проникновения. Под фальшполом (высота фальшпола здесь 1.20м) и над потолком (высота 1м) решетка продолжается; это - для циркуляции воздуха. Решетка сделана по специальному заказу для Айона - требование компании.
По всему периметру стоят камеры слежения. А все стойки будут открываться только из офиса.
Денис - ведущий инженер, рассказывает о технических подробностях.
Здесь находятся мощности нашей компании. На сетевом уровне здесь уникальное оборудование, которое, наверное, является единственным в России.
force 10, которое мы успешно используем. f5, которое может равномерно на аппаратном уровне распределять нагрузку между серверами.
Также у нас стоит аппаратный фаерволл Juniper SRX. Вся коммутация сделана при помощи оптоволокна и меди. Всё разведено по стойкам, скоммутированно и достаточно универсально.
Наверное, людей интересует в первую очередь где АЙОН? - улыбается Денис
- Вот эта половина. - показывает он нам оборудование.
hp 7000 шасси, в которых помещается до 16 серверов blade
к каждому шасси мы можем подключить до 8 storage.
все эти мощности успешно используются. Также предполагается расширение. Вот здесь — Денис продолжает экскурсию по «железкам» - у нас стоит еще одна корзина, не заполненная до конца.
Унас будет "прирост" оборудования - здесь будет повторяться еще по второму ряду. Запас мощности планируется приличный. Упор сделан не только на производительность, а еще и на резервирование. То есть при выходе из строя какого-либо аппаратного комплекса, это не будет заметно для пользователей.
Divor: Денис, а вам приходилось работать с Lineage 2 проектом?
Денис: нет, однако я видел, на чем это работает. Та аппаратура, которую вы сейчас видите, - это качественно новый уровень.
Сергей: Денис - специалист высокого уровня, который занимался дата-центрами не только в России. Он работал в Майами (США), в Европе, поэтому у него есть очень большой опыт «общения» с самыми новыми системами. Мы его пригласили специально под этот проект. Вся система, соответственно, строится на мировых стандартах.
Divor: Ваше рабочее место - здесь?
Денис: Ну в основном приходится быть здесь, чтобы получать всю информацию из первых рук. Конечно, когда надо, - привлекаем людей.
А так в офис ездим только для улаживания всяческих бумажных вопросов.
Недавно нам подготовили комнату, где можно комфортно работать, когда нет необходимости быть рядом с оборудованием.
Divor: Для рабочего места тут несколько прохладно, не говоря о шуме.
Денис: Да, это еще приглушили. Когда все будет запущено на полную мощность (сейчас у нас проходит стадия тестирования), здесь будут открыты полностью все полы. И будет очень холодно.
Divor: Денис, вы ездили по самым современным дата-центрам мира и участвовали в их создании. Как вы считаете, условия, которые создали в этом дата-центре, по серверной мощности, по безопасности и поддержке удовлетворяют требованиям проекта?
Денис: да, если и были недочеты, мы их решали до того, как вкладывать деньги и силы.
Divor: Ncsoft приезжали смотреть этот дата-центр?
Денис: Да, конечно, приезжали ребята из Кореи, им очень понравилось. Здесь был обширный экскурс с большим рядом технических данных.
Задавали очень много вопросов. Ответами они остались даже более, чем довольны. Для корейской команды было сюрпризом увидеть такое оборудование.
Divor: Можно ли сказать, что мы имеем с самой современной аппаратной платформой российской игровой индустрии?
Денис: Думаю, да. Центральное оборудование, которое отвечает за обвязку этого, у нас уникальное.
Буквально полчаса назад отсюда уехал американский специалист, который приезжал специально посмотреть, как у нас работает их оборудование, свериться, что все отлично
На этом наше путешествие по коридорам, напоминающим Half-Life 2, завершилось. Сотрудники оказались не только профессионалами в своем деле, но и просто приятными людьми с чувством юмора.
Спасибо команде Инновы за предоставленную возможность посетить дата-центр, и его сотрудникам - за интересную экскурсию и подробный рассказ о работе всех систем этого чуда техники.
|
| |
| |
