Когда банк перерастает колокацию
Решение о строительстве собственного дата-центра обычно приходит по одной из двух причин: регулятивное давление или рост бизнеса. В нашем случае — обе. Требования Центрального банка к суверенитету данных и физическому контролю безопасности делали колокацию всё менее жизнеспособной, а объёмы транзакций банка требовали инфраструктуры, которую мы могли полностью контролировать.
Строительство дата-центра — это не ИТ-проект. Это строительный проект с ИТ в его центре. Это различие важнее, чем кажется.
Урок 1: Начинайте с AutoCAD, а не с Visio
Сетевые инженеры любят рисовать топологии в Visio или draw.io. Но дата-центр — это физическое здание. Вам нужны архитектурные планы:
- Несущая способность пола — полностью загруженная стойка весит 800-1200 кг
- Кабельные трассы — надпотолочные лотки, маршруты под фальшполом, огнестойкие проходки
- Электрораспределение — размещение ИБП, коммутация генератора, прокладка PDU
- Зоны охлаждения — изоляция горячих/холодных коридоров, размещение кондиционеров
Первый месяц я потратил на изучение AutoCAD достаточно, чтобы работать напрямую с архитекторами и инженерами ОВК. Эта инвестиция сэкономила месяцы недопонимания в дальнейшем.
Урок 2: Стройплощадка — не ваш офис
Управление подрядчиками, строящими физическую инфраструктуру, требует иных навыков, чем управление ИТ-командами. Ключевые отличия:
- Ежедневные визиты на площадку обязательны — проблемы, пойманные в первый день, обходятся в 10 раз дешевле, чем на 30-й
- Спецификации должны быть исчерпывающими — подрядчики строят ровно то, что указано, не больше
- Погода, цепочки поставок и нехватка рабочей силы влияют на сроки так, как софтверные проекты не испытывают
- Изменения дорого обходятся — продумайте дизайн до заливки бетона
Урок 3: Проектируйте на 5-7 лет вперёд
Дата-центр — долгосрочная инвестиция. Решения, за которые я благодарен больше всего:
- Запас мощности электропитания 40% — мы уже использовали 60% «избыточной» ёмкости
- Прокладка дополнительного оптоволокна между помещениями — тёмное волокно дёшево при строительстве, дорого после
- CLOS-архитектура сети с первого дня — добавление leaf-коммутаторов тривиально по сравнению с перестройкой core/aggregation
- Стандартизированные компоновки стоек — каждая стойка использует одинаковый шаблон
Решения, которые я бы изменил:
- Начать миграцию на Nutanix раньше — изначально планировали переиспользовать лицензии VMware, потом случился Broadcom
- Больше топливного запаса для генератора — первоначальные 8 часов ниже того, что я рекомендовал бы сейчас (минимум 24 часа)
Урок 4: Высокая доступность — это система, а не фича
Банковские регуляторы ожидают почти нулевого простоя. Это означает:
- Резервирование всего — двойные электрические вводы, двойное охлаждение, двойные сетевые пути
- PostgreSQL HA с автоматическим фейловером — HAProxy + Keepalived обеспечивают прозрачную доступность базы данных
- Протестированное аварийное восстановление — DR-планы, которые не тестируются регулярно — фикция
- Сегментация сети — продакшен, управление и DR-трафик на отдельных VRF
Самый важный урок по HA: тестируйте фейловер регулярно. Мы обнаружили проблемы в нашем PostgreSQL-фейловере во время планового теста, которые вызвали бы 45-минутный простой, если бы произошли в продакшене.
Урок 5: Документация — это инфраструктура
К концу проекта мы задокументировали каждый кабель, каждую электрическую цепь, каждый сетевой порт в NetBox. Это было не просто лучшей практикой — это было регулятивным требованием.
Но документация также принесла операционные дивиденды:
- Новые сотрудники могли разобраться в инфраструктуре за дни, а не недели
- Устранение неполадок начиналось с точных данных, а не догадок
- Планирование ёмкости использовало реальные данные утилизации
- Соответствие аудиту было простым с актуальной документацией
Результат
Дата-центр был введён в эксплуатацию в срок. Все регулятивные требования были соблюдены. Банковские сервисы достигли целевых показателей высокой доступности. И команда получила опыт, который не даст никакое вендорское обучение.
Если ваша организация рассматривает строительство частного дата-центра, самая важная инвестиция — не в оборудование, а в грамотное планирование. Решения, принятые в первый месяц, определяют операционную реальность на следующее десятилетие.