Технический инцидент 11 октября
Сбой в Рунете

Произошла авария в дата-центре Яндекса, недоступными оказались многие российские сервисы, которые хранили данные в этом центре. Детали можно почитать тут РБК

Яндекс является одним из самых распространенных облачных провайдеров РФ и, действительно, многие IT компании (и не только IT компании) хранят там данные

Каждая человек и каждая компания в РФ пользуется десятками IT сервисов, часть из них были повреждены 11 октября . Каждый IT сервис обычно является частью какого-то важного процесса и, соответственно, этот процесс начинает работать с ошибками, плохо работать или не работать совсем (например, может не работать онлайн-запись, почта, CRM, кассовое оборудование, облачное хранилище с файлами и тп)

IT компании обычно уже готовы к авариям, есть разные способы восстановлений. Есть способы восстановления, которые делают поврежденный сервис доступным уже через 10 минут, есть способы, которые делают сервис доступным уже через 3 часа

Есть ситуации, когда требуется полная миграция в совсем другой дата-центр другого поставщика, и тогда это может занимать сутки

Сейчас такие миграции делают не только те компании, которые пострадали в аварии, но и те, кто еще пока не пострадал и перестраховывается. И создается очередь на миграцию, плюс дефицит мощностей (серверов). Особенно тяжело переезжать крупным компаниям - требуется сразу много мощностей (серверов)

Самое неприятное, что может произойти, что бэкап (резервная копия) хранилась в том же дата-центре, что и сам сервис. И это самый сложный сценарий для восстановления - когда нет свежей копии данных

Мы с 9-го октября уже проводили внутренние "учения" по восстановлению инфраструктуры и были готовы к аварии. Я бы сказала, что мы ее ждали в ближайшее время

Поэтому 11 октября мы восстановились за 3 часа

И мы наблюдали, как восстанавливаются наши основные партнеры (операторы телефонии, CRM, поставщики интеграционных модулей), без работы которых невозможна полная работоспособность Валеры

На текущий момент 12 октября 10:54 не восстановился только Green API - это партнер, очень большая компания, который поставляет нам интеграционные модули для связи Валеры с Вотсап/ТГ/Макс. То есть Валера готовит сообщение и отправляет его в Green API, но Green API не работает и не может доставить сообщение в мессенджер клиенту салона красоты

Green API обещает восстановить работоспособность к вечеру 12 октября. Утром 13 октября потребуется заново отсканировать QR коды всех мессенджеров. Инструкция по сканированию тут:

https://valera.ai/admin

Можно пока напоминать клиентам вручную о записях

Работайте вручную по задачам Валеры

Если случится повреждение CRM, то информацию о записях (расписание) и телефоны клиентов можно будет смотреть в callmart.ru

На всякий случай, сделайте бэкап клиентской базы

Если есть любые вопросы, опасения, вопросы - вы можете писать нам в поддержку через плавающую кнопку справа (ТГ/вотсап). Например, вчера собственники консультировались, что делать, когда не доступна онлайн-запись. Где мы сможем ответить - мы ответим, даже если мы не отвечаем за IT сервис онлайн-записи

Все частые вопросы/ответы/лучшие практики мы будем аккумулировать на этой страничке. Наша задача не только обеспечить работу Валеры, но и смотреть шире на весь процесс записи клиентов в салоне

Наша основная задача, предугадывать рисковые сценарии - что еще может произойти в этом месяце и готовиться к этому

Опыт у нас уже есть: в 2022 году примерно 4 месяца мы занимались подобной работой, когда один за другим, без предупреждения, переставали работать иностранные поставщики и мы были вынуждены искать им замену в РФ и переписывать интеграции. Мы прямо на ходу меняли компоненты, на которых собран Валера

Даже в тех условиях 2022 года, которые были гораздо жестче, за 4 месяца у нас было всего 4 дня простоя. То есть ситуация для нас не новая и понятная