Миграция данных — это процесс переноса данных из одной системы хранения данных в другую, а также между форматами данных и приложениями. Он также включает передачу данных между различными форматами данных и приложениями.

Процесс переноса данных также включает подготовку, извлечение и преобразование данных. Обычно проводится при внедрении новых систем и процессов в организации.
Ниже приведены некоторые распространенные сценарии, требующие переноса данных.

Замена, модернизация и расширение систем хранения и оборудования
Обновление и замена устаревшего программного обеспечения
Фирмы переходят с локальной системы хранения на облачную систему для оптимизации операций
Консолидация сайта
Установка новых систем для сосуществования и расширения существующих приложений, использующих один и тот же набор данных.
Обслуживание инфраструктуры
Переход на централизованные базы данных для обеспечения совместимости
Консолидация информационных систем
Переезд дата-центра
Типы миграции данных
Существует шесть типов переноса данных. Один процесс переноса данных может включать различные типы, в том числе:

1. Миграция хранилища
Миграция хранилища — это когда компания переносит данные из одного места хранения в другое. Это означает перемещение данных с одного физического носителя на другой. Распространенной причиной миграции хранилища является модернизация оборудования для хранения данных до более сложного современного оборудования для хранения данных. Следовательно, он включает в себя переход от бумажных носителей к цифровым, от лент к жестким дискам (HDD), от жестких дисков к твердотельным накопителям и от аппаратных хранилищ к виртуальным (облачным) хранилищам.

Движение обусловлено не нехваткой места, а скорее желанием обновить технологию хранения. Обычно это не изменяет содержание или формат данных. Во время миграции хранилища могут быть выполнены определенные шаги, такие как проверка данных, клонирование, очистка данных и резервирование.

2. Миграция базы данных
Базы данных — это носители данных, в которых данные структурированы организованным образом. Базы данных управляются через системы управления базами данных (СУБД). Следовательно, миграция базы данных включает в себя переход с одной СУБД на другую или обновление текущей версии СУБД до последней версии той же СУБД. Первый вариант более сложен, особенно если исходная система и целевая система используют разные структуры данных.

3. Миграция приложений
Миграция приложений происходит, когда организация вносит изменения в прикладное программное обеспечение или меняет поставщика приложений. Эта миграция требует перемещения данных из одной вычислительной среды в другую. Новая платформа приложений может потребовать радикальной трансформации из-за новых взаимодействий приложений после миграции.

Основная проблема возникает из-за того, что старые и целевые инфраструктуры имеют разные модели данных и используют разные форматы данных. Интерфейсы прикладного программирования (API) могут предоставляться поставщиками для защиты целостности данных. Веб-интерфейсы поставщиков могут быть написаны для облегчения переноса данных.

4. Миграция в облако
Миграция в облако связана с перемещением данных или приложений из локального расположения в облако или из одной облачной среды в другую. По сути, это конкретная миграция хранилища. ИТ-эксперты продолжают наблюдать рост миграции в облако и прогнозируют, что большинство крупных корпораций будут работать в облаке до конца десятилетия, заканчивающегося 2030 годом.

5. Миграция бизнес-процессов
Миграция бизнес-процессов требует переноса бизнес-приложений и данных о бизнес-процессах и показателей в новую среду. Метрики могут включать информацию о клиентах, продуктах и ​​операциях. Миграция обычно инициируется оптимизацией и реорганизацией бизнеса, а также слияниями и поглощениями (M&A) . Такие объединения бизнеса обусловлены необходимостью выхода на новые рынки и сохранения конкурентоспособности.

6. Миграция центра обработки данных
Миграция центра обработки данных связана с миграцией инфраструктуры центра обработки данных в новое физическое местоположение или перемещением данных из старой инфраструктуры центра обработки данных в новое оборудование инфраструктуры в том же физическом местоположении. В центре обработки данных находится инфраструктура хранения данных, которая поддерживает критически важные приложения организации. Он состоит из серверов, сетевых маршрутизаторов, коммутаторов, компьютеров, устройств хранения и соответствующего оборудования для обработки данных.

Процесс переноса данных
Процесс переноса данных должен быть хорошо спланирован, безупречен и эффективен, чтобы гарантировать, что он не выйдет за рамки бюджета и не приведет к затягиванию процесса. Он включает следующие шаги на этапах планирования, миграции и после миграции:

Процесс переноса данных

Процесс переноса данных также может следовать за процессом ETL:

Извлечение данных
Преобразование данных
Загрузка данных
Инструменты ETL могут справиться со сложностями процесса миграции данных, включая обработку огромных наборов данных, профилирование и интеграцию нескольких платформ приложений.

Процесс переноса данных остается одним и тем же независимо от того, используется ли метод «большого взрыва» или метод «струйки». Ниже приводится краткий обзор этих двух подходов:

1. Подход к миграции данных Big Bang
Подход к миграции данных большого взрыва перемещает все данные за одну операцию из текущей среды в целевую среду. Это быстро и менее сложно, а также менее затратно. Его реализация будет означать, что все системы будут отключены и недоступны для пользователей во время миграции. Следовательно, его следует проводить в праздничные дни или периоды, когда пользователи не должны использовать систему.

Преимущества вышеуказанного подхода нивелируются риском дорогостоящего сбоя из-за больших данных , которые могут перегрузить сеть при передаче. Из-за такого риска метод «большого взрыва» больше подходит для небольших компаний с небольшими объемами данных или для операций или проектов, в которых миграция включает небольшой объем данных. Кроме того, его не следует использовать в системах, которые не могут выдержать простоя.

2. Метод постепенной миграции данных
Поэтапный подход к переносу данных — это поэтапный подход к переносу данных. Поэтапная миграция данных разбивает процесс миграции на подпроцессы, в которых данные передаются небольшими порциями. Старая система остается работоспособной и работает параллельно с миграцией. Преимущество заключается в том, что в работающей системе нет простоев, и она менее подвержена ошибкам и неожиданным сбоям.

Однако, с другой стороны, итеративный характер процесса усложняет его и требует больше времени для завершения. В течение всего процесса данные должны синхронизироваться между старой системой и новой средой. Процесс поэтапной миграции идеально подходит для организаций, работающих с большими данными, которые не могут позволить себе простоя своей системы.

Планирование перед миграцией . Планирование включает оценку существующих наборов данных на предмет стабильности. Следует провести анализ исходной и целевой системы. Стандарты данных также должны быть установлены для выявления любых потенциальных проблем с данными. Решения о том, следует ли использовать подход «большой взрыв» или «струйка», также принимаются на этапе планирования перед миграцией. Что еще более важно, именно здесь устанавливаются бюджеты миграции, сроки, расписания и крайние сроки.
Проверка данных . Этап проверки данных включает в себя проверку объема данных, которые необходимо перенести, с точки зрения качества, аномалий или любых возможных конфликтов и дублирования. Для очистки данных можно использовать программные прикладные инструменты, если этого требует объем.
Резервное копирование данных . Этот этап резервного копирования данных включает в себя резервное копирование всех данных, подлежащих переносу, для защиты от любого сбоя переноса, который может привести к потере данных. Это разумная мера, которая устраняет риск потери данных.
Схема процесса миграции . Этап процесса миграции определяет процедуры тестирования миграции, критерии приемлемости и другие обязанности персонала. Наем разработчика ETL или инженера данных для управления процессом также является частью этого этапа. Другие специалисты, необходимые в процессе миграции, такие как системные аналитики и бизнес-аналитики, также должны быть указаны и наняты.
Выполнение и проверка — здесь инициируется и разворачивается выполнение процесса миграции. На этом этапе также запускаются процессы извлечения, преобразования и загрузки (ETL). Продолжительность процесса будет зависеть от объема задействованных данных и выбранного подхода к переносу данных. Крайне важно контролировать и проверять процесс, чтобы увидеть, есть ли какие-либо признаки сбоя и простоя старой системы, если выбран метод «капельки». Непрерывная связь с бизнес-подразделениями также имеет первостепенное значение в процессе миграции. Процесс миграции должен быть проверен, чтобы увидеть, был ли он выполнен в соответствии с установленными рекомендациями, и убедиться, что данные, перенесенные в новую среду, являются полными и пригодными для использования в бизнесе.
Вывод из эксплуатации и мониторинг — этап после миграции, на котором старая система выключается и выводится из эксплуатации.
Рекомендации по переносу данных
Существует несколько передовых методов, которые следует соблюдать при переносе данных, чтобы обеспечить бесперебойный процесс с высокой степенью успеха и избежать дорогостоящих задержек.

Должна быть создана специальная группа по миграции с нужными специалистами для управления и руководства проектом.
Миграция данных должна быть возможностью очистить данные и повысить стандарт их качества перед их передачей, чтобы не унаследовать данные более низкого качества со старыми проблемами.
Объем переносимых данных должен быть максимально правильным. Очистка данных может помочь обеспечить миграцию только качественных и полезных данных.
Все данные должны быть профилированы перед написанием сценариев сопоставления.
Резервное копирование данных перед началом миграции для защиты от потери данных.
Продолжайте тестировать миграцию от этапов планирования и проектирования до выполнения и обслуживания, чтобы гарантировать успех проекта миграции.
Старую систему следует выключать только после подтверждения успешного процесса миграции. В случае сбоя потребуется откат без простоя, поскольку старая система все еще будет работать.
Риски переноса данных
Риски переноса данных включают следующее:

Потеря данных — данные могут быть потеряны во время миграции; следовательно, очень важно создать резервную копию и тщательно спланировать миграцию с помощью профессионалов.
Длительное время миграции — миграция данных может занять много времени, от нескольких месяцев до нескольких лет, и может быть продлена, если процесс сталкивается с блокировкой сети, которая может повлиять на время передачи. Скорость подключения и ограничения инфраструктуры также могут повлиять на ход миграции.
Безопасность данных . Перед миграцией данные должны быть зашифрованы для обеспечения безопасности.
Нарушение бюджета . Длительная миграция может привести к нарушению бюджета. Затраты на персонал и программное обеспечение поставщиков могут превысить предусмотренные в бюджете суммы, что приведет к финансовым проблемам, которые могут поставить под угрозу успех процесса миграции.