Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.
Не все типичные задачи по загрузке данных в ХД могут быть реализованы с помощью интерфейсов ODI. Обычно, для таких задач разрабатывают дополнительные механизмы, которые занимаются решением следуюшего списка вопросов:
- Отправка и получение электронной почты.
- Копирование, перемещение, слияние, переименование файлов в операционной системе.
- Архивирование и разархивирование файлов.
- Запуск веб сервисов.
- Написание и выполнение скриптов командной оболочки для специфических операционных систем.
- Написание и запуск JAVA программ.
- И т.п.
Механизмы, реализующие подобные задачи, могут быть разработаны и отлажены в Дизайнере в виде процедур, переменных, пользовательских функций или вызовов компонентов ODI в рамках пакетов. Процедуры ODI предоставляют наиболее обширный перечень возможностей по организации дополнительных операций с данными. Процедуры могут включать в себя следующие варианты задач:
Конечно, риск здесь состоит в том, что можно начать разработку ETL преобразований в виде процедур, вручную кодируя процессы загрузки данных, вручную же преобразовывая данные SQL запросами, вместо того, чтобы пользоваться достаточно мощным механизмом интерфейсов ODI использующим принцип описания шаблонов преобразований в виде модулей знаний.
Чтобы избежать этого, старайтесь определять ваши преобразования как бизнес-правила, а не как техническую последовательность загрузок. Процедуры ODI должны рассматриваться как необходимая часть решения технических проблем при загрузке данных, но они не должны реализовывать существенные моменты бизнес-правил загрузки данных.
Обычный проект построения ХД содержит не более 10% преобразований, осуществляемых при помощи процедур ODI.
< Предыдущая | Следующая > |
---|