DeepEdit!

Программирование баз данных на Oracle, техническая документация, литература, статьи и публикации

  • Увеличить размер шрифта
  • Размер шрифта по умолчанию
  • Уменьшить размер шрифта

ODI 11g. Разработка дополнительных операций над данными (Developing Additional Components).

Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.
Не все типичные задачи по загрузке данных в ХД могут быть реализованы с помощью интерфейсов ODI. Обычно, для таких задач разрабатывают дополнительные механизмы, которые занимаются решением следуюшего списка вопросов:
  • Отправка и получение электронной почты.
  • Копирование, перемещение, слияние, переименование файлов в операционной системе.
  • Архивирование и разархивирование файлов.
  • Запуск веб сервисов.
  • Написание и выполнение скриптов командной оболочки для специфических операционных систем.
  • Написание и запуск JAVA программ.
  • И т.п.
Механизмы, реализующие подобные задачи, могут быть разработаны и отлажены в Дизайнере в виде процедур, переменных, пользовательских функций или вызовов компонентов ODI в рамках пакетов. Процедуры ODI предоставляют наиболее обширный перечень возможностей по организации дополнительных операций с данными. Процедуры могут включать в себя следующие варианты задач:
  • Выполнение запросов к любой БД.
  • Вызов функций операционной системы.
  • Вызов встроенных компонентов ODI или API ODI (Отправка почты, чтение почты, ожидание файла и т.п.).
  • Выполнение скриптов на тех скриптовых языках, которые поддерживаются Jakarta Bean Scripting Framework. Включая Java, Java Script, Python, Perl, NetRexx, Groovy, и т.п.
  • Конечно, риск здесь состоит в том, что можно начать разработку ETL преобразований в виде процедур, вручную кодируя процессы загрузки данных, вручную же преобразовывая данные SQL запросами, вместо того, чтобы пользоваться достаточно мощным механизмом интерфейсов ODI использующим принцип описания шаблонов преобразований в виде модулей знаний.
    Чтобы избежать этого, старайтесь определять ваши преобразования как бизнес-правила, а не как техническую последовательность загрузок. Процедуры ODI должны рассматриваться как необходимая часть решения технических проблем при загрузке данных, но они не должны реализовывать существенные моменты бизнес-правил загрузки данных.
    Обычный проект построения ХД содержит не более 10% преобразований, осуществляемых при помощи процедур ODI.







    jAntivirus