Всем привет.
Хорошая новость - работы по созданию базовой функциональности ETL на базе Groovy близятся к завершению. GETL уже достаточно оброс требуемой для ETL функциональностью, избавился от багов и имеет устойчивую архитектуру классов и компонент, что позволило мне начать работы по подготовке к первому релизу prodaction версии на SourceForge.net.
В релиз войдет следующая функциональность:
Хорошая новость - работы по созданию базовой функциональности ETL на базе Groovy близятся к завершению. GETL уже достаточно оброс требуемой для ETL функциональностью, избавился от багов и имеет устойчивую архитектуру классов и компонент, что позволило мне начать работы по подготовке к первому релизу prodaction версии на SourceForge.net.
В релиз войдет следующая функциональность:
- Чтение и запись в следующие источники данных: CSV, JSON, XML, JDBC;
 - Создание, удаление и очистка таблиц для JDBC источников;
 - Отдельные коннекторы для источников РСУБД: H2 Database, MSSQL, MySQL, Oracle, Vertica;
 - Организация потоков копирования данных между источниками с автомаппированием по именам полей и автоматическим приведением типов полей источников и приемников
 - Фильтрация и репликация данных на множество приемников данных;
 - Агрегация данных источника в приемник с возможностью задания правил агрегации;
 - Сортировка данных из источника в приемник;
 - Организация поточного параллельного выполнения логики задач;
 - Работа с конфигурациями в формате JSON, автоматическая загрузка параметров из конфигураций для источников данных и управления потоками;
 - Сбор статистики работы задач;
 - Хранилище промежуточных данных;
 - Ведение лога работы задач;
 - Библиотека функций работы с текстами, датами, файлами, списками, картами и трансформацией данных;
 - Копирование файлов по заданным правилам с хранилищ файлов (локальные диски и FTP);
 - Поддержка собственного языка хранимых процедур для выполнения SQL скриптов с поддержкой переменных, курсоров и условий.
 
На текущий момент я заморозил дальнейшее развитие GETL с тем, чтобы написать краткое руководство пользователя для быстрого обучения и началу работы с продуктом и выложить его стабильный релиз. После того, как эти работы будут сделаны, работы над GETL продолжатся.
Есть и плохая новость. С учетом моей текущей загрузки, документация по GETL будет писаться только на русском языке. На английском будут писаться только краткие аннотации и новости. 
Релиз планируется выпустить уже в сентябре. О его выходе я дополнительно сообщу в своем блоге.
Всем удачи!
Комментариев нет:
Отправить комментарий