habr.com /1 month ago

Builder ELT — open‑source инструмент для построения потоков данных

Builder ELT — open-source ELT-приложение, которое позволяет визуально создавать потоки загрузки, объединять их в цепочки и запускать по расписанию. Преобразования выполняются средс...

Read source
ministryoftesting.com /2 weeks ago

ETL (Extract, Transform, Load)

Read source
dzone.com /1 month ago

From Legacy ETL to Modern ELT: Engineering a Governed dbt and Databricks Architecture

A few years back, I sat through a production incident review where the root cause turned out to be a single stored procedure nobody on the team had touched in four years. The origi...

Read source
habr.com /1 month ago

Как читать таблицу на 100 млн строк и не положить ни память, ни базу

DVT — open-source платформа визуального ETL: пайплайн собирается из нод (чтение → преобразования → запись) и выполняется на воркерах поверх Dask. Я разрабатываю бэкенд DVT, в стать...

Read source
habr.com /1 month ago

Мониторинг и логирование DWH, часть 2: Prometheus, Grafana, Zabbix, ELK, OpenSearch, Loki — как выбрать рабочий стек

В первой части материала мы разобрали, что необходимо контролировать в корпоративном хранилище данных - от инфраструктуры и ETL/ELT-процессов до Data Quality и выполнения запросов:...

Read source
habr.com /1 month ago

Импорт ТОРГ-12 из Excel в складскую программу StoreHouse 5

Все вокруг кричат про тотальную цифровую трансформацию, маркировку и ЭДО. Наш ресторан купил красивое готовое решение для импорта документов/поставок, из ЕГАИС в StoreHouse, и импо...

Read source
habr.com /1 month ago

Упорядочили почти 200 интеграционных потоков для работы крупного девелопера: схема «звезда» на базе DATAREON Platform

На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». Расскажу, как мы перенесли 197 интеграционных потоков крупного девелопера на DATAREON Platform без остановк...

Read source
habr.com /1 week ago

Антипаттерны проектирования БД: как нормализовать таблицу и потерять данные, не удалив ни одного значения

Мы в Modus делаем ETL и BI, и видим чужие базы данных изнутри: на каждом внедрении, на техническом консультировании, на разборах кейсов и на каждой миграции. Навидались всякого. Но...

Read source
aws.amazon.com /1 week ago

Build a self-healing ETL pipeline with Amazon Bedrock AgentCore

Build a self-healing ETL pipeline on AWS Glue and Amazon Bedrock AgentCore that automatically corrects bad records using domain knowledge, writes the fixes back to the data lake, a...

Read source
cloud.google.com /1 week ago

From OLAP to OLTP: How Copel Simplified Reverse ETL Using BigQuery's Native Export to AlloyDB

Bridging the gap between analytical systems (OLAP) and transactional databases (OLTP) is notoriously complex. Synchronizing data between the two systems, often called Reverse ETL (...

Read source
habr.com /3 weeks ago

Self-Service Data Platform на StarRocks: 3 инженера, 25 аналитиков и 0 тестовых стендов

Привет, Хабр! Меня зовут Виталий, я руководитель команды инженеров данных в группе компаний, которая занимается разработкой и поддержкой В2В финтех-платформы. Два года назад мы пол...

Read source
aws.amazon.com /1 month ago

Aurora PostgreSQL zero-ETL integration with Amazon SageMaker

Amazon Aurora PostgreSQL zero-ETL integration with Amazon SageMaker replicates your operational data to a lakehouse in near real time, without building custom ETL pipelines. Learn...

Read source
habr.com /1 month ago

Оркестратор Apache Airflow: что это и как используется в BI и DWH

В статье разбираем, как устроен Apache Airflow 3, для каких задач он используется, какую роль играет в архитектуре DWH и BI, и когда его стоит выбирать для оркестрации процессов об...

Read source
habr.com /1 month ago

Двойной ввод в 1С: дорого не время, а ошибки и задержка. Как измерить это в своей базе

Когда говорят о ручном переносе данных в 1С — заказов с сайта, сделок из CRM, оплат из своей программы, — обычно считают время: столько-то документов в день на столько-то минут. Эт...

Read source
aws.amazon.com /1 week ago

Automate ETL pipeline creation with Amazon Bedrock AgentCore and AWS Glue

Agentic Data Ingestion is an open-source solution that uses AI agents on Amazon Bedrock to automate data pipeline creation, from file upload to queryable tables. Point it at a file...

Read source
aws.amazon.com /1 month ago

Cost-effective ETL with DuckDB and Amazon S3 Tables on AWS Glue

Learn how to pair DuckDB with AWS Glue 6.0 to run SQL-centric ETL on a single worker, reading Parquet from Amazon S3 and writing Apache Iceberg tables to Amazon S3 Tables. This pos...

Read source
habr.com /1 week ago

Параллельная обработка данных в режиме конкурирующих потребителей (competing consumers)

Сразу отмечу что это всего лишь один частный случай распараллеливания обработки больших объемов данных.Схема: Читать далее

Read source
dzone.com /2 days ago

Designing a Data Pipeline for Multi-Location Marketing Attribution (Before You Actually Need One)

Marketing teams rarely think of their tool stack as a data pipeline problem, but that's exactly what it is once more than one location and more than one channel are involved. The s...

Read source
dramarnathgiri.blogspot.com /4 weeks ago

Industrial effluent treatment plant (ETP) working process:

В Industrial effluent treatment plant (ETP) working process:An Effluent Treatment Plant (ETP) is designed to treat industrial wastewater by removing suspended solids, organic pollu...

Read source
habr.com /1 week ago

От COM-интеграций к централизованной схеме: как проверить новую интеграционную архитектуру до промышленного внедрения

На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». Почти всегда тем, кто обращается к нам с вопросом о выборе шины, мы говорим, что надо проверять на реальной...

Read source
habr.com /1 month ago

Книга: «Data integration. Объединение данных для улучшения процесса принятия решений»

Привет, Хаброжители! Джей Бортен дает подробное практическое руководство по интеграции данных — от базовых понятий и терминологии до реального сквозного примера, который шаг за ша...

Read source
dzone.com /1 month ago

Building a Migration Readiness Engine for Analytics Workflows

Platform migrations are not only technology problems. They're visibility problems as well.

Read source
dev.to /1 month ago

Feeding the OLAP beast: ClickHouse massive bulk ingestion steps.

Feeding the OLAP beast: ClickHouse massive bulk ingestion steps. ClickHouse is a columnar beast, but treating it like MySQL by inserting row-by-row will bring your cluster to its...

Read source
habr.com /1 month ago

Ещё одна таблица: как мы считали потребность в сырье по данным 1С

У одного из сотрудников TRI было около шести Excel-таблиц. Он выгружал данные из 1С, переносил их в свои файлы и занимался тем, чем приходится заниматься после переноса данных: сво...

Read source

Turn fresh research into a full content calendar

Use SocialBu to discover ideas, generate post drafts, and schedule them across your social channels.