Latest updates for Инженерия Данных

Fresh curated links around инженерия данных are collected here so marketers can spot useful updates and turn timely ideas into posts faster.

Recent items include:

  • DE. Путь файла по слоям
  • Девопс-инженер и ИИ влетают в бизнес-задачи с двух ног
  • Как мы перестали писать SQL руками и автоматизировали Data Vault 2.0 на основе метаданных

Post angles to try

Share the most useful takeaway for your audience.
Turn one article into a quick practical checklist.
Ask your audience how this shift affects their work.
Turn angles into scheduled posts

Fresh articles and ideas

Recent curated links from global sources. Generate one free draft from any story, then use SocialBu to schedule and refine your content calendar.

habr.com /1 month ago

DE. Путь файла по слоям

В исходном orders.csv было 11 строк. До BI-витрины дошло 7, а валовая сумма 4720.30 после применения бизнес-правил превратилась в 2200.30 выручки. Четыре строки не исчезли: каждая...

Read source
habr.com /1 week ago

Девопс-инженер и ИИ влетают в бизнес-задачи с двух ног

209 тысяч наименований товаров в 150 представительствах записаны по-разному, а обычный join сопоставляет от силы 1% из них. Дата-инженер Дмитрий Дунаев на Вечерней школе Слёрма пок...

Read source
habr.com /1 day ago

Как мы перестали писать SQL руками и автоматизировали Data Vault 2.0 на основе метаданных

Привет, Хабр! Меня зовут Алексей Миронов, я главный разработчик отдела разработки хранилищ данных в «Газпром ЦПС». Сегодня я расскажу о своем опыте внедрения Data Vault в компании....

Read source
habr.com /1 month ago

OneDWH VK: как мы консолидировали данные 35 бизнес-вертикалей

В нашей компании исторически сложилась децентрализованная модель управления данными. Каждая из бизнес-вертикалей развивала собственные аналитические системы и хранилища, выбирая те...

Read source
habr.com /1 month ago

Как мы устали терять данные и сделали систему проектирования ручного ввода KDI

Кто хоть раз собирал сводный отчет из десятка табличек, тот знает, что самые важные данные чаще всего живут в чьем-то личном Excel-файле, актуальная версия которого лежит в каком-н...

Read source
habr.com /1 month ago

Homelab для дата инженерии из игрового ПК

Данная статья наврятли является гидом по созданию домашней лаборатории, скорее это некое описание намерений. Читать далее

Read source
computerra.ru /1 month ago

Обзор системы Loginom: от хаотичной работы с данными к управляемым сценариям принятия решений

Источник: Компьютерра - Журнал о науке и технологиях У большинства организаций нет недостатка в инструментах для работы с данными. У них есть базы данных, электронные таблицы, BI-...

Read source
habr.com /2 weeks ago

Почему мы месяц копаемся в данных, прежде чем подключить ИИ

В корпоративных ИИ-проектах мы всегда сначала приводим в порядок данные и только потом подключаем модель. Детерминированные правила у нас идут раньше ML. Порядок наработанный, один...

Read source
habr.com /1 month ago

Не просто настроить, а внедрить: подход SOFROS к формированию интеграционного контура компании

ВЕБИНАР | 13 августа 2026 года | 16:00 Отсутствие полноценного взаимодействия систем в компании мешает бизнесу работать эффективно. Мы предлагаем не просто настроить очередной инс...

Read source
habr.com /1 month ago

Наш стек сквозной аналитики для SaaS-сервиса: коннекторы, хранилище, BI и как мы сводили данные

Привет, на связи Дмитрий Шестаков. Мы в агентстве собираем сквозную аналитику для онлайн-сервисов с длинным циклом сделки, и почти каждый проект начинается с одной и той же сцены:...

Read source
habr.com /1 month ago

Как переработать архитектуру хранилища и мигрировать часть нагрузки в Data Lakehouse

У корпоративных хранилищ есть одна особенность: чем дольше они живут, тем больше задач на них пытаются навесить.Сначала туда попадают предсказуемые вещи: CRM, ERP и внутренняя отче...

Read source
computerra.ru /1 month ago

Рейтинг российских ETL-систем 2026

Источник: Компьютерра - Журнал о науке и технологиях Аналитический отдел «Компьютерры» изучил российский рынок ETL-систем и составил рейтинг лучших решений на 2026 год. ETL-систем...

Read source
habr.com /1 month ago

Оптимизация MPP-кластера: предсказываем потребление памяти SQL-запросов

В аналитике больших данных системы массивных параллельных вычислений часто находятся под постоянной нагрузкой в режиме 24/7. Из десятков и сотен тысяч запросов в день многие исполн...

Read source
habr.com /2 weeks ago

Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?

Если мысленно вернуться в 1980-е, аналитика во многом находилась буквально над productionДанные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналит...

Read source
habr.com /1 month ago

Можно ли подготовить инженера по Big Data и Machine Learning за один год? Опыт МАИ

Когда человек впервые слышит про одногодичную магистратуру, обычно возникает один из двух вопросов:«А так вообще можно?»«Что из обычной двухлетней программы пришлось выбросить?»На...

Read source
habr.com /2 weeks ago

Data Lakehouse по‑русски: как не утонуть в болоте импортозамещения

Привет, Хабр!Собрать Lakehouse на слайде несложно. Берём S3-совместимое хранилище, добавляем Iceberg, Spark, Trino, Kafka, Airflow и каталог данных. Получается современно, масштаби...

Read source
habr.com /3 weeks ago

Как ИИ меняет работу с корпоративными данными — итоги седьмого митапа MWS

Еще недавно ИИ в работе с данными использовали как вспомогательный инструмент. Нейросеть помогала написать запрос, найти информацию или подготовить отдельный документ. Теперь ей мо...

Read source
habr.com /1 month ago

[Перевод] Дата-агенты поверх BI: кто такая Dora и что она может сделать с вашими данными

Всем привет! На связи Александр Ларин, руководитель центра поддержки и обучения в GlowByte. Компания GlowByte – официальный партнер FanRuan по внедрению FineBI в России. Мы внимате...

Read source
habr.com /3 weeks ago

Очень много данных, даже слишком

Сегодня речь пойдет про некоторый парадокс в аналитике, понимание которого приходит лишь со временем.Представим, что каждый год данных становится всё больше и у компаний появляются...

Read source
habr.com /1 week ago

ML‑датасет для Data Scientist: практический гайд по проверке качества данных перед обучением модели

Даже хороший алгоритм не спасёт модель, если признаки приходят с нарушенной семантикой или содержат информацию из будущего. Одна лишняя колонка может поднять метрику на тестах и по...

Read source
habr.com /2 weeks ago

Из Oracle в PostgreSQL одним INSERT: DuckDB как ETL без Oracle-клиента

Когда говорят о DuckDB, обычно вспоминают аналитику: локальные запросы к Parquet, быстрые агрегации, ноутбуки. Но у него есть свойство, к аналитике отношения не имеющее: он умеет с...

Read source
habr.com /1 month ago

Я собрал конвейер аналитики банков на LLM-агентах. Показываю, где он остановил 7 из 31

У проекта есть работающий сайт: ortant.net. На нём 24 принятых исследования, десять досье банков, карта покрытия данных и раздел с методикой. Исследование можно не только прочитать...

Read source
runet.news /1 month ago

Российские бигтех-компании обновили стандарты защиты данных

Ассоциация больших данных (АБД), в которую входят «Авито», «Сбер», «Ростелеком», «Яндекс», HH и VK, разработала новый отраслевой стандарт защиты данных. Об этом сообщает «Коммерсан...

Read source
habr.com /1 month ago

Экономия на спичках

Дисклеймер.Чтобы сразу снять вопрос “не нативная ли это реклама?”: я руковожу небольшим, но гордым ИП, которое делает white-label B2B (и иногда B2C) решения как для российского, та...

Read source

Turn fresh research into a full content calendar

Use SocialBu to discover ideas, generate post drafts, and schedule them across your social channels.

Sources covering Инженерия Данных

habr.com

Recent coverage from public sources
Public source

runet.news

Recent coverage from public sources
Public source

computerra.ru

Recent coverage from public sources
Public source