YTsaurus Flow: потоковая обработка данных от Яндекса

Войти

Яндекс поделился технологией непрерывной обработки данных для более актуальных рекомендаций Мы выложили в опенсорс YTsaurus Flow — систему для непрерывной обработки больших потоков данных. Она обрабатывает клики, лайки и другие события в интернете сразу же — по мере их появления. Благодаря этому алгоритмы быстрее замечают изменения в интересах пользователей, что напрямую влияет на точность подбора рекламы, товаров и контента. 💬 Разработка уже применяется в нескольких бизнесах. Например, в Маркете Flow используется для сбора оперативной статистики по предложениям и продажам и быстрой реакции на изменение спроса, в антифроде — для быстрого обнаружения злоумышленников. В Рекламе технология ускоряет подготовку данных к дообучению рекомендательных моделей: раньше на это уходило 10–20 часов — с Flow эта задержка почти полностью устранена. 💬 Потенциал технологии шире рекомендательных и рекламных технологий. Flow будет полезна в самых разных проектах, где важна свежесть информации. Например, с её помощью можно готовить данные для обучения ML-моделей, обновлять информацию для сайтов и приложений, считать просмотры, клики и заказы. Технология рассчитана на высокую нагрузку и обрабатывает каждое событие ровно один раз, исключая потерю или дублирование данных. 💬 Эффективная обработка данных улучшает экономику ИИ. Flow сокращает лишние записи и повторную обработку данных, помогая сдерживать рост инфраструктурных затрат при увеличении нагрузки. Это важно для масштабирования рекомендательных технологий и их влияния на бизнес-результаты наших продуктов. 💬 Опенсорс расширяет экосистему Яндекса. Flow добавляет потоковую обработку в нашу открытую платформу YTsaurus для работы с большими данными. Крупный бизнес получает возможность совмещать исторические и свежие данные в единой системе. Это повышает ценность платформы для корпоративных клиентов и создаёт надёжную базу для развития коммерческих сервисов вокруг неё.

**«Железное сердце» Яндекса — что происходит с нашими дата-центрами** В ночь с 7 на 8 октября дата-центр Яндекса в Сасово был серьезно повреждён из-за атаки БПЛА. Его работа полностью остановлена. Сегодня утром произошла атака на ещё один наш дата-центр, в Калуге. Часть инфраструктуры вышла из строя. Ни в Сасово, ни в Калуге сотрудники не пострадали. Сейчас на месте работают экстренные службы и наши специалисты. Дата-центры — «железное сердце» Яндекса. Их работоспособность критична для сервисов, которые стали частью повседневной жизни людей. Миллионы пользователей проверяют пробки и строят маршруты, слушают музыку, смотрят кино, заказывают продукты и получают ответы на вопросы. Наши технологии помогают вести бизнес сотням тысяч компаний: принимать заказы, обслуживать клиентов, взаимодействовать с партнёрами. Мы понимаем, что для наших пользователей, клиентов и партнёров каждый сбой — это нарушенные планы и невозможность сделать то, что было частью повседневной жизни или работы. Команды Яндекса ночью и днём делают всё возможное, чтобы обеспечить работу сервисов и помочь тем, кого затронул инцидент. Сейчас это наша самая важная задача, но, к сожалению, она непростая. Спасибо нашим сотрудникам — тем, кто находится на площадках, и тем, кто продолжает работать над восстановлением сервисов. Спасибо партнёрам за терпение и сотрудничество, а пользователям — за понимание. Мы продолжаем оценивать состояние инфраструктуры — пока назвать сроки восстановления работы оборудования в дата-центрах очень сложно. Будем рассказывать о ситуации по мере появления информации. Команда Яндекса ❤️

**Исследование AHD — российский рынок облачных сервисов может достичь 930 млрд к 2030 году** Аналитическое агентство AHD выпустило https://apple-hills.com/ru/reports/cloud-market-russia-2026 исследование рынка публичных облачных сервисов в России. В 2025 году он достиг 382,6 млрд рублей, прибавив 25,3% год к году, и практически удвоился с 2022 года. Общий объём рыночного потребления облачных сервисов по итогам 2025 года составил 417 млрд рублей. К 2030 году аналитики AHD прогнозируют рост рынка до 666–930 млрд рублей. Они закладывают два сценария: закрепление среднегодовых темпов роста CAGR в 12% или возвращение к прежнему росту с CAGR в 19%. Для Yandex B2B Tech этот тренд открывает возможности масштабирования во всех трёх базовых сегментах: **PaaS и искусственный интеллект** ⏩ Платформенные сервисы (PaaS) — самое быстрорастущее направление с ожидаемым CAGR в 15,9–25,7% до 2030 года. Сейчас PaaS занимает лишь около 10% российского рынка, тогда как в мире этот показатель примерно втрое выше. Аналитики AHD видят в этом огромный потенциал для развития. ⏩ Быстрее всего внутри сегмента растут AI/ML-платформы, в 2025 году на них приходилось около четверти всего PaaS с объёмом около 9 млрд рублей. В этом сегменте работают платформа для создания агентов Yandex AI Studio и недавно запущенная Алиса AI Про для бизнеса. **IaaS и потребность в вычислениях** ⏩ Инфраструктурный сегмент будет расти на 11,5–20,2% в год до 2030 года. Спрос поддерживают рост объёма данных, развитие онлайн-сервисов и ИИ-проектов, которые требуют дополнительных мощностей. ⏩ Заказчикам выгоднее арендовать инфраструктуру, чем обновлять собственное оборудование. Для Yandex Cloud это фундаментальный драйвер роста бизнеса как на обычных корпоративных задачах, так и на тяжёлых ИИ-нагрузках. **SaaS и цифровизация рабочих мест** ⏩ Сегмент корпоративного ПО продолжит расти на 11,1–18% ежегодно. Бизнес всё активнее ищет цифровые решения для совместной работы, коммуникаций и автоматизации процессов. ⏩ Для сервисов Яндекс 360 это возможность расширять использование своих продуктов внутри организаций, в том числе за счёт внедрения ИИ в повседневные рабочие задачи. YDEX