Хэштег #datascience | Тинькофф Инвестиции Пульс

Самые популярные технические книги у инженеров сейчас крутятся вокруг AI, инженерии данных и руководителей (CTO). Лидеры по запросам и обсуждениям: · «Технический директор. Эффективное техническое лидерство» (Уилл Ларсон). Бестселлер O'Reilly для перехода на топ-должности: стратегия и управление разработкой. · «Путь Строителя» (Алексей Ковтунов). Хит 2026 года. Необычный взгляд на инженерию: попаданец в средневековье, который выживает благодаря стройке и системе прокачки. · «Advanced Forecasting with Python». Новинка от O'Reilly: ARIMA, LSTM, Transformers и облачные инструменты (Uber's Orbit, AWS). · «The Art of Statistics» (David Spiegelhalter). Лучшая книга по статистике, которая помогает разбираться в данных. · «Генеративный искусственный интеллект». Как ИИ меняет жизнь, работу и требует баланса инноваций и ответственности. · «Docs for Developers» (Jared Bhatti). Полевой гид по техническому писательству для инженеров — новинка июля 2026. · «Tcl/Tk: A Developer's Guide» (4th Edition, 2026). Классика с новыми главами про AI и интеграции с AWS. #ай

Вот анализ ключевых идей книги и их практическое применение. Основное книги :Designing-Machine-Learning-Systems-Chip-Huyen_bibis. Проектирование ML-систем — это итеративный процесс, который требует системного подхода, выходящего за рамки выбора алгоритмов. Успех системы определяется не только качеством модели, но и правильным определением бизнес-целей, надежной инженерией данных, эффективным развертыванием, постоянным мониторингом и активным управлением дрейфом данных. Критически важным является понимание того, что 80% работы в продакшене связано с инфраструктурой, качеством данных и их мониторингом, а не с «магией» алгоритмов. Как применить: 1. Начинайте с бизнес-целей: Прежде чем писать код, убедитесь, что вы можете связать улучшение ML-метрики (например, точность) с измеримым бизнес-показателем (например, выручка). Если это не так, проект может не принести пользы компании. 2. Используйте простые модели как базовую линию: Не начинайте со сложных нейросетей. Сначала примените простую эвристику или логистическую регрессию. Это создаст базу для сравнения и поможет быстро выявить ошибки в данных и пайплайне. 3. Разделяйте данные по времени: При обучении моделей для прогнозирования всегда разбивайте данные по времени (обучайте на прошлых данных, тестируйте на будущих), а не случайным образом. Это критически важно для предотвращения утечки данных и получения реалистичной оценки. 4. Разделите обучение и инференс: Используйте разные стратегии для обучения и предсказаний. Обучение может быть пакетным, но для быстрых онлайн-предсказаний часто требуется более легкая модель. Рассмотрите дистилляцию знаний или квантизацию, чтобы сделать модель быстрее. 5. Следите за дрейфом данных: Это главный враг моделей в продакшене. Настройте мониторинг, который сравнивает распределение фичей в продакшене с теми, что были в обучении. При обнаружении значительных изменений планируйте переобучение. 6. Внедряйте Continual Learning поэтапно: Переходите от ручного переобучения к автоматическому, а затем к Continual Learning. Начните с автоматизации пайплайна, затем переходите к дообучению (fine-tuning) на новых данных. 7. Тестируйте модели в продакшене: Используйте Shadow deployment для проверки новой модели на реальных данных без влияния на пользователей. Затем переходите к A/B-тестированию или Canary release, чтобы безопасно внедрить улучшения. 8. Инвестируйте в Feature Store: Для обеспечения консистентности фичей между обучением и предсказаниями используйте Feature Store. Это ускорит разработку и сократит количество багов, связанных с несоответствием данных. 9. Стандартизируйте окружение разработки: Используйте контейнеризацию (Docker) и облачные среды разработки, чтобы обеспечить одинаковые условия для всех членов команды и избежать ошибок типа "на моей машине это работает". 10. Учитывайте человеческий фактор: Вовлекайте экспертов в предметную область на всех этапах — от формулировки задачи до анализа ошибок. Также помните об этике и ответственности: документируйте ограничения и возможные смещения вашей модели в Model Cards. Хештеги: #ai

Книга Киран Дейл «Визуализация данных с помощью Python и JavaScript. Анализ и преобразование данных» (2-е издание) — это практическое руководство по созданию интерактивной веб-визуализации, охватывающее полный цикл: от сбора и очистки данных до их доставки и отображения в браузере. Главная ценность книги — сочетание двух сильных сторон: Python для мощного анализа и обработки данных (с использованием pandas, NumPy, Matplotlib и Scrapy) и JavaScript (в частности библиотека D3.js) для создания впечатляющих и интерактивных веб-интерфейсов. В основе книги лежит сквозной практический проект по визуализации данных о Нобелевских лауреатах, что позволяет сразу применить изученные инструменты на реальной задаче. Книга построена по принципу «тулчейна»: вы последовательно проходите все этапы работы с данными. Вы научитесь парсить веб-страницы с помощью Scrapy, очищать и анализировать «грязные» данные с помощью pandas, строить статические и интерактивные графики с Matplotlib и Plotly, создавать простой API на Flask для доставки данных, а главное — освоите ключевые концепции D3.js для создания сложных, синхронизированных и анимированных визуализаций (диаграмма временной шкалы, карта мира, столбчатая диаграмма, список с биографиями). Книга отлично подходит для разработчиков, знакомых с Python или JavaScript, которые хотят освоить востребованную область веб-визуализации данных, и представляет собой уникальный материал, объединяющий бэкенд-обработку данных и фронтенд-разработку в одной связке. ---

Вот пошаговый план для обычного инвестора (не кванта-разработчика), чтобы внедрить это в 2026 году. Спойлер: вам не нужно учить Python до уровня Senior, чтобы побеждать. Шаг 1. Перестаньте гадать (Стратегия > Данные) Прежде чем лезть в AI, ответьте на вопрос: «Что я ищу?». Машина ищет неэффективности. Для интрадея в 2026 году это: · Mean Reversion (возврат к VWAP после гэпа). · Momentum Breakouts (пробой уровней с подтверждением объема). Действие: Возьмите 1 стратегию. Не 5. Одну. Опишите её математически (например: "Покупаю, если цена > SMA(50) и RSI < 30"). --- Шаг 2. Соберите «быстрый» Дата-пайплайн (Без кода) Вам не нужен свой сервер. Используйте готовые облачные терминалы, где данные уже очищены: · Для США: Polygon.io + Alpaca (данные + исполнение). · Для мира: QuantConnect (LEAN движок). Они дают готовые исторические тики по цене подписки. Ваше действие: Зарегистрируйтесь в QuantConnect. Это ваша "песочница". Там данные уже лежат в формате, готовом для ML. --- Шаг 3. Делегируйте алгоритмам рутину (Готовый Predictive AI) В 2026 году не нужно обучать нейросети с нуля. Используйте Foundation Models for Finance: · FinGPT или TimeGPT (от Nixtla) — они уже предобучены на 30+ лет рыночных данных. · Подключаете их через API к вашему QuantConnect. Реализация: Загружаете историю, пишете 5 строк кода, вызываете .forecast(). Модель сама находит паттерны (сезонность, корреляция с VIX, фьючерсы). --- Шаг 4. Бэктестинг (Ваша главная суперсила) Машина показывает 80% успеха в ретроспективе. Ваша задача — не дать ей обмануть себя. · Тест на out-of-sample: Обучайте модель на данных до 2024 года, тестируйте строго на 2025–2026. · Slippage (проскальзывание): Заложите комиссию и спред ×2 от реального. --- Шаг 5. Интеграция с брокером (Автоматизация) Соедините Alpaca или Interactive Brokers с вашим скриптом через WebSocket. · Установите стоп-лосс на уровне 1.5 ATR (это важнее, чем сам сигнал AI). · Запустите на VPS-сервере (например, DigitalOcean) с минимальной задержкой. --- Шаг 6. Фокус на стратегию (Человеческий контроль) Ваша задача — не смотреть на графики, а смотреть на корреляцию портфеля. Раз в неделю проверяйте: · Не перегрузился ли алгоритм на один сектор (Tech/Energy)? · Не упала ли волатильность до уровня, где AI слепнет (низкий VIX)? --- Готовая архитектура для «Обычного инвестора»: 1. Данные: Polygon (через REST API). 2. AI: TimeGPT (через Python SDK). 3. Логика: Если прогноз > +0.5% за след. 15 мин — вход. 4. Риск: Выход при просадке -0.8%. 5. Брокер: Alpaca (автоматический ордер). Итог: Вы потратите 2 вечера на настройку кода (скопировав с GitHub) и месяц на наблюдение за роботом в бумажном режиме. Будущее уже здесь. Просто начните с малого — с подключения API, а не с покупки курсов по нейросетям.

Искусственный интеллект уже не просто классифицирует данные — он создает их. 🧠✨ Прочитал книгу «A Beginner's Guide to Generative AI» (Бхати и др., 2026) — отличный фундаментальный обзор того, как работают современные генеративные модели. Вот ключевые тезисы для тех, кто хочет системно разобраться в теме: 1. Эволюция архитектур Путь от статистических N-грамм и LSTM до Transformer'ов. Главный прорыв — механизм самовнимания (Self-Attention), который позволил моделям обрабатывать контекст параллельно, а не последовательно. 2. LLM и чат-боты Архитектура «декодер-только» (как у ChatGPT) и методы тонкой настройки, включая RLHF (обучение с подкреплением через обратную связь), делают диалоги естественными, но оставляют проблему «галлюцинаций» и предвзятости. 3. Генерация изображений Сравнение подходов DALL-E 2 (CLIP + диффузия), Stable Diffusion (Latent Diffusion) и Midjourney (cGAN). На практике это компромисс между детализацией, скоростью и вычислительными затратами. 4. Диффузионные модели Сейчас это золотой стандарт генерации. Они учат систему убирать шум шаг за шагом, восстанавливая данные из полного хаоса. Это работает и для картинок, и для текстов. 5. Этический аспект Авторы поднимают проблемы смещения (bias), дезинформации и прозрачности. Использовать ИИ нужно осознанно, понимая ограничения, особенно в медицине, юриспруденции и образовании. Главный вывод: генеративный AI — это не магия, а сложная инженерия данных. И его внедрение требует одновременно технической грамотности и ответственности.

[AI05] AI системы: одной LLM недостаточно Самым популярным примером AI системы сейчас являются AI агенты. Рассмотрим пример, Допустим, пользователь пишет в чат (агенту): “Назначь встречу с Иваном на следующей неделе, найди свободное окно на час и отправь приглашение.” Если бы использовалась только Large Language Model (LLM), на выходе был бы просто текстовый ответ. Например: “Лучше всего подойдёт вторник в 15:00.” Но этого недостаточно. Нужно не просто ответить, а выполнить действие в реальной системе. Именно здесь начинается агентный контур. Как он обычно устроен: • LLM-ядро Преобразует человеческий запрос в структуру задачи: с кем встреча, на какой неделе, какой длительности, что именно нужно сделать. • Инструкции Задают правила работы: рабочие часы, длительность встречи, запрет на пересечения, подтверждение при неоднозначности, формат результата. • Инструменты Позволяют не только генерировать текст, но и обращаться к внешним функциям: посмотреть календарь, найти контакт, создать событие, отправить приглашение. • Среда исполнения Это уже реальные системы, где действия происходят: календарь, почта, контакты, уведомления. В такой системе цикл выглядит так: запрос → интерпретация → вызов инструментов → действие в системе → результат Именно поэтому агент — это не “умная модель, способная решить задачу”, а модель, встроенная в исполняемый контур. LLM отвечает за интерпретацию и выбор следующего шага. Инструкции задают рамку. Инструменты дают доступ к действиям. Среда исполнения превращает решение в реальный результат. Каждый этап делает большой вклад в качество системы целиком. Что с этим всем делать? Ценность от успехов в сфере AI создаётся не только на уровне foundation models, но и на уровне систем вокруг них, к которым выдвигаются серьезные требования: жонглирование инструментами, быстрый доступ к чистым данным, удобный и понятный интерфейс, масштабируемость на большое количество пользователей, классические требования к ПО такие как безопасность, надежность и отказоустойчивость. То есть все что у нас было в IT секторе, остается, но многие процессы ускоряются.

[AI04] LLM: “text in → text out” Large Language Model (LLM) формально решает одну задачу: по данному текстовому контексту предсказать наиболее вероятное — или, точнее, достаточно удовлетворительное — продолжение последовательности токенов (~слов). То есть базовая схема в любом случае выглядит так: text → LLM → text Благодаря такой широкой постановке один и тот же класс моделей может использоваться как универсальный интерфейс для очень широкого спектра задач, если они могут быть представлены в текстовой форме. То есть буквально: • вопрос на естественном языке — текст • сложное дифференциальное уравнение, описывающее движение жидкости, — тоже текст • код приложения — текст • транскрибированная речь — текст Различия между моделями возникают из-за масштаба, данных, архитектуры и инженерных компромиссов, а именно: • архитектура и размер модели • объём и качество данных обучения • post-training логика • длина контекста • стоимость и скорость инференса • готовность к multimodal и tool-based использованию В каждом из этих направлений за последние 6 лет была проделана огромная исследовательская и инженерная работа и потрачены миллионы и миллиарды долларов. Что значит, что модель “учится”? Во время тренировки параметры модели подбираются таким образом, чтобы её выход как можно лучше соответствовал тому, что считается желательным. В простейшем случае задача может выглядеть так: “Спутник Земли — это …” → “Луна.” В более сложном случае требуется получить такой ответ, который устроит пользователя. Но сама постановка здесь уже намного более размыта. Например, пользователю дают на выбор два варианта ответа, и он выбирает более предпочтительный. Это один из самых наглядных примеров того, как кожаные обучают AI. Именно таким, довольно неявным, способом модель может, например, научиться почти всегда занимать сторону спрашивающего. Отсюда и все истории, когда ChatGPT готов поддержать практически любую дичь, которой с ним поделились. Долгое время пальму первенства по большинству направлений удерживали модели OpenAI. Но сейчас в сообществе в целом признаётся, что модели Anthropic часто сильнее в code generation и tools orchestration. Модели Google Gemini заметно выделяются в мультимодальности. Более того, Google AI Studio предлагает много готовых инструментов для решения дизайнерских и других прикладных задач. Хотя LLM или мультимодальная модель остаётся ядром любой AI-системы, возможность встроить её в конкретный домен является ключевым критерием в тот момент, когда пользователь решает, кому платить за API-вызовы. Чтобы оценивать модели в разных задачах, существуют различные бенчмарки: • science • coding • long context • tool use • multilingual • и многие другие Но в итоге всё равно приходится искать компромисс под конкретную прикладную задачу: качество, стоимость, скорость. Что с этим всем делать? На российском рынке и в большей степени занимаются именно фундаментальными моделями, и это важно с точки зрения технологического суверенитета. При этом AI-сообщество, как и IT-сообщество в целом, остаётся в значительной степени открытым. Open-source модели часто показывают сопоставимое качество по сравнению с моделями того же класса. Это соотношение ещё может измениться, и наличие специалистов с достаточной экспертизой остаётся необходимым, чтобы избежать технологического отставания. Эта задача остаётся одной из ключевых на уровне государства. #AI

[AI03] AI-агент: что обычно имеется в виду на практике Под “AI-агентом” обычно понимается не отдельная модель, а система, в которой модель встроена в контур принятия и исполнения решений. В современных AI-приложениях в роли ядра часто используется модель, но сама система обычно строится как многослойный контур. На практике чаще всего встречаются несколько вариантов: • Large Language Model (LLM, text-to-text) — ядро для текста, кода, диалога и формализованных рассуждений • speech-контур — отдельные модели для распознавания речи (Automatic Speech Recognition, ASR) и синтеза речи (Text-to-Speech, TTS), которые подключаются вокруг LLM • Computer Vision (CV) и другие мультимодальные модели — если в систему входят изображения, видео или смешанные типы входа • нативно мультимодальные модели, где часть этих функций уже объединена внутри одной модели Для простоты дальше в серии будет рассматриваться прежде всего LLM-based контур, потому что именно он сегодня чаще всего имеется в виду, когда говорят об “AI-агентах”. При этом важно понимать, что голос, зрение и другие модальности обычно либо подключаются как внешние слои, либо постепенно встраиваются в более мультимодальные модели. Ключевой момент состоит в том, что сама по себе Large Language Model ещё не образует агентную систему. Чтобы появился агентный контур, вокруг модели обычно добавляются следующие слои: • context — информация, доступная модели в момент вызова • memory / state — накопленное состояние процесса и история предыдущих шагов • tools — внешние функции, базы данных, сервисы и API • guardrails — ограничения, проверки, policy-слой, допустимые границы действий • execution — фактическое выполнение команд • audit / logs — журнал данных, решений и действий Поэтому агент обычно описывается не как “одна модель”, а как цикл: получить контекст → интерпретировать → выбрать действие → выполнить → обновить состояние На практике значительная часть того, что сегодня строится вокруг Large Language Models, сводится к управлению контекстом. Именно контекст определяет: • что модели известно в данный момент • какие данные считаются релевантными • какими инструментами разрешено пользоваться • в каком формате должен быть выдан результат • какие ограничения должны быть учтены до и после ответа В этом смысле современная LLM-based система во многом представляет собой архитектуру управления контекстом: нужно не просто вызвать модель, а правильно собрать, отфильтровать, упорядочить и ограничить информацию, которая ей доступна. Что с этим всем делать? С одной стороны, продолжается гонка за более сильные foundation models: выше качество, длиннее контекст, ниже стоимость, лучше мультимодальность, надёжнее поведение. (OpenAI, Anthropic, Google gemini, Alibaba) С другой — строятся прикладные системы вокруг моделей: управление контекстом, инструменты, память, ограничения, интеграция в реальные процессы. Практический смысл этого различия особенно важен в финансах, коде и операционных системах. Качество текста — только верхний слой. Ключевое значение имеют: • доступ к данным • корректность контекста • набор доступных инструментов • ограничения на действия • возможность восстановить причинно-следственную цепочку после выполнения

[AI02] AI сверху, математика снизу: как устроена лестница технологий Сейчас слово “AI” чаще всего означает уже готовый интерфейс: чат, генератор, голосовой ассистент, агент, Copilot. Но это только верхний слой. Под ним обычно находится длинная лестница абстракций (ниже очень грубое очертание). AI — это верхний уровень: уже готовая система, которая решает прикладную задачу. Ниже — Machine Learning. Это модели, которые учатся на данных и умеют обобщать на новые случаи. Рядом (и пересекается) — Data Science. Это слой, где формулируется задача, выбираются метрики, проверяются гипотезы и принимается решение, что вообще стоит строить и как измерять результат. Под этим — теория вероятностей и математическая статистика. Именно они отвечают за работу с неопределённостью, шумом, риском, оценками и корректными выводами из данных. Ещё ниже — линейная алгебра, математический анализ и оптимизация. Это фундамент, на котором стоит большая часть современных моделей (да и, в принципе, инженерных систем). И внизу всегда остаются алгоритмы, инженерия и инфраструктура. Потому что модель сама по себе — это ещё не продукт и не система. Поэтому современный AI — это не совсем "черный ящик”. Это высокий слой над большой математической и инженерной конструкцией. Хорошая новость в том, что уровень абстракции вырос очень сильно. Сегодня уже можно решать большую часть прикладных задач высокоуровневыми инструментами, не погружаясь до самого фундамента. Но есть и вторая сторона: чем ближе задача к границе качества, стоимости, скорости, надёжности и цены ошибки — тем быстрее заканчиваются готовые рецепты и тем важнее становится фундаментальное понимание. Поэтому в практическом смысле картина обычно такая: высокоуровневые инструменты закрывают большую часть типовых задач, а самые сложные и дорогие 20% по-прежнему требуют глубокого понимания того, что происходит под капотом. #ИИ

Как прокачать суперспособности: новые высокооплачиваемые навыки 🚀✨ Привет-привет! 😊 Сегодня мы поговорим про крутейшие способности XXI века — те самые навыки, обладая которыми ты сможешь зарабатывать приличные деньги и чувствовать себя уверенно даже в условиях бешеной конкуренции. Давай разберёмся вместе! Что такое «высоко доходный навык»? Это такие умения, знания и компетенции, которые помогают людям получать высокую зарплату и успешно развиваться профессионально. Представь себе суперсилу, которая открывает перед тобой двери престижных компаний, позволяет создавать крутые проекты и легко справляться с любыми трудностями. Звучит заманчиво, правда? ✌️💰 Но какие именно навыки считаются такими особенными сегодня? Давайте рассмотрим подробнее. Новые тренды в мире профессий ⭐ Сегодня практически невозможно представить работу без владения компьютером и интернета. Уметь быстро освоить новое ПО, разбираться в базах данных, понимать принципы работы сайтов и приложений — это уже обязательная база современного специалиста. Пример профессии: программист-разработчик мобильных приложений 📱 (анализ больших данных) Этот навык включает умение собирать, обрабатывать и анализировать огромные массивы информации. Компании готовы платить хорошие деньги специалистам, способным извлекать полезные инсайты из сложных наборов данных. Пример профессии: 📊 и Твой продукт может быть идеальным, но без качественного продвижения никто не узнает о нём. Специалист по интернет-маркетингу помогает компаниям привлекать клиентов через соцсети, контекстную рекламу и другие каналы. Пример профессии: специалист по продвижению брендов в соцсетях 🔥 ##Дизайни креативное мышление Сильные дизайнерские решения нужны везде: от разработки логотипа до оформления сайта компании. Креативность и нестандартный подход помогут выделяться среди конкурентов и находить уникальные идеи. #Примерпрофессии: графический дизайнер 🎨 ##ITсферебезопасности Компании стремятся защитить свою цифровую инфраструктуру от взломов и утечек данных. Поэтому специалисты по кибербезопасности востребованы как никогда раньше. Пример профессии: инженер информационной безопасности 🛡️ Управление проектами и командами ##Умениеорганизовать людей и процессы, держать команду мотивированной и эффективно управлять ресурсами становится важным качеством руководителя любого уровня. Пример профессии: проект-менеджер 🏃‍♂️ Владение иностранными языками Знание английского или другого международного языка значительно расширяет твои карьерные возможности, особенно если работа связана с международными контактами и сотрудничеством. Пример профессии: переводчик/лингвист Навыки ведения переговоров и продаж Не важно, продаёшь ли ты товар или услугу, умея грамотно выстраивать коммуникацию и убеждать собеседника, ты получишь больше сделок и успехов в карьере. Пример профессии: менеджер по работе с клиентами 🤝 Финансовая грамотность и бухгалтерия Любая компания нуждается в профессионалах, разбирающихся в финансах и знающих тонкости налогообложения, бухучёта и инвестиций. Пример профессии: финансовый консультант Экологичность и устойчивое развитие Становится популярным тренд устойчивого развития и бережливого отношения к природе. В этой сфере появляется много вакансий для специалистов, занимающихся экологическими инициативами и зелёной экономикой. Пример профессии: эксперт по экологической сертификации 🌍 Чем полезны эти навыки лично тебе? 💪 Представь ситуацию: вот ты сидишь вечером дома после рабочего дня, довольный собой и результатами своего труда. Ты зарабатываешь достаточно денег, чтобы позволить себе достойный отдых, путешествия и удовольствия жизни. Всё потому, что вовремя освоил один или несколько современных высоко оплачиваемых навыков. Круто звучит, да? Вот ещё пара бонусов таких способностей: Повышение уверенности в собственных силах. Возможность выбирать интересные проекты и работодателей. Постоянное развитие и рост.