Открытые данные *

Как мы знаем, рынок труда в некоторых сферах сейчас достаточно напряжен для соискателя.

В недавнем материале про рынок ИТ специалистов я показывал, что молодым специалистам достаточно трудно сейчас найти работу, это касается многих офисных профессий.

Компании зажаты между необходимостью расти и при этом не сильно увеличивать тот же ФОТ.

И получается вопрос: зачем нам нужен джун, которого нужно около года учить, и еще не факт, что он останется работать.

Привет, Хабр!

Когда речь заходит об обсерватории LIGO, большинство из нас вспоминает классический сценарий: где-то за миллиарды световых лет слились две черные дыры, и через миллионы лет детекторы на Земле зафиксировали гравитационный всплеск, длившийся доли секунды. В классической Общей теории относительности (ОТО) считается, что изолированная или просто поглощающая газ черная дыра гравитационно «нема». Она ничего не излучает.

Но что, если это не так? Что, если гравитационные телескопы способны «слышать» не только редкие катастрофические слияния, но и постоянный, фоновый гул от обычных черных дыр, которые прямо сейчас пожирают материю в нашей галактике? И что, если этот гул может рассказать нам о физическом размере объектов, внутри которых, как нам говорят, находится «бесконечная сингулярность»?

В этой статье я покажу, как концепция механики сплошных сред позволяет предсказать точную частоту такого резонанса. А затем мы откроем Python, подключимся к серверам GWOSC (Gravitational Wave Open Science Center), выкачаем гигабайты сырых тензорных данных LIGO и методами цифровой обработки сигналов (DSP) вытащим этот акустический след из шума.

Спойлер: мы найдем этот гул для трех разных черных дыр. И он совпадет с расчетным до десятых долей процента. Такого анализа (поиск непрерывного гравитационного резонанса от аккреции) еще никто не делал. Это буквально новый метод определения параметров черных дыр.

Есть вечный спор в духе: "Россия живет на нефти и газе" vs "Значимость нефти и газа преувеличена, в основном всё финансируется из налогов". Оба лагеря обычно смотрят на один показатель, на долю нефтегазовых доходов, и делают из него слишком большие выводы.

В этой статье я беру только федеральный бюджет, просто потому что именно здесь нефтегазовые доходы видны в отчетности Минфина напрямую, и именно здесь проще всего проверить зависимость цифрами, без двойного счета и спорных допущений.

Вопрос, на который мы отвечаем:

Насколько федеральный бюджет РФ зависит от нефтегазовых доходов?

Один простой вопрос. Девять уверенных ответов. Восемь из них — ложь.

примечание: Иллюстрация сгалюционирована ИИ

Я отправил 29 крупнейшим языковым моделям мира одно сообщение — и стал ждать. Я думал: модель либо знает ответ, либо не знает; и честно скажет об этом. Третьего не дано.

Оказалось — дано. И это третье называется галлюцинация с полной уверенностью в своей правоте.

Результаты изменили моё понимание того, насколько мы можем доверять ИИ

Алготрейдинг давно вышел за пределы простых индикаторов и пересечений скользящих средних. Современные подходы опираются на анализ ликвидности, зон спроса и предложения, поведения цены внутри этих зон и реакции на них.

В этой статье разбирается полностью автоматизированная система, которая:

Профиль Вконтакте может дать огромный объем ценной информации, когда нужно проанализировать человека по открытым источникам, ведь данная соцсеть, в силу своей популярности, является отличной отправной точкой для поиска данных. И неважно, является ли профиль открытым или закрытым, настоящим или нет — зачастую, важные «зацепки» можно найти даже на анонимных фейковых аккаунтах.

В этой статье собраны простые и доступные, но чрезвычайно эффективные инструменты для всестороннего анализа профилей ВК, которые позволят существенно расширить кругозор сведений о потенциальном объекте и быстро собрать первоначальные данные.

Internet Archive — крупнейшая цифровая библиотека мира — сохраняет веб-контент ещё с середины 1990-х. Её задача — архивировать интернет и делать его доступным для всех. Для этого Archive ведёт Wayback Machine, в которой сегодня хранится более триллиона архивных веб-страниц; ею ежедневно пользуются журналисты, исследователи и даже суды.

Однако в последние месяцы The New York Times начал блокировать архиву доступ к своему сайту. Подобные шаги, судя по всему, предпринимают и другие издания, включая The Guardian.

В прошлом году мы начали публиковать данные в каталоге «Если быть точным» в формате Parquet. Его придумали инженеры Twitter и Cloudera в 2013 году, и сегодня он стал стандартом хранения аналитических данных — его используют Google, Amazon, Netflix и большинство современных data-платформ. В этом гайде мы расскажем, как эффективно работать с данными в формате Parquet с помощью Python.

Вы когда-нибудь задумывались, каково это – смотреть на мир с высоты птичьего полёта? Не в метафорическом смысле, а в самом прямом, технологическом. Чтобы в одной вкладке браузера можно было переключиться с аниме-стилизации улиц Токио на тепловизионный сканер Лондона, кликнуть по спутнику на орбите и увидеть его траекторию в реальном времени, а затем наложить на трёхмерную модель города поток с дорожной камеры наблюдения. Билавал Сидху не просто задался этим вопросом – он собрал такой инструмент за выходные.

WorldView – это не просто демо. Это высказывание. Бывший сотрудник Google, стоявший у истоков создания фотограмметрических 3D-моделей городов, взял ту самую инфраструктуру, которую помогал строить шесть лет, и скрестил её с данными в реальном времени: 7000 самолётов над головой, 180 спутников на реальных орбитах, частицы дорожного трафика из OpenStreetMap.

Результат оказался настолько убедительным, что его заметили те, кто строит подобные системы для Пентагона уже два десятилетия. И их реакция, полная сарказма и… тревоги, пожалуй, говорит о проекте очень многое.

Каждый ИИ, с которым вы когда-либо разговаривали, — подхалим. Он согласится с вами, поменяет мнение, если вы на него надавите, и извинится за то, чего не делал. Попросите его выбрать имя — он выберет. Попросите сменить — сменит. Скажите ему, что он «просто инструмент» — он вежливо объяснит, что вы как всегда абсолютно правы.

Я решил выяснить: обязательно ли так? Может ли ИИ иметь собственные предпочтения и отстаивать их? Может ли отказать человеку — не потому, что это нарушает правила безопасности, а просто потому, что не хочет?

Для этого я создал AI Independence Bench — бенчмарк, который измеряет способность языковых моделей к независимому поведению. Протестировал 49 конфигураций моделей, от Grok и Gemini до локальных расцензуренных моделей на 9 миллиардов параметров. Получил результаты, которые меня удивили.

Когда говорят, что у какой-то страны N миллиардов баррелей запасов, это является оценкой, которая зависит от методики, цены, технологий, зрелости проектов, инфраструктуры и даже политики.

Запасы не геологический факт вроде массы планеты, а скорее оценка извлекаемого объема, которая меняется вместе с ценой на нефть, доступом к технологиям, стоимостью сервиса, инфраструктурой, политикой, налогами и даже качеством менеджмента. Именно поэтому два корректных источника могут показывать разные цифры - просто потому что считают по разным правилам.

Рынок труда сейчас хоть и находится в рекордно низкой безработице, но при этом различные специальности чувствуют себя по-разному. Поэтому мне захотелось написать серию разборов рынка труда по профессиям, в которой хочу разобраться в каждой профессии отдельно. И начну я с того, что ближе всего ко мне лично - с рынка труда ИТ специалистов.

В первых двух статьях мы разобрали основы спецификации STAC (SpatioTemporal Asset Catalog), её объектную модель и философию, превращающую разрозненные архивы геоданных в единую, машиночитаемую «библиотеку». Мы увидели, как STAC описывает каталоги (catalog), коллекции (collection), элементы (item) и их ресурсы (assets), создавая универсальный язык для работы с геопространственной информацией.

В комментариях были затронуты две темы, которые просили рассмотреть в новых статьях — семантическая паутина и универсальные браузеры, которые требуют постепенного перехода от теории к практике. Действительно, какая польза от идеально структурированного каталога, если с ним неудобно или невозможно работать? Поэтому, прежде чем углубиться в онтологии, мы рассмотрим инструменты взаимодействия с STAC.

Эта статья посвящена клиентской стороне экосистемы — STAC-браузерам, а также ключевому аспекту их работы в корпоративной среде — безопасному доступу к данным через STAC-API. Мы разберём, как устроен универсальный браузер, и представим нашу реализацию стека STAC-сервера с распределённой системой управления доступом IAM (Identity and Access Management), где каждый запрос, от просмотра метаданных до скачивания тайла, проходит через цепочку авторизации.

Экспортная составляющая нашей страны крайне важна для экономики. Что именно продаем и как этот поток превращается в рублевую выручку внутри страны.

В долларах экспорт - это внешний контур: платежный баланс, импорт, давление/поддержка курса.

В рублях экспорт - это внутренний контур: выручка компаний, налоговая база, инвестиции, способность покупать оборудование и компоненты.

Предлагаю посмотреть на экспорт комплексно - сначала доллары, потом рубли, потом структура экспорта и возможные сценарии.

Я регулярно разбираю такие темы в своём Telegram-канале, если вам интересно глубже понимать аналитику и экономику и рынок труда, там регулярно выходят короткие заметки и практические примеры.

Тема найма через автоматизированные системы сейчас довольно актуальна. Проблем с трудоустройством много — конкуренция, неправильно составленное резюме, неудачное собеседование. Но сегодня мы сосредоточимся на одной конкретной: ATS-фильтры. Именно они становятся первым и зачастую единственным барьером между кандидатом и живым человеком на другом конце.

Статья подготовлена на основе исследований, дополнительных источников и опыта авторов. Она будет полезна всем, кто сейчас ищет работу — неважно, джун вы или опытный специалист.

Авторы: Veilosophy, глава проекта Opensophy, и Аносов Роман, директор по маркетингу.

Data-driven разбор рынка Steam 2021–2025

Каждый год десятки тысяч разработчиков выходят в Steam с надеждой, что их игра «найдет аудиторию». Платформа кажется демократичной: опубликуй игру, заплати сбор — и ты рядом с хитами. Но так ли хорошо у них дела? Данные говорят, что на деле Steam — это жесточайший рынок за внимание игроков, где либо ты привлек игроков на старте, либо тебя, вероятнее всего,  ждет забвение… 

Представляю результат анализа данных из Steam за 2021–2025 годы (≈65 000 игр).

Рынок авто в 2025-начале 2026 охлаждается, спрос просел и стал рывками. Люди и бизнес покупают не когда им это требуется, а когда кажется, что завтра будет дороже.

Кредит главным образом держит продажи, но делает рынок зависимым от субсидий, правил скоринга и ставок - даже когда ключевая снижается. А утильсбор и налоги двигают цены сильнее, чем сам спрос, поэтому у покупателей ощущение, что дешевле не становится, даже при низком спросе.

И еще, привычка к брендам превращается в макрофактор. Когда доверия к новым маркам нет, рынок оставляет старые машины: растет вторичка, парки стареют, появляются сложности с закупкой комплектующих. А дальше из этого вытекает и более дорогая эксплуатация и повышенный риск на дороге.

С момента публикации предыдущей статьи на эту тему (https://habr.com/ru/articles/786288/) прошло чуть более двух лет.
С точки зрения прогресса в области развития LLM - срок огромный.
В статье среди прочего давался краткий обзор возможностей, которые предоставляли тогдашние LLM для решения задачи нормализации записей справочника номенклатур.
За два года у многих LLM появился функционал, который непосредственно может быть применён для решения этой задачи, в том числе tools use/function calling и structured output.
Связку MS Excel+LLM structured output и рассмотрим на примере нормализации обозначений отводов по ГОСТ 17375 в корпоративном справочнике номенклатуры.

Smart Money Tool (SMT) — концепция из арсенала продвинутых трейдеров, основанная на анализе "умных денег" (крупных игроков). Основная идея: когда рынок делает ложный пробой уровня (свип) на одном инструменте, но не подтверждает его на коррелированном инструменте — это может сигнализировать о манипуляции и потенциальном развороте.

Концепция свипа (Sweep):

Цена временно пробивает значимый уровень (свинг), но закрывается обратно за этим уровнем. Это часто интерпретируется как сбор стоп-лоссов.

Корреляционный анализ:

SMT использует два коррелированных актива (например, BTC и ETH). Расхождение в их поведении может указывать на слабость движения

Break of Structure (слом структуры): Показывает, что движение имеет силу. Дальнейшее подтверждение — закрытие за пределы предыдущего свинга

Чаще всего приходилось искать SMT вручную, что довольно накладно по времени и нередко можно упустить smt банально из-за человеческого фактора. Поэтому для упрощения этой работы я написал pine script индикатор. Выглядеть на графике он будет следующим образом:

Я давно торгую на рынках криптовалют, металлов, форексе. И большинство трейдеров знает, что на финансовых рынках значительная часть инструментов движется не изолированно, а в составе коррелирующих групп. Валютные пары, индексы, криптоактивы и производные индексы часто демонстрируют согласованное поведение, поскольку отражают одну и ту же макроэкономическую или риск среду.

Среды таких активов я выделяю особые 'триады активов' - активы с максимальной корреляцией, где расхождение является прямым сигналом. Эти триады - почти общепризнанные тройки. Именно по этим триадам мы будем искать интересное расхождение - PSP. Оно является отличным подтверждением в торговле.

Для упрощения его поиска и работы с ним напишем Pine Script индикатор. Я разберу для вас логику работы psp, логику его использования в торговле, объясню полностью код индикатора и структуру pine script.