Как с помощью smart-contract мы построили систему отбора лучших технологических проектов в ИТ МТС? И в какие «ловушки» мы попали, но смогли выбраться, доказав в итоге, что вести распределенный реестр на мобильных устройствах возможно!

Для чего понадобилась система на основе blockchain?

Начнем с самого начала. В МТС есть давняя традиция – выбирать лучший технологический проект, сделанный за год, и награждать его команду. Команда получает призы, уважение и славу. За долгие годы победителями становились различные проекты: от высоконагруженных телеком-систем до систем искусственного интеллекта.

Выборы лучшего проекта всегда происходили в несколько этапов:

• Команды подают заявки
• Проходит голосование уважаемых технических экспертов
• После экспертов проекты отбирают руководители
• По завершению всех этапов большой начальник выбирает лучший проект.

Мы решили, что данная схема недостаточно прозрачна для участников и подумали: почему бы не дать возможность выбирать лучший технологический проект абсолютно всем экспертам в компании? 


Привет, меня зовут Дмитрий Краснов. Уже более пяти лет я занимаюсь администрированием кластеров Kubernetes и построением сложных микросервисных архитектур. В начале этого года мы запустили сервис по управлению кластерами Kubernetes на базе Containerum. Пользуясь поводом расскажу, что представляет собой этот самый Kubernetes и чем интеграция с вендором отличается от open source.

Для начала, что такое Kubernetes. Это система для управления контейнерами на большом количестве хостов. С греческого, кстати, переводится как «пилот» или «рулевой». Изначально разработана Google, после чего в качестве технологического вклада передана Cloud Native Computing Foundation, международной некоммерческой организации, которая объединяет ведущих мировых разработчиков, конечных пользователей и поставщиков контейнерных технологий.

В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP) для семантической сегментации в реальном времени. Новый модуль CF-ASPP и использование super-resolution позволяют улучшить latency-accuracy trade-off. Обзор подготовил ведущий разработчик МТС Андрей Лукьяненко.


Семантическая сегментация в реальном времени очень нужна для многих задач, выполняемых на ограниченных ресурсах. Одна из больших сложностей — работа с объектами разных размеров и использованием контекста. В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP).

В наше время распространенным подходом является быстрое уменьшение размера изображений на начальных этапах, а затем маска исходного размера получается с помощью upsampling. Авторы предлагают использовать подходы super-resolution вместо простого upsampling.

Новый модуль и использование super-resolution позволяет улучшить latency-accuracy trade-off.

В начале 2020 года МТС первым из российских операторов запустил сотовую связь в Антарктиде. Чтобы добраться до ледяного континента, специалисты компании прошли обучение для моряков и выдержали жесткую медкомиссию, а затем были включены в состав 65-й Российско-Антарктической экспедиции. Дальше был самолет до Кейптауна, оттуда 10 дней на судне и вертолет до станции «Прогресс». Как проходило это увлекательно путешествие и что за оборудование установили в Антарктиде — рассказывает один из участников экспедиции – старший инженер МТС Роман Левин.

Из этой статьи вы узнаете, как организовать процесс построения эффективной разработки в распределенной цифровой компании, как сделать это через общение экспертов и как это происходит на примере МТС.

МТС, как и многие другие современные компании, подверглась так называемой цифровой трансформации. Говоря простым языком, нашим приоритетом стал запуск цифровых процессов и продуктов.

Для меня, как для технаря, это значит, что направление бизнеса в компании целиком зависит от качества ИТ-систем и их способности к быстрому эволюционированию.

Конечно, это неправильное определение, и маркетологи могут со мной поспорить — и даже переспорить! Но для всего, что вы прочитаете ниже, его вполне достаточно.

Каждый активный абонент в среднем получает более четырех нежелательных звонков в неделю — это реклама, предложения банков, иногда просто мошенничество. Большинство клиентов негативно реагируют на такого рода звонки. Для решения этой проблемы мы разработали услугу “Блокировка спам-звонков”, подключив которую, пользователь перестает получать нежелательные звонки, а в конце каждого дня система оповещает абонента о вызовах, которые были заблокированы. В этой статье data scientist’ы МТС Анна Рожкова (@RogotulkA) и Ольга Герасимова(@ynonaolga) расскажут как разработали алгоритм, отличающий номера спамеров от остальной абонентской базы.

В первой части мы познакомились с uplift моделированием и узнали, что метод позволяет выбирать оптимальную стратегию коммуникации с клиентом, а также разобрали особенности сбора данных для обучения модели и несколько базовых алгоритмов. Однако эти подходы не позволяли оптимизировать uplift напрямую. Поэтому в этой части разберем более сложные, но не менее интересные подходы.

Команда Big Data МТС активно извлекает знания из имеющихся данных и решает большое количество задач для бизнеса. Один из типов задач машинного обучения, с которыми мы сталкиваемся – это задачи моделирования uplift. С помощью этого подхода оценивается эффект от коммуникации с клиентами и выбирается группа, которая наиболее подвержена влиянию.

Такой класс задач прост в реализации, но не получил большого распространения в литературе про машинное обучение. Небольшой цикл статей, подготовленный Ириной Елисовой (iraelisova) и Максимом Шевченко (maks-sh), можно рассматривать как руководство к решению таких задач. В рамках него мы познакомимся с uplift моделями, рассмотрим, чем они отличаются от других подходов, и разберем их реализации.

В нашем прошлом материале по облачной тематике мы рассказывали, как защитить ИТ-ресурсы в публичном облаке и почему традиционные антивирусы не совсем подходят для этих целей. В этом посте мы продолжим тему облачной безопасности и поговорим об эволюции WAF и о том, что лучше выбрать: железо, ПО или облако. 

Что такое WAF

Более 75% атак хакеров направлены на уязвимости веб-приложений и сайтов: такие атаки, как правило, незаметны для ИБ-инфраструктуры и ИБ-служб. Уязвимости веб-приложений несут в себе, в свою очередь, риски компрометации и фрода учетных записей и персональных данных пользователей, паролей, номеров кредитных карт. Кроме того, уязвимости в веб-сайте служат точкой входа злоумышленников в корпоративную сеть.

Web Application Firewall (WAF) представляет собой защитный экран, который блокирует атаки на веб-приложения: SQL-инъекции, межсайтовый скриптинг, удаленное выполнение кода, брутфорс и обход авторизации (auth bypass). В том числе атаки, использующие zero-day уязвимости. Файрволы приложений обеспечивают защиту, выполняя мониторинг содержимого веб-страниц, включая HTML, DHTML и CSS, и фильтруя потенциально вредоносные запросы по HTTP/HTTPS.

В статье «NB-IoT: как он работает? Часть 2», рассказывая про архитектуру пакетного ядра сети NB-IoT, мы упомянули про появление нового узла SCEF. Объясняем в третьей части, что же это такое и зачем это нужно?



При создании M2M-сервиса разработчики приложений сталкиваются со следующими вопросами:

• как идентифицировать устройства;
• какой использовать алгоритм проверки и подтверждения подлинности;
• какой выбрать транспортный протокол для взаимодействия с устройствами;
• как гарантированно доставить данные на устройства;
• как организовать и установить правила обмена данными с ними;
• как контролировать и в онлайн режиме получить информацию об их состоянии;
• как одновременно доставить данные на группу своих устройств;
• как одновременно отправить данные с одного устройства на несколько клиентов;
• как получить унифицированный доступ к дополнительным сервисам оператора по управлению своим устройством.

Для их решения приходится создавать проприетарные технически «тяжелые» решения, что приводит к увеличению трудозатрат и времени time-to-market сервисов. Вот здесь на помощь и приходит новый узел SCEF.

Все больше пользователей выводят в публичное облако всю свою ИТ-инфраструктуру. Однако в случае недостаточности антивирусного контроля в инфраструктуре заказчика возникают серьезные кибер-риски. Практика показывает, что до 80% существующих вирусов отлично живут в виртуальной среде. В этом посте расскажем о том, как защитить ИТ-ресурсы в публичном облаке и почему традиционные антивирусы не совсем подходят для этих целей.



Для начала расскажем, как мы подошли к мысли о том, что для публичного облака не подходят привычные инструменты антивирусной защиты и требуются иные подходы к защите ресурсов.

Что такое End2End-распознавание речи, и зачем же оно нужно? В чем его отличие от классического подхода? И почему для обучения хорошей модели на основе End2End нам потребуется огромное количество данных — в нашем сегодняшнем посте.

Классический подход к распознаванию речи

Прежде чем рассказать про End2End-подход, стоит сначала поговорить про классический подход к распознаванию речи. Что он из себя представляет?

5G может совершить реальный переворот в качестве жизни, поэтому интерес к новой технологии намного выше, чем когда-то к 4G. Так, количество компаний, запускающих устройства в первоначальном развертывании, изменилось с четырех для 4G LTE до 20 для 5G. Тестовые запуски и разработка услуг под применение 5G идут по всему миру, в том числе через инкубаторы для привлечения стартапов. Один из них – от МТС – работает и в России.



Есть распространенное мнение, что скорости в LTE всех и так устраивают, и никакой потребности в ускорении до 10 Гбит/с обычному юзеру не требуется. Это не совсем так. Сценарии применения 5G лежат в плоскости подключения инфраструктуры, создания новых возможностей для применения AR и VR, беспилотников и других, скорее, инфраструктурных и бизнес-решений. Ускорение приема-передачи трафика дает возможность быстрее освободить ресурс сети для потребителя, чтобы не сталкиваться с ситуацией, когда при скоплении пользователей страница открывается очень медленно. Нельзя же затягивать с расширением пропускной способности сетей до тех пор, пока абоненты не столкнутся с ухудшением качества связи из-за перегрузки сетей.

Продолжаем рассказывать про конференцию по статистике и машинному обучению AISTATS 2019. В этом посте разберем статьи про глубокие модели из ансамблей деревьев, mix регуляризацию для сильно разреженных данных и эффективную по времени аппроксимацию кросс-валидации.

Статьи про компьютерное зрение, интерпретируемость, NLP – мы побывали на конференции AISTATS в Японии и хотим поделиться обзором статей. Это крупная конференция по статистике и машинному обучению, и в этом году она проходит на Окинаве – острове недалеко от Тайваня. В этом посте Юлия Антохина (Yulia_chan) подготовила описание ярких статей из основной секции, в следующем вместе с Анной Папета расскажет про доклады приглашенных лекторов и теоретические исследования. Немного расскажем и про то, как проходила сама конференция и про “неяпонскую” Японию.

Существует несколько подходов к понимаю машиной разговорной речи: классический трехкомпонентный подход (включает компонент распознавания речи, компонент понимания естественного языка и компонент, отвечающий за некую бизнес-логику) и End2End-подход, который предполагает четыре модели реализации: прямую, совместную, многоступенчатую и многозадачную. Рассмотрим все плюсы и минусы этих подходов, в том числе на основе экспериментов компании Google, и подробно разберем, почему End2End-подход решает проблемы классического подхода.

Недавно мы обеспечили высокоскоростным мобильным интернетом и мобильной связью верхние участки горнолыжных трасс Эльбруса. Теперь сигнал там доходит до высоты 5100 метров. И это был не самый простой монтаж оборудования — установка проходила в течение двух месяцев в сложных горноклиматических условиях. Расскажем, как это было.

Мы – Big Data в МТС и это наш первый пост. Сегодня расскажем о том, какие технологии позволяют нам хранить и обрабатывать большие данные так, чтобы всегда хватало ресурсов для аналитики, и затраты на закупки железа не уходили в заоблачные дали.

О создании центра Big Data в МТС задумались в 2014 году: появилась необходимость масштабирования классического аналитического хранилища и BI-отчетности над ним. На тот момент движок для обработки данных и BI были SASовские – так сложилось исторически. И хотя потребности бизнеса в хранилище были закрыты, со временем функционал BI и ad-hoc-аналитики поверх аналитического хранилища разросся настолько, что нужно было решать вопрос увеличения производительности, учитывая, что с годами количество пользователей увеличилось в десятки раз и продолжало расти.

В результате конкурса в МТС появилась MPP-система Teradata, покрывающая потребности телекома на тот момент. Это стало толчком к тому, чтобы попробовать что-то более популярное и open source’вое.



На фото — команда Big Data МТС в новом офисе «Декарт» в Москве

В начале декабря в Монреале прошла 32-ая ежегодная конференция Neural Information Processing Systems, посвященная машинному обучению. По неофициальному табелю о рангах эта конференция является топ-1 событием подобного формата в мире. Все билеты на конференцию в этом году были раскуплены за рекордные 13 минут. У нас большая команда data scientist’ов МТС, но лишь одному из них – Марине Ярославцевой (magoli) – посчастливилось попасть в Монреаль. Вместе с Данилой Савенковым (danila_savenkov), который остался без визы и следил за конференцией из Москвы, мы расскажем о работах, показавшихся нам наиболее интересными. Эта выборка очень субъективна, но, надеемся, она заинтересует вас.

В прошлый раз мы говорили об особенностях нового стандарта NB-IoT с точки зрения архитектуры сети радиодоступа. Сегодня порассуждаем, что изменилось в ядре сети (Core Network) при NB-IoT. Итак, поехали.




В ядре сети произошли значительные изменения. Начнем с того, что появился новый элемент, а также ряд механизмов, которые определены стандартом как “CIoT EPS Optimization” или оптимизации опорной сети для сотового интернета вещей.

Как известно, в мобильных сетях существует два основных канала коммуникаций, которые называются Control Plane (CP) и User Plane (UP). Control Plane предназначен для обмена служебными сообщениями между различными элементами сети и служит для обеспечения мобильности (Mobility management) устройств (UE) и установления/поддержания сессии передачи данных (Session Management). User Plane — это, собственно, канал передачи пользовательского трафика. В классическом LTE распределение CP и UP по интерфейсам выглядит следующим образом: