Обновить
16K+
Криптонит
Технологические решения для безопасности общества
4,8
Оценка работодателя
60,43
Рейтинг
235
Подписчики
Сначала показывать

На «РусКрипто’2026» рассказали, как защитить пароли от взлома на ASIC и FPGA

Уровень сложностиСредний
Время на прочтение3 мин
Охват и читатели6.1K

С 24 по 27 марта в Подмосковье проходит ежегодная международная конференция «РусКрипто’2026», отражающая развитие криптографии и информационной безопасности. В этом году многие участники затрагивали вопросы цифрового суверенитета и построения доверенной цифровой среды. Особый интерес вызвал доклад сотрудников лаборатории криптографии компании «Криптонит» Анастасии Чичаевой и Степана Давыдова, посвящённый защите от взлома на специализированном «железе». 

В своём выступлении Анастасия Чичаева рассказала о современных подходах к построению и анализу так называемых memory-hard functions (MHF) — криптографических функций, требовательных к объёму памяти. Они становятся эффективным противодействием использованию специализированных вычислителей для перебора паролей и вырабатываемых из них ключей. 

К таким устройствам относят ASIC (специализированные интегральные схемы) и FPGA (программируемые логические интегральные схемы). Те и другие можно «заточить» на параллельное выполнение алгоритмов одного типа (например — хэширования) и достичь большей эффективности, чем , при использовании процессоров общего назначения. Следовательно, ASIC и FPGA существенно снижают затраты на проведение атак методом перебора.  При этом у них ограниченный объём памяти (особенно у ASIC), и это свойство можно использовать в стратегии защиты. 

Memory-hard функции как раз устроены так, что для их вычисления требуется значительный объём памяти, поэтому их применение делает массовый перебор паролей на специализированных вычислителях экономически невыгодным, а это – универсальная стратегия защиты. 

Читать далее

Кто такой инженер по обеспечению качества данных и почему без него уже не обойтись?

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели6.1K

Современный бизнес переживает очередную трансформацию под влиянием информационных технологий. Он движется от стадии слепого принятия концепций больших данных (Big data) и искусственного интеллекта к более осознанной работе с информацией. На этом фоне появляются новые профессии, такие как инженер по обеспечению качества данных — data quality assurance engineer, или просто инженер DQ, как часто указывают в вакансиях. Почему эта профессия на пике востребованности, где она нужна и кому легче освоить её прямо сейчас? На эти и другие вопросы отвечают эксперты российской ИТ-компании «Криптонит»: руководитель департамента тестирования Александр Гречин и ведущий инженер по тестированию качества данных Вероника Казакова.

Как и в любой профессиональной среде, у специалистов по работе с данными есть своя терминология.  Мы подготовили краткий глоссарий, чтобы говорить с вами на одном языке:

Метаданные, или «данные о данных» — это их происхождение (источник), формат, время создания, правила обработки и контроля качества. Например, к нам загружаются таблицы с данными о компании (ИНН, названием компании, коды ОКВЭД и так далее). Здесь метаданные — это атрибуты таблицы (какие колонки мы загружаем, какой в них тип данных, обязательно ли их заполнение, какие правила мы накладываем на значения. 

Пайплайны (data pipelines): автоматизированные последовательности получения, преобразования и перемещения данных из источников в хранилища. Пайплайны работают как конвейеры, подготавливающие сырые данные для их дальнейшего анализа. 

Читать далее

Право на забвение: как удалить образ человека из системы распознавания лиц и не сломать её

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели6.6K

У каждого из нас есть право контролировать использование своих биометрических данных, к которым относится и цифровое описание уникальных черт лица. Проблема в том, что системы видеонаблюдения и аутентификации с функцией распознавания лиц основаны на «патологически памятливых» нейросетях. Однажды увидев лицо, нейросетевая модель запоминает его навсегда, создавая риски для приватности. Из-за этой особенности глубокой нейросети вас могут отслеживать, даже когда это не является необходимым и правомерным. Юридическое «право на забвение» вступает в конфликт со сложностью его реализации. 

Эту проблему исследовал специалист лаборатории искусственного интеллекта российской ИТ-компании «Криптонит» Михаил Захаров. Он разработал уникальный метод выборочного забывания лиц системами компьютерного зрения (CVS). Предложенный метод можно использовать для удаления образов лиц из различных систем биометрической идентификации, не нарушая их функциональность.

Читать далее

Как мы оптимизировали компоненты во фронтенде: работа с импортами и package.json

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели5.7K

Привет, Хабр! Меня зовут Василий Беляев. Я руководитель группы разработки по направлению фронтенда в ИТ-компании «Криптонит». В этой статье хочу поделиться опытом и рассказать об оптимизации библиотек: о том, с какими проблемами мы столкнулись, и как их пошагово решили.

Для начала кратко опишу фронтовый стек у нас в «Криптоните»: мы те ребята, которые не пишут на React. У нас все проекты и библиотеки написаны на Vue + Composition API. Из дополнительных инструментов мы используем следующие:

Читать далее

Как веб-камера и нейросеть помогают удалённо измерять частоту дыхания

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели4.4K

Российская ИТ-компания «Криптонит» продолжает развивать технологии дистанционного мониторинга показателей жизнедеятельности человека. В своей новой работе специалист отдела перспективных исследований компании «Криптонит» Алексей Протопопов представил бесконтактный метод определения частоты дыхательных движений (ЧДД) с высокой точностью. В этом методе применяется обычная веб-камера и алгоритм, использующий нейросеть на одном из этапов обработки видеосигнала. 

Традиционные способы измерения частоты дыхания требуют физического контакта с пациентом. Например, для этого применяют нагрудный ремень или датчики у носа. Это не всегда удобно, особенно когда важны скорость или свобода движений. Существующие бесконтактные подходы либо работают исключительно в идеальных условиях, либо дают значительную погрешность — до 13%, что вызвано недостаточной способностью отфильтровывать естественные движения человека. 

Метод Алексея Протопопова решает эту проблему. В его основе лежит сегментация изображения тела нейросетью и продвинутая фильтрация помех.  Метод протестировали на видеозаписях 14 добровольцев: 8 мужчин и 6 женщин в возрасте от 20 до 65 лет. Общая продолжительность записей превысила 2,5 часа. 

Принцип работы

В основе метода лежит анализ естественного смещения грудной клетки при вдохе и выдохе. Главная сложность — выделить именно дыхательные движения на фоне другой физической активности: разговора, жестов, поворотов и смены позы. 

Для решения этой задачи в предложенном методе нейронная сеть MediaPipe выделяет на каждом кадре области груди и живота. Тем самым она создаёт «маску» для анализа изображения. Этот этап называется «сегментация». Он самый ресурсоёмкий и занимает более 90% времени обработки. Сегментация позволяет алгоритму самостоятельно определять часть кадра, по которой нужно проводить измерения, поэтому смена позы почти не влияет на результат. 

Читать далее

Функциональные шаблоны: fold и unfold

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели4.6K

Привет! Меня зовут Артём. Я Scala Tech Lead в компании “Криптонит” и автор Scalabook — русскоязычной базы знаний по Scala и функциональному программированию. В прошлой статье я разбирал можно ли программировать без циклов. Сегодня хотелось бы подлить масла в огонь и продолжить разбирать альтернативы императивным циклам в мире функционального программирования.

Данная статья посвящена свёрткам (folds) и развёрткам (unfolds). Это модели вычислений, работающие поверх рекурсивных типов данных, таких как связанные списки, деревья и т.д. Свёртки и развёртки образуют мощную пару абстракций: если свёртки предназначены для потребления рекурсивных структур данных, то развёртки ответственны за генерацию структур данных из некоторого начального состояния.

Допустим у нас есть связанный список:

Читать далее

Зачем ребёнку субитизация и как играют с детьми в семье айтишников

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели5.8K

Привет, Хабр! Меня зовут Андрей. Я работают в российской ИТ-компании «Криптонит» и воспитываю семилетнюю дочь, которая с каждым годом осваивает всё более сложные активности. Мы уже паяли, шифровали, придумывали игры самостоятельно и дорабатывали готовые. В этой статье хочу поделиться недавним опытом и разобрать несколько разноплановых настолок. Одни помогут продуктивно провести время с ребёнком (заодно и самому переключить мозги), а другие — развить у ребёнка самостоятельность, способность концентрировать внимание и субитизацию прямо как у разведчика. Особенно пригодятся игры на долгих новогодних праздниках.

Читать далее

В России разработали метод ускорения настройки базовых станций 5G с помощью ИИ

Уровень сложностиСредний
Время на прочтение2 мин
Охват и читатели5.6K

Российская компания «Криптонит» (входит в «ИКС Холдинг») разработала метод автоматизации настройки ключевых СВЧ-компонентов базовых станций и ретрансляторов сетей 5G с помощью технологий искусственного интеллекта. Разработка поможет ускорить и упростить процесс производства оборудования для сетей пятого поколения, что особенно важно для крупных городов, где требуется быстрая и точная настройка тысяч базовых станций.

Работа выполнена по предложению входящей в «ИКС Холдинг» компании YADRO, одно из направлений деятельности которой — разработка и производство телекоммуникационного оборудования операторского класса.

Базовая станция должна одновременно принимать и передавать сигнал через общую антенну. Для этого применяется частотное разделение каналов, за которое отвечает дуплексер. Точность подбора его параметров напрямую влияет на качество связи. При этом настройка дуплексера — трудоёмкий процесс, требующий несколько часов работы опытного специалиста. Одна базовая станция может содержать более десяти радиомодулей и используемых в них дуплексеров. При масштабных установках — в объёме нескольких тысяч станций — потенциальный эффект от автоматизации настройки оценивается в десятки и сотни тысяч часов автоматизированной ручной работы.

Для автоматизации настройки разные исследователи пытались применять методы обучения с подкреплением (reinforcement learning, RL), но такой подход давал результат только на упрощённых моделях. В «Криптоните» переформулировали задачу так, что её теперь можно решить традиционным и более надёжным методом — обучением с учителем (supervised learning, SL). Разработанная нейросеть анализирует частотные кривые дуплексера и предсказывает корректировки регулировочных винтов. Дополнительный алгоритм пошагово применяет предсказания нейросети, что снижает риск ошибочной настройки.

Читать далее

Предопределённые векторы для обучения нейросетей с экономией памяти

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели4.1K

Одна из базовых функций систем машинного зрения состоит в классификации объектов. Для решения этой задачи традиционно применяются методы обучения с учителем (SL). Эти методы обеспечивают высокую точность, но при этом размер нейросетевой модели увеличивается с увеличением количества классов. Такая особенность ограничивает применимость SL в тех случаях, когда число классов слишком велико или заранее неизвестно.

Эксперт отдела перспективных исследований компании «Криптонит» Никита Габдуллин предложил новую методологию, позволяющую добиться одного и того же размера нейросетевой модели независимо от числа классов. Это достигается за счёт использования предопределённых векторных систем в качестве целевой конфигурации скрытого пространства (Latent Space Configuration, LSC) во время обучения.

С проблемой раздувания классов сталкиваются во многих областях — от ритейла до научных исследований. Мы рассмотрим её на задаче распознавания лиц, где каждый человек (его ID) считается отдельным классом.

Существующий подход (SL) требует, чтобы размер последнего классификационного слоя был пропорционален количеству этих ID.

Когда число идентифицируемых лиц исчисляется миллионами, параметры этого слоя становятся просто астрономическими, а модель — непрактичной из-за непомерных требований к ресурсам (в частности — к видеопамяти). Это становится существенным барьером на пути к масштабированию.

В качестве решения этой проблемы эксперт «Криптонита» предложил радикально новый метод — LSC, который устраняет прямую зависимость между размером модели и числом классов. Вместо того, чтобы заставлять сеть запоминать каждый класс во всё увеличивающемся классификационном слое, LSC учит её проецировать входные данные — например, изображения лиц — в заранее заданную, фиксированную систему векторов в абстрактном скрытом пространстве.

Читать далее

Санкционный while: стоит ли запретить циклы вслед за goto?

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели11K

Привет, Хабр! Меня зовут Артём. Я руковожу группой Scala‑разработчиков в компании «Криптонит» и веду Scalabook — русскоязычную базу знаний по Scala и функциональному программированию. В ней можно найти другие мои статьи‑инструкции, а также примеры кода. В этой статье предлагаю обсудить циклы и связанные с ними спорные моменты.

Читать далее

Мир после трансформеров: закат и новый рассвет больших языковых моделей

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели6.6K

Даже если вы избегали ChatGPT и его многочисленных аналогов, то наверняка сталкивались с обработкой текстов ИИ хотя бы в поисковой выдаче. Большие языковые модели (LLM) сейчас применяют повсюду. Проблема в том, что все они построены на одной и той же архитектуре трансформеров, поэтому страдают от общих недостатков. В этой статье эксперты из лаборатории искусственного интеллекта компании «Криптонит» расскажут о существующих ограничениях LLM, наметившихся путях их преодоления и о том, какими будут следующие большие языковые модели.

Эпоха трансформеров началась стремительно, и Marvel здесь ни при чём. Исследование OpenAI «Scaling Laws for Neural Language Models» показало, что эта архитектура с механизмом самовнимания легко масштабируется. Производительность LLM предсказуемо растёт с увеличением размера модели, объёма датасетов и доступных вычислительных ресурсов, а это — залог коммерческого успеха. Поэтому в 2020-2021 начался бум развития LLM. Каждая крупная ИТ-компания хотела представить свою модель с миллиардами параметров (и получить миллиарды долларов от инвесторов).

Однако в последующей работе «Training Compute-Optimal Large Language Models» от DeepMind появилось важное уточнение: существующие модели слабо оптимизированы по отношению данных к параметрам. Поэтому при дальнейшей разработке моделей стали фокусироваться в том числе и на качестве данных, а не только на размере. 

Поначалу простое масштабирование и увеличение доли качественных датасетов в обучающих наборах действительно приводили к экспоненциальному росту возможностей LLM. Наверняка вы помните, как с каждым релизом ChatGPT умнел (а мы глупели).  

Читать далее

Использование чистых функций в грязном мире: как писать долговечный код (почти) без багов

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели7.1K

Привет, Хабр! Меня зовут Артём Корсаков. Я руководитель группы серверной разработки в компании "Криптонит". Пишу на Scala и веду проект scalabook.ru. В этой статье мы разберём основы функционального программирования (ФП) на примерах и с поправкой на суровую действительность.

Многие слышали о преимуществах ФП, но пока не понимают, как применить эти концепции на практике. Теория монад и функторов и вовсе отпугивает, кажется чем-то заумным и непонятно где применимым. Поэтому мы отбросим сложную теорию и сосредоточимся на основных моментах, которые вы сразу сможете начать использовать в своём коде.

Читать далее

Лучшие фреймворки для машинного обучения в 2025 году

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели14K

Сегодня ни один крупный проект в области машинного обучения (ML) не обходится без фреймворков — готовых наборов библиотек, в которых базовые алгоритмы уже оптимизированы для различных архитектур. Выбор правильного фреймворка не только упрощает разработку, но и определяет успех проектов по внедрению искусственного интеллекта.

В этой статье эксперты лаборатории искусственного интеллекта российской ИТ-компании «Криптонит» рассматривают самые актуальные фреймворки для машинного обучения, анализируют причины их популярности, ключевые области применения и тенденции развития. Аналитика строится как на собственном опыте, так и на данных специализированных источников, таких как GeeksforGeeks, Upgrad, Octal Software и других, чтобы предоставить аргументированный и непредвзятый обзор.

Мы разделили обзор на две части. В первой рассматриваются фреймворки для глубокого обучения. Они ориентированы на построение и обучение нейронных сетей, в том числе сложных архитектур, таких как свёрточные модели и трансформеры. Вторая часть посвящена фреймворкам для классического машинного обучения. Они используются для работы с моделями, основанными на регрессии, решающих деревьях, методах ансамблирования (например, бустинг) и других алгоритмах без использования глубоких нейросетей.

Читать далее

Scalabook: пополняемая база знаний о Scala на русском языке

Уровень сложностиПростой
Время на прочтение2 мин
Охват и читатели4.2K

Всем привет! Меня зовут Артём Корсаков, я руковожу группой разработчиков на Scala в компании «Криптонит». Хочу рассказать про мой проект, которым я занимаюсь уже 4 года — Scalabook.

За последние 20 лет язык Scala завоевал прочные позиции в backend-разработке, машинном обучении, обработке данных, создании распределённых систем и во многих других областях. Есть тысячи ресурсов по Scala: книги, статьи, курсы, подкасты, проекты с открытым исходным кодом, хакатоны и специализированные мероприятия, вроде Advent of Code. Однако часто возникают вопросы: с чего начать изучение Scala, или как систематизировать уже имеющийся опыт?

Вот так у меня и появилась идея создать русскоязычную базу знаний по Scala — Scalabook. Это уникальный проект, в котором представлены материалы о функциональном программировании, алгоритмах и структурах данных, классах типов, переводы статей, а также ресурсы различного уровня сложности для изучения Scala. Это собрание материалов по разным темам в русскоязычном пространстве. 

Также уделено внимание практическим аспектам функционального программирования: создан тренажёр с набором задач возрастающей сложности, которые позволяют освоить ключевые концепции функционального программирования на Scala.

На сайте можно оставлять комментарии, получать обратную связь по решениям задач или предлагать дополнения для расширения базы знаний. Scalabook регулярно обновляется: добавляются новые упражнения, пояснения и материалы. Пользователи также могут внести свой вклад в этот процесс. Таким образом, изучение Scala становится более систематизированным, а не просто набором разрозненных ресурсов, в которых легко запутаться. Scalabook способствует обмену знаниями в сообществе Scala.

Читать далее

Ближайшие события

Бумажный геймдев: как увлечь ребёнка без интернета и гаджетов

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели13K

Привет, Хабр! Как вы думаете: что общего между написанием сложного кода и игрой с семилетним ребёнком? Отвечу как молодой отец и сотрудник ИТ-компании: оба процесса занимают неопределённо много времени и порой заставляют вас усомниться в своём интеллекте. Если за помощью с кодом всегда можно обратиться к Stack Overflow или (простите!) к ИИ-ассистентам, то ребёнок требует вашего персонального внимания. Считайте, что вы один на один с естественной нейросетью, которая находится в стадии обучения, но уже активно лезет в продакшен. А ещё эта нейронка часто капризничает и требует поиграть, игнорируя ваши дедлайны.

Оставлять ребёнка надолго перед экраном — не лучшая идея (хотя продавцы очков и контактных линз, а также психологи будут вам благодарны). Поэтому ищем другие варианты. Если ваш ребёнок уже освоил азы шантажа («Пап, а я тогда не усну!») и базовые алгоритмы манипуляции («А мама разрешает!»), пора переходить к ассиметричным ответным мерам. Нам помогут не столько старые, сколько добрые игры на бумаге, которые слегка изменились со времён нашего детства.

Главное в этих играх — листок и ручка фантазия!  Они не требуют зарядки, не содержат микроплатежей и помогают развивать мышление лучше, чем очередная «нейро» игра из магазина. Давайте поближе познакомимся с этими шедеврами офлайнового безчипового геймдева!

Читать далее

В России разработали инструмент для оценки безопасности сетей 5G

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели1.2K

В российской ИТ-компании «Криптонит» (входит в «ИКС Холдинг») криптографы представили модель для анализа безопасности протоколов анонимной аутентификации, применяемых в сетях 5G. Разработка, получившая название sigmaAuth (σAuth), направлена на повышение устойчивости мобильных сетей к кибератакам и защиту цифровой идентичности пользователей.

Предложенная модель позволяет выявлять уязвимости в протоколах связи и подтверждать их стойкость с помощью строгих математических доказательств. σAuth уже может применяться для анализа отечественных решений 5G-AKA-GOST и S3G-5G, которые сейчас проходят этап стандартизации в техническом комитете ТК26. Ожидается, что модель станет основой для дальнейшего совершенствования протоколов, обеспечивающих защиту от атак на анонимность, повторное использование сообщений и компрометацию ключей.

Согласно отчёту GSMA Intelligence, в конце 2024 года число подключений в сетях 5G по всему миру достигло 2 миллиардов. При этом 5G обеспечивает подключение не только смартфонов, но и промышленных систем, транспорта, датчиков, что создаёт широкую поверхность атаки. Одним из уязвимых элементов является процесс аутентификации: злоумышленники могут перехватывать сообщения, отслеживать пользователей или подделывать цифровые идентификаторы.

«Модель σAuth формализует понятие анонимности и учитывает сценарии, при которых нарушитель, например, может получить доступ к IoT-оборудованию. Это особенно важно сегодня, когда защита постоянных идентификаторов, таких как IMSI и SUPI, играет ключевую роль в обеспечении безопасности», — комментирует Владимир Бельский, заместитель руководителя лаборатории криптографии компании «Криптонит».

Читать далее

В России «раскололи» зарубежную постквантовую схему электронной подписи

Уровень сложностиСредний
Время на прочтение2 мин
Охват и читатели2.6K

В лаборатории криптографии российской компании «Криптонит» построена первая структурная атака, ставящая под сомнение надёжность оригинальной схемы pqsigRM и её новой модификации Enhanced pqsigRM.

Безопасность кодовых криптосистем с открытым ключом основывается, в том числе, на выборе базового кода, исправляющего ошибки. Например, использование кодов Рида — Маллера в криптосистеме Мак-Элиса не является безопасным, так как на такую версию криптосистемы ранее сотрудниками лаборатории криптографии НПК «Криптонит» уже была построена эффективная атака. 

Однако в основе схемы Enchanced pqsigRM лежит модифицированная конструкция, в которой коды Рида — Маллера специальным образом комбинируются друг с другом, чтобы запутать структуру исходных кодов. 

Исследователи из лаборатории криптографии смогли построить атаку, которая для определённых размерностей кода успешно восстанавливает структуру модифицированного кода. В атаке используется несколько различных техник.

Читать далее

Почему нейросети ошибаются и как с этим бороться?

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели2.4K

Эксперт отдела перспективных исследований компании «Криптонит» Никита Габдуллин предложил методику, которая поможет снизить частоту ошибок ИИ при смене данных за счёт более точного прогнозирования поведения нейросетей.

Нейросети — основа искусственного интеллекта, но они не наделены разумом. С точки зрения математика это лишь сложные математические функции, которые преобразуют входные данные в выходные через последовательность вычислений, организованных в слои.

При таком преобразовании возможны ошибки, которые трудно предугадать, а их последствия могут быть весьма плачевными. Например, неоднократно сообщалось о проблемах с автопилотами Tesla, которые допускали ошибки в распознавании объектов. Они не видели велосипедистов со спины и не замечали пустые грузовые платформы на перекрёстках, а внезапно появившиеся красные круги на придорожных рекламных стендах воспринимали как запрещающие сигналы светофора и включали экстренное торможение. В целом автопилоты склонны неверно интерпретировать условия в нестандартных дорожных ситуациях просто потому, что не сталкивались с ними во время обучения.

Другой показательный пример — история пользователя Reddit, который следовал рекомендациям ИИ от Google и попытался приготовить оливковое масло с чесноком. Казалось бы, ну какие тут могут быть последствия, кроме невкусного блюда? Однако ИИ предложил метод, который привёл к образованию культуры Clostridium botulinum — возбудителя ботулизма, опасного для жизни заболевания. Такие истории предостерегают от слепого доверия к ИИ даже в бытовых задачах.

Читать далее

Почему Apache Spark становится ядром аналитических платформ в России: тренды, особенности и прогнозы для бизнеса

Уровень сложностиСредний
Время на прочтение11 мин
Охват и читатели6.5K

Эксперты компании «Криптонит» проанализировали главные тренды использования Apache Spark в бизнесе, выделили особенности его применения в России и спрогнозировали дальнейшее развитие на основе выявленных тенденций.

Растущая востребованность Spark объясняется не только открытым исходным кодом и гибкостью, но и лёгкостью интеграции с современными технологиями — от машинного обучения до облачных платформ.

«В России Apache Spark становится не просто популярным фреймворком для обработки данных, а частью экосистемы отечественных решений в сфере Big Data. Особенно это касается объектов критической инфраструктуры, где всегда отдаётся предпочтение только самым надёжным и проверенным решениям», — пояснил Иван Попович, руководитель направления обработки данных компании «Криптонит».

Для критически важных отраслей (госуправление, финансы, энергетика) важна локализация данных и соответствие требованиям регуляторов.

«Открытый исходный код здесь играет ключевую роль, так как обеспечивает прозрачность и возможность тщательной верификации. Также он даёт уникальную возможность адаптировать решение под конкретные требования проекта. Хотя само по себе наличие открытого кода не является гарантией безопасности, Apache Spark за 15 лет своего развития доказал эффективность и надёжность в самых различных областях применения», — добавил эксперт.

В последние годы Spark проникает в новые сферы. Он всё активнее используется в агропромышленном комплексе, энергетике, нефтегазовой и химической отрасли. В основном его применяют для оптимизации производства, прогнозирования аварий и повышения энергоэффективности.

Читать далее

Со скоростью кометы: ускоряем Spark без переписывания кода

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели7K

Привет, Хабр! Меня зовут Лев Маковеев. Я младший инженер по обработке данных в компании «Криптонит». В этой статье хочу поделиться с вами результатами небольшого исследования, в ходе которого мы протестировали ускоритель запросов Apache DataFusion Comet и пришли к довольно впечатляющим результатам. Забегая вперёд, отмечу, что в отдельных тестах ускорение было более чем десятикратным!

Читать далее

Информация

Сайт
kryptonite.ru
Дата регистрации
Дата основания
Численность
501–1 000 человек
Местоположение
Россия