Обновить
4K+
0
Роман Белкин@skullodrom

DB, Econimics, MBTI, Science, Stock exchange

1
Рейтинг
2
Подписчики
Отправить сообщение

TCO или Полная Стоимость Владение современных подходов в ETL для DB MPP

Уровень сложностиСредний
Время на прочтение3 мин
Охват и читатели5.6K

О чем эта статья: В данной статье я хочу сравнить TCO старых добрых ETL как например Informatica, ODI, MarkitEDM и подобных им vs DBT + AirFlow и подобных им

Очень легко проанализировать стоимость лицензий или вычислений и хранения в случае облачной БД, но очень сложно — TCO. Стоимость разработки одной фичи, стоимость поддержки, стоимость сопровождения, стоимость изменений. Очень заманчиво учитывать только расходы на лицензии и вычисления и предполагать, что все остальные расходы одинаковы, хотя это не так.

По умолчанию облачные MPP-базы обычно дешевле по хранению и вычислениям и не имеют лицензионной платы, и возникает соблазн использовать такой же безлицензионный подход в ETL, но есть недостатки:

Читать далее

Богатство страны и доля ископаемых в экономике ВВП

Уровень сложностиСредний
Время на прочтение2 мин
Охват и читатели3.6K

Иногда люди говорят: посмотрите на процветающие страны, богатые ископаемыми, такие как ОАЭ или Норвегия — у них высокий уровень жизни для граждан. Но при этом не учитывают население и соотношение количества ископаемых на душу населения. Этот последний фактор малоизвестен, и я решил прикинуть его примерно.

Для простоты я выбрал страны с разным уровнем развития, в основном добывающие нефть и газ. В будущем я могу провести более широкий анализ, включая все виды ископаемых.

Я рассчитал потенциальную прибыль страны независимо от того, продаёт ли она ископаемые или использует внутри. Думаю, это справедливо, потому что у страны есть две стратегии:
экспортировать ископаемые
использовать их внутри страны.

При экспорте у страны выше номинальный ВВП, потому что она получает много долларов от экспорта, но при этом ей нужно закупать товары, включая те, которые можно было бы производить внутри страны с использованием этих же ресурсов. Эта стратегия больше свойственна развитым странам — она выравнивает конкуренцию и помогает избежать «голландской болезни», сохраняя цены на нефть и газ на среднемировом уровне.

Первой стратегией часто пользуются и слаборазвитые страны — они просто всё распродают, не пытаясь использовать ископаемые для развития внутри.
Вторая стратегия чаще встречается в развивающихся странах: номинальный ВВП у них ниже, но ВВП по ППС (паритету покупательной способности) — выше, потому что ископаемые дешевле внутри страны, что снижает затраты на транспорт, тяжёлую промышленность и так далее. Такой способ перераспределения богатства между гражданами проще для развивающейся страны, чем создавать конкурентоспособную экономику на глобальном уровне, так что можно получить некоторое преимущество.

Мы видим, что «Общая прибыль на гражданина в год, USD» в России, Иране и Канаде примерно одинакова, но ВВП по ППС на душу населения — разный, что означает, что страны используют свои ископаемые по-разному или имеют разные структуры экономики.
Саудовская Аравия богаче среднего уровня в 3.5 раза, но всё ещё заметно беднее Норвегии и тем более не сравнима с ОАЭ. Поэтому когда кто-то говорит мне, что ОАЭ умудрились выдать новорождённому XXX.XXX долларов и построить город-мечту Дубай, а Россия не смогла — я покажу им эту статистику.

Я также рассчитал:

«Общую прибыль на гражданина в год, USD» — потенциальную цену всех ископаемых в пересчёте на душу населения в год.

«Долю ископаемых в экономике по номинальному ВВП, %» — доля потенциальной стоимости всех ископаемых в номинальном ВВП.

«Долю ископаемых в экономике по ВВП ППС, %».

«Соотношение долей ВВП номинального и ППС» — отношение двух предыдущих показателей.

Мы видим, что Норвегия сильно выигрывает от своих ископаемых, в то время как Канада — не так сильно. Для обеих стран доли ископаемых в ВВП по номиналу и ППС близки, что означает, что они не «раздувают» ВВП ППС за счёт ископаемых. Их коэффициент соотношения этих долей — низкий

Читать далее

Недостатки RDBMS или RDBMS vs NoSQL

Время на прочтение2 мин
Охват и читатели25K
Изложу мое видение по каким причинам были созданы новые технологии хранения и обработки данные известные как NoSQL и MPP.
Статья будет полезна особенно начинающим пионерам в разработки БД.
В статье не рассматриваются специализированные базы данных для векторных, графический и прочих нестандартных форматов.

Первое, SQL и RDBMS
1.1. Необходимо знать язык SQL и основные принципы RDBMS как транзакции, foreign key, таблицы.
Допустим вы разработчик Java, и от вас еще требуют знать какой-то SQL и особенности RDBMS. Естественно вы ленитесь, пытаетесь как-то отвильнуть.
Да и к тому-же принцип ООП очень не похож на модель данных в RDBMS.
1.2. Если у вас большой проект, то вам нужен профессиональный БД разработчик, а это лишний балласт если не будет проектов в будущем.
Java программистам так и хочется сделать всю бизнес логику на Java в обход SQL и RDBMS.

Второе, Цена
Читать дальше →

Oracle vs Teradata vs Hadoop

Время на прочтение4 мин
Охват и читатели24K
Эта статья нацелена на Большие и Очень большие Хранилища Данных, но для ровной картины в классификации немного упомянуты и маленькие.

Статья написана для специалистов, которые ценят главный критерий работы с базами данными — скорость. Речь пойдет о системах, нацеленных на грубый full scan (ораклисты уже напряглись, а терадатовцы радуются).

Давайте рассмотрим, под какой объем данных и работ лучше всего подходит Oracle или Hadoop/NoSQL.
Читать дальше →

Информация

В рейтинге
1 917-й
Откуда
Praha, Hlavni Mesto Praha, Чехия
Дата рождения
Зарегистрирован
Активность