>можно только удалить индексы, которые не нужны для таблиц IM
Если не секрет, откуда у вас такая уверенность, так в доке написано?
Просто индексы нужны не только для фул скана, а для того чтобы быстро по дереву в 4-5 шагов найти одну строчку с достаточно уникальными атрибутами среди триллиона строк. Пример думаю не сложно представить.
Честное тестирование это конечно очень хорошо, особенно из первых рук.
Хотелось бы увидеть тот же тест на Вертике, хотя это совсем другой класс продктов, но под ваши тяжелые запросы думаю самое-то.
Хотелось бы конечно и на Сап Ханне, но это нужно к вендору или у кого она случайно завалялась.
Я наверное попробую сделать этот же тест на MS SQL 2016
Спасибо за статью, но вообще не понятно как общаться с другими участники википедии, особенно с тему, кто отменяет твои правки. Не понятно как вести дискуссию, как понять вменяемость патрулируемого, как привлекать внимание, как встретиться и объяснить свою позицию, как удостовериться что патрулируемый вообще читает и вникает в правки, а не просто зарабатывает балы откатыванимем? Что делать если я не вижу разумного человека в патрульщике, но он все же постоянно отменяет мои правки, можно ли создать ветку форума для обсуждения каждой правки? Может запросто получиться порочный круг.
Вообщем вопросов куча.
За сравнение Т5 и Т7 спасибо!
За сравнение Оракл + In-Memory + DAX vs просто Оракл тоже спасибо.
1.Оракл проиграл сегмент больших DWH базам данных с более прогрессивной архитектурой, таким как Терадата, Вертика, Хадуп.
2. Оракл пока не присутствует в сегменте больших In-Memory + MPP, такие как САП Ханна и другие.
3. Сегмент OLTP и средних DWH Оракл держит блестяще.
4. Остался только сегмент односерверных In-Memory движков, тут Оракл новичок. Раз вы обладаете подобным железом хотелось бы увидеть сравнение Оракл + In-Memory + DAX против САП Ханных (и других) и желательно в нескольких вариациях (1,2,4 сервера).
Я не специалист в In-Memory и пока верю в старый добрый Оракл, возможно еще рано списывать старичка со счетов. В 12 версии появилась опция по сути превращающая базу данных в In-Memory. Хотелось бы где ни будь увидеть тестирование этой опции с SAP HANA например. Все таки sql оптимизатор Оракла очень хорошо прописан и оптимизирован, думаю он еще долго будет давать фору. Правда ни поколоночного хранения в Оракле нет, только в версии Exadata и только в сжатых данных. Ни добавления кластера нет, но сейчас можно собрать сервер с 2-4 Тб оперативной памяти, что можно быть достаточно для ваших нужд.
Я пользовался польским банком Millenium. С карты украли небольшую сумму в 40$, тремя транзакциями без подтверждения смс конечно. Банк отказался вернуть деньги, и даже не принял заявление, сказав что сперва нужно написать заявление в полицию. И я не стал этим заниматься и сменил банк.
Другой польский банк Credit Agricole (дочка французского банка) так же не все операции в интернете проводит с подтверждением смс. В банке мне ответили что технически это изменить невозможно.
У меня 2 раза крали деньги с карт открытых в московских Сбербанке и Ситибанке. В обоих случаях деньги вернули полностью. Правда потом Сбербанк незаконно списал с моей карты 40 т.р., обращался и в полицию и в суд, и сто раз писал заявление в Сбербанк, ничего не помогло. Причина была в моей невнимательности, я подписал договор на транспортную карту в Сбербанке не читая договор, который я успешно потерял, а копию договора Сбербанк выдать мне отказался.
Вообщем не хватило юридической грамотности довести это дело до суда.
>В обновленной версии обещают ускорение работы Tungsten в 5-10 раз.
Мне нравится маркетинг новых технологий.
2008 Hadoop is faster than Oracle in 10 times
2010 Hive is faster than Hadoop in 5 times
2012 Spark is faster than Hive in 600 times
2014 Parket is faster than Spark in 5 times
2016 Tungsten is faster than Parket in 10 times.
Так примерно посчитал что современный джуноровские оупенсорсные технологии чисто математический должны сделать Оракл в 100500 раз, а на практике… а воз и ныне там :)
Язык SQL (четвертого уровня) очень неуклюж и не эффективен для таких задач как пропуски и другие подобные ему, тут старый добрый язык третьего уровня будет куда эффективнее
> То есть никто не пытается на тебя давить, унизить или показать твою никчемность, как это часто бывает в российских компаниях.
Да, стресс-интервью любят проводить в российских компаниях. Я им всегда на это отвечаю, лучше увольте людей которые создают стресс в компании чем подбирать стрессоустойчивых людей.
>Согласно проведенным выше декмопозициям определений — Data mining как бы “выигрывает” у Big Data за счет демократичного подхода к >объему данных.
Объем данных может быть любой, хотя обычно объемы у Big Data больше.
>Согласно списку задач, решаемым при помощи методов Big Data и Data Mining, “выигрывает” уже Big Data, так как решает задачи сбора и >хранения данных.
Это все равно что сравнить что руль от Мерседеса лучше чем Запорожец, т.к. Запорожец еще и едет =)
В целом не очень лаконично, более кратко нужно.
Я бы написал проще:
Data Mining это класс программ для нестандартного анализа данных, который работает только со структурированными данными.
Big Data это стек технологий и архитектурный принцип и т.д. и т.п.… который решает задачи ETL НЕструктурированных данных и в дальнейшем может включать и анализ этих данных. Хотя ничего не мешает после ETL Big Data направить данные уже в структурированном виде в Data Mining.
Хотя так же ничего не мешает Big Data не конвертировать данные в структурированный вид использовать специалезированные средства анализа заточенные именно для Big Data производить аналогичный анализ что делает Data Mining.
В Оракле для любой БД можно создать коннектор. Например мы создали для mysql и писали туда данные из Оракла. Единственный нюанс нужно было писать 2 раза commit
У нас много талантливых криэйторов, но мало хороших внедренцев и продавцов. Людей способных вывести продукт на международный уровень вообще единицы. Я думаю Медведеву нужно заняться именно последним. Или нет?
Если не секрет, откуда у вас такая уверенность, так в доке написано?
Просто индексы нужны не только для фул скана, а для того чтобы быстро по дереву в 4-5 шагов найти одну строчку с достаточно уникальными атрибутами среди триллиона строк. Пример думаю не сложно представить.
Честное тестирование это конечно очень хорошо, особенно из первых рук.
Хотелось бы увидеть тот же тест на Вертике, хотя это совсем другой класс продктов, но под ваши тяжелые запросы думаю самое-то.
Хотелось бы конечно и на Сап Ханне, но это нужно к вендору или у кого она случайно завалялась.
Я наверное попробую сделать этот же тест на MS SQL 2016
Вообщем вопросов куча.
За сравнение Оракл + In-Memory + DAX vs просто Оракл тоже спасибо.
1.Оракл проиграл сегмент больших DWH базам данных с более прогрессивной архитектурой, таким как Терадата, Вертика, Хадуп.
2. Оракл пока не присутствует в сегменте больших In-Memory + MPP, такие как САП Ханна и другие.
3. Сегмент OLTP и средних DWH Оракл держит блестяще.
4. Остался только сегмент односерверных In-Memory движков, тут Оракл новичок. Раз вы обладаете подобным железом хотелось бы увидеть сравнение Оракл + In-Memory + DAX против САП Ханных (и других) и желательно в нескольких вариациях (1,2,4 сервера).
Я не специалист в In-Memory и пока верю в старый добрый Оракл, возможно еще рано списывать старичка со счетов. В 12 версии появилась опция по сути превращающая базу данных в In-Memory. Хотелось бы где ни будь увидеть тестирование этой опции с SAP HANA например. Все таки sql оптимизатор Оракла очень хорошо прописан и оптимизирован, думаю он еще долго будет давать фору. Правда ни поколоночного хранения в Оракле нет, только в версии Exadata и только в сжатых данных. Ни добавления кластера нет, но сейчас можно собрать сервер с 2-4 Тб оперативной памяти, что можно быть достаточно для ваших нужд.
Другой польский банк Credit Agricole (дочка французского банка) так же не все операции в интернете проводит с подтверждением смс. В банке мне ответили что технически это изменить невозможно.
У меня 2 раза крали деньги с карт открытых в московских Сбербанке и Ситибанке. В обоих случаях деньги вернули полностью. Правда потом Сбербанк незаконно списал с моей карты 40 т.р., обращался и в полицию и в суд, и сто раз писал заявление в Сбербанк, ничего не помогло. Причина была в моей невнимательности, я подписал договор на транспортную карту в Сбербанке не читая договор, который я успешно потерял, а копию договора Сбербанк выдать мне отказался.
Вообщем не хватило юридической грамотности довести это дело до суда.
Мне нравится маркетинг новых технологий.
2008 Hadoop is faster than Oracle in 10 times
2010 Hive is faster than Hadoop in 5 times
2012 Spark is faster than Hive in 600 times
2014 Parket is faster than Spark in 5 times
2016 Tungsten is faster than Parket in 10 times.
Так примерно посчитал что современный джуноровские оупенсорсные технологии чисто математический должны сделать Оракл в 100500 раз, а на практике… а воз и ныне там :)
Да, стресс-интервью любят проводить в российских компаниях. Я им всегда на это отвечаю, лучше увольте людей которые создают стресс в компании чем подбирать стрессоустойчивых людей.
Объем данных может быть любой, хотя обычно объемы у Big Data больше.
>Согласно списку задач, решаемым при помощи методов Big Data и Data Mining, “выигрывает” уже Big Data, так как решает задачи сбора и >хранения данных.
Это все равно что сравнить что руль от Мерседеса лучше чем Запорожец, т.к. Запорожец еще и едет =)
В целом не очень лаконично, более кратко нужно.
Я бы написал проще:
Data Mining это класс программ для нестандартного анализа данных, который работает только со структурированными данными.
Big Data это стек технологий и архитектурный принцип и т.д. и т.п.… который решает задачи ETL НЕструктурированных данных и в дальнейшем может включать и анализ этих данных. Хотя ничего не мешает после ETL Big Data направить данные уже в структурированном виде в Data Mining.
Хотя так же ничего не мешает Big Data не конвертировать данные в структурированный вид использовать специалезированные средства анализа заточенные именно для Big Data производить аналогичный анализ что делает Data Mining.
Вообще у нас налоги выше чем в США в целом и на уровне Западной Европы.
У нас много талантливых криэйторов, но мало хороших внедренцев и продавцов. Людей способных вывести продукт на международный уровень вообще единицы. Я думаю Медведеву нужно заняться именно последним. Или нет?