Pure Storage обіцяє випустити накопичувачі NVMe місткістю 300 ТБ до 2026 року

[KimRomik]

Предлагаю обсудить Pure Storage обіцяє випустити накопичувачі NVMe місткістю 300 ТБ до 2026 року

и в чем прикол хранить на них кучу инфы, если они потеряются через N время без чтения и перезаписи?

[Hemul]

Предлагаю обсудить Pure Storage обіцяє випустити накопичувачі NVMe місткістю 300 ТБ до 2026 року

и в чем прикол хранить на них кучу инфы, если они потеряются через N время без чтения и перезаписи?

Наверно потому что сценарий использования накопителей в корпоративном сегменте "немного" отличается от домашнего сценария "файлопомойка".

[KimRomik]

Наверно потому что сценарий использования накопителей в корпоративном сегменте "немного" отличается от домашнего сценария "файлопомойка".

ану поведай какой там у корпоратов сценарий? как они будут спасть инфу в случае блэкаута на отдельном континенте, не говоря уж про всю планету

[Павло]

Наверно потому что сценарий использования накопителей в корпоративном сегменте "немного" отличается от домашнего сценария "файлопомойка".

ану поведай какой там у корпоратов сценарий? как они будут спасть инфу в случае блэкаута на отдельном континенте, не говоря уж про всю планету

Генератори покинули чат) Блекаут на континенті)

[dead_rat]

Наверно потому что сценарий использования накопителей в корпоративном сегменте "немного" отличается от домашнего сценария "файлопомойка".

ану поведай какой там у корпоратов сценарий? как они будут спасть инфу в случае блэкаута на отдельном континенте, не говоря уж про всю планету

Якщо буде блекаут континенту, то ця інша нікому не знадобиться

[Павло]

ану поведай какой там у корпоратов сценарий? как они будут спасть инфу в случае блэкаута на отдельном континенте, не говоря уж про всю планету

Якщо буде блекаут континенту, то ця інша нікому не знадобиться

вово но тут у людини логіка дитяча))

[erkins007]

KimRomik
Правильно, а при ледниковом периоде? Тут только перфокарты выдержат.

[sav_]

Единственным преимуществом классических HDD является большой объем

як щодо тривалості зберігання даних?

[Prescott]

ану поведай какой там у корпоратов сценарий?

AWS сможет предлагать новые инстансы и ebs диски огромного объёма. У всех мало мальски адекватных продуктов есть бекапы, соотв. потеря 1-2-3 узлов с данными грозит лишь тратой времени девопса на поднятие бекапа.
Никакие хдд и близко не подходят когда время ответа системы/продукта около критическая величина.

[dead_rat]

Prescott
Ти визгачся:
1. коли це бекапи стали критично чутливими до часу відгуку?
2. коли то треба зберігати бекапи на ссд?
3. кому так необхідний Один величезний диск? Невже не вміють ділити на partitions?

Єдине що мені приходить до тями, це якась величезна sql база, котра така заплутана і крива, що ні про який шардінг мова не йде, а бізнесу необхідно щоб воно і далі працювало.

[Prescott]

Prescott
Ти визгачся:
1. коли це бекапи стали критично чутливими до часу відгуку?
2. коли то треба зберігати бекапи на ссд?
3. кому так необхідний Один величезний диск? Невже не вміють ділити на partitions?

Между строк читаем.

1, 2. Перечитайте ещё раз мой месседж. В нём 2 раздельных предложения. Есть горячие данные на ссд и есть бекапы не важно где и на чём, потеряем гоячие - восстановим из бекапов. Там где критично латенси - ссд впереди планеты и никакая эфимерная надёжность хдд никому не интересна с их черепашьей скоростью.
3. За пределами sql тоже есть жизнь и есть проекты которые впитают в себя десятки а то и сотни тб в горизонтальном масштабировании. Если вы из ИТ можем подискутировать

[dead_rat]

Prescott

Если вы из ИТ можем подискутировать

Я настільки з ІТ, що навіть занадто.

Якщо людям потрібні великі обсяги, то використовують чи S3/Hadoop чи великі бд. Що то, що то, абсолютно скейлиться без потреби в одному-єдиному величезному диску.

Якщо наведете мені кейс де 300 тб ссд і правда став у нагоді, я подякую, реально цікаво.

[Prescott]

Якщо наведете мені кейс де 300 тб ссд і правда став у нагоді, я подякую, реально цікаво.

У нас не 300 тб т.к есть ограничения по глубине хранения, но допустим её не будет и нам нужно будет хранить историю за годы то 100тб вполне могут накапать на каждую ноду.
PS
Кассандра/счётчики/история операций/десятки тысяч выборок и всё за мс в реалтайм для ответа клиенту.
PS2
Спроси мы какого-то спеца из Интел - получим пример где и 300 тб не предел будь продукт на рынке. Спрос рождает предложение.

[dead_rat]

Prescott
Касандрі не треба одне велике сховище, вся її фішка у скейлінгу великою кількістю нод(і продуктивність теж звідти, плюс адекватні індекси). Ми запилили повний трекінг всіх дій 17 мільйонів наших користувачів на Касандрі ще у 2017, тож я трохи розумію про що говорю.

Сама Касандра рекомендує обмежити ноди розміром у 5 Тб(можливо ці дані застаріли?), тож в вас має бути гарний привід чому ви робите 100 і як довго ви іх будете відновлювати якщо нода впаде?

Спроси мы какого-то спеца из Интел

Ну це вже дітячий садок. А чому не в Гугл чи Амазон послати?


В нас в компаніі під 1500 деплойментів(сервісів і джоб), трекінг і історія мабуть кілька петабайт.
Я відповідаю за департмент, 6 команд, був тех лідом дата платформи.

І чесно кажу - я не знаю для чого б мені став у нагоді один цільний ссд на 300 тб.

Якщо можете мене просвітити - буду вдячний.

[Prescott]

Касандрі не треба одне велике сховище

А я и не писал про одно.

Отправлено спустя 2 минуты 8 секунд:

плюс адекватні індекси

Нет у кассандры индексов как таковых. Мы танцуем от грамотного выбора первичных/кластерных ключей.

Отправлено спустя 1 минуту 9 секунд:

А чому не в Гугл чи Амазон послати?

Потому что вы сраниваете свой субъективный опыт. Раз мне не нужно- значит никому не нужно.

Отправлено спустя 3 минуты 51 секунду:

Ми запилили повний трекінг всіх дій 17 мільйонів наших користувачів на Касандрі ще у 2017, тож я трохи розумію про що говорю.

А мы построили антифрод систему ПриватБанка на ней.
И какие-никакие клиенты у нас тоже имеются.

[Denvys5]

Не то обсуждаете.
Этот продукт под сегмент "нам нужно хранить много данных, а места в ЦОДе у нас не много".
Cloud провайдерам под хранилище, отдельным конторам под нераспределённую бигдату (максимум данных в одну физическую ноду).
Обьёмно, соотношением физического размера диска к его ёмкости данных, думаю, цель это обогнать плёнку.

[dead_rat]

Prescott
І як, вже переживали креш нод у Касандрі? Скільки часу реплікуюттся ваші 100 Тб?

З цікавого, в якій ролі ви її будували: архітектор, тех лід, кодер в одній з команд?

[Prescott]

Скільки часу реплікуюттся ваші 100 Тб?

Пожалуйста, начните внимательно читать. Это уже не смешно.

"У нас не 300 тб т.к есть ограничения по глубине хранения, но допустим её не будет и нам нужно будет хранить историю за годы то 100тб вполне могут накапать на каждую ноду."

Здесь ни слова о том что у нас фактически 100 тб на ноде.

[dead_rat]

Скільки часу реплікуюттся ваші 100 Тб?

Пожалуйста, начните внимательно читать. Это уже не смешно.

Будь ласка, поясніть мені, де я не так читаю

нам нужно будет хранить историю за годы то 100тб вполне могут накапать на каждую ноду.

Ну от чорним по білому ви мені пишете «100 тб на кожну ноду», а потім я винен, що не так вас розумію. Чи це набереться в майбутньому, а зараз нічого там нема?

[Prescott]

З цікавого, в якій ролі ви її будували: архітектор, тех лід, кодер в одній з команд?

Это был соместный опыт опираясь на предыдущий. Мы её выбрали исходя из тех задач которые она решает.