NAS: выбор, обсуждение, настройка, эксплуатация

[LostBoy]

В общем, ВД продолжает факапить со своим чудо-маркетингом и рассказывать, что черное - это белое. Теперь "медленные" диски для НАС, оказывается, крутятся на 7200 об/мин.
https://www.reddit.com/r/DataHoarder/co ... _word_rpm/
По-моему, пора ребяток наказать денюжкой и прикупить что-то другое

[Scoffer]

LostBoy
Я давно впевнений, що маркетологам давно час вже зробити кримінальний втик за всі ці їхні "фізичні величини", котрі розходяться з реальною фізикою процесу.
Ну реально дістали вже.

Відправлено через 2 хвилини 14 секунди:
Посадити б пару-трійку топ-менеджерів, і штафчик лярдів на надцять впаяти. Одразу RPM стане revolution per minute, а нанометри нанометрами.

[zhekaice]

LostBoy
Я давно впевнений, що маркетологам давно час вже зробити кримінальний втик за всі ці їхні "фізичні величини", котрі розходяться з реальною фізикою процесу.
Ну реально дістали вже.

Відправлено через 2 хвилини 14 секунди:
Посадити б пару-трійку топ-менеджерів, і штафчик лярдів на надцять впаяти. Одразу RPM стане revolution per minute, а нанометри нанометрами.

не у цьому всесвіті..

[poulk]

Всем доброго времени суток
Нужен совет по сборке внешнего хранилища.
Изучаю возможность сборки НАСа для работы с видео и тп.
Нужно чтобы он был быстрый и достаточно емкий. "Быстрый" в смысле, что бы мог нормально утилизировать ресурсы 10ГБ езернета. Ну и собираться система будет на обычных хардах, ССД допускается в качестве кеша.
Основных вопроса сейчас два.
Способен ли софтрейд обеспечить или нужна плата аппаратного рейда?
Какую НАС ОС можно использовать ? Особенно это касается случая аппаратного рейда.

[LostBoy]

Способен ли софтрейд обеспечить или нужна плата аппаратного рейда?

Вполне способен. Вопрос в количестве дисков, которые вы собираетесь добавить в массив. Думаю, понятно, что из двух жёстких дисков вы не получите каких-то фантастических скоростей

Какую НАС ОС можно использовать ? Особенно это касается случая аппаратного рейда.

Если виртуализацию юзать не будете, то берите шо угодно, иопсы везде будут одинаковые. Я юбунту возьму, она с zfs хорошо дружит.

что бы мог нормально утилизировать ресурсы 10ГБ езернета.

Нужен быстрый и интеллектуальный кэш на nvme-накопителе.

[zhekaice]

Способен ли софтрейд обеспечить или нужна плата аппаратного рейда?

Так, але залізний контролер завжди кращий. Більш гнучкий у налаштуваннях. І SAS контролер вміє SATA диски.

Какую НАС ОС можно использовать ? Особенно это касается случая аппаратного рейда.

Ту, яка подобається. НА великому заводі юзали FreeNAS. багато чого вміє. Теж гнучка.

[LostBoy]

Так, але залізний контролер завжди кращий. Більш гнучкий у налаштуваннях. І SAS контролер вміє SATA диски.

Спорить с этим бессмысленно, хорошая железка будет работать лучше. Только о цене на нее забывать не нужно

НА великому заводі юзали FreeNAS. багато чого вміє. Теж гнучка.

Вот, кстати, и обратный пример вы же сами привели. Если вы юзали FreeNAS, то он использует ZFS, в котором категорически противопоказан аппаратный рейд, только HBA.

[Scoffer]

poulk
Достатньо ємкий це скільки?

[zhekaice]

Наскільки я зрозумів, це заявка наповноцінний сервер.
Тобто дивитеся в сторону якоїсь mITX плати з ксеоном?

[quot=LostBoy] Только о цене на нее забывать не нужно [/quote]
не так і дорого. Це сума не з трьома нулями. 500-600 грн за б.в. контролер на розборках серверів.

Ну і питання в швидкості (все ж таки Рейд) чи в цілісності даних ZFS.

[poulk]

LostBoy

Вполне способен. Вопрос в количестве дисков, которые вы собираетесь добавить в массив. Думаю, понятно, что из двух жёстких дисков вы не получите каких-то фантастических скоростей

Ну мой план вместить в систему 10+ дисков + пару ссд.
Не думаю что ИОПСы оч. сильно важны. Тут скорее тупая производительность линейного чтения/записи важна + быстрый отзыв.

Нужен быстрый и интеллектуальный кэш на nvme-накопителе.

вот тут если можно поподробней. что вы имеете ввиду. просто поставить быстрый (типа 970 про) драйв в качестве кеша или более хитрый механизм кеширования у НАС ОС?
zhekaice

Так, але залізний контролер завжди кращий. Більш гнучкий у налаштуваннях. І SAS контролер вміє SATA диски.

ну в общем это логично, что хард рейд лучше. но с плюсами приходят и минусы. капризность, совместимость. поддержка дровами (с последним столкнулся буквально пару дней назад. когда старый ЛСИ(адаптек) вешал винду свежую на мертво и загрузился только под лайв СД убунты и потом под старой сборкой винды тоже заработал).
цена тоже фактор немаловажный. но тут может слегка выручить рынок разборок серверов в общем для 10Гб/с вот прямо мега технологий не нужно и вполне должен справиться контролер 2-3 давности.

Ту, яка подобається. НА великому заводі юзали FreeNAS. багато чого вміє. Теж гнучка.

Большинство известных мне софтрейдов могут работать с аппаратными рейдами только в режиме НВА (как уже сказано выше).
Мне вообще нравиться идея поставить две карты рейда. Старый адаптек зааюзать как рейд 10 или даже рейд1 для более надежного бек-апа, а что-нибудь посвежее сделать для скорости.
Еще одна деталь. Не хочется сильно углубляться в *них подобные ОС, т.к. просто нет времени изучать и вникать все подробности. С готовыми НАС ОС это будет куда проще. Плюс простое удаленное управление.
Вариант Фринааса вообще в голову приходил. Но зфс тут уже раньше обсасывали и вот прям на 100% сказать что он тут нужен я не могу. Вроде как должно быть надежно. Но вот хотелки зфс по железу и невозможность нормально расширять хранилище немного пугают. Ну и вопрос скорости как бы остается, аппаратные рейд там не заюзаешь и все упрется в винты и железо, и предсказать скорость без тестов тяжело. И мне что то подсказывает, что для работы с видео ЗФС слегка оверкилл.
Анрейд ОС которую я юзаю, по сути то и рейда не имеет так куча дисков с избыточностью. Как по мне оч. удобный вариант для файлопомойки, но скорость там можно добиться только влупив огромный ССД кеш(где то больше 10ТБ). А это поднимет цену заоблачно.
Потому сейчас в голове крутиться два основных вопроса.
Хард контролер с 8-16 портами на PCi-E 3.0 8x с поддержкой ссд кеша. за более менее вменяемые деньги.
И второй вопрос. Рейд Ос с норм поддержкой хардовых рейдов. думаю что-нибудь на базе популярных дистрибутивов *них должно подойти (там поддержка железа широкая, нужно что бы ОС еще видела сетевуху 10Гб/с)

Scoffer

Достатньо ємкий це скільки?

думаю где-то 40-60 ТБ может получиться в итоге (это с учетом избыточности)

[Ray2000gt]

Нужно чтобы он был быстрый и достаточно емкий. "Быстрый" в смысле, что бы мог нормально утилизировать ресурсы 10ГБ езернета.

SSD-кеш и сетвая 10 Гб.

Способен ли софтрейд обеспечить или нужна плата аппаратного рейда?

Обеспечить что, последовательную скорость или iops’ы? Софтовый массив будет быстрее как по последовательной так и по iops. Конртоллер ведь не сможет использовать nvme SSD в качестве кеша, максимум - 12 Gb SAS 3, но цена на такие SSD может удивить. Ну и контроллер денег стоит.

але залізний контролер завжди кращий. Більш гнучкий у налаштуваннях.

В каком месте он гибкий?
Пробовали, например, добавлять диски в массивы на железных контроллерах, везде это возможно/легко сделать?
Диски разного объема?
Часть дисков в массиве, часть в jbod?
Задать график активности/покоя?
Управлять парковкой головок?
Настроить расширенную проверку состояния дисков с детальными отчетами?
Не утверждаю, что это все реально необходимо, просто к вопросу о гибкости.

Какую НАС ОС можно использовать ?

Как правильно сказали выше, ОС можно юзать любую. Посоветую обратить внимание на Unraid, проста в освоении и имеет широкие возможности. Большое комьюнити, куча гайдов, все разжевано.

не так і дорого. Це сума не з трьома нулями. 500-600 грн за б.в. контролер на розборках серверів.

Извините, но за такие деньги это будет де%*мо мамонта а не контроллер. Тут не то что о скорости можно не мечтать, контроллеры тех поколений не умеют работать с винтами овер 2 ТБ и в принципе не знают, что такое SSD, не говоря уже о кешировании. В придачу получите 512 DDR2 кэша, который не будет работать из-за дохлой батарейки (конденсаторов тогда не было).

[LostBoy]

не так і дорого. Це сума не з трьома нулями. 500-600 грн за б.в. контролер на розборках серверів.

За эти деньги вы получите контроллер, как минимум, 10летней давности с 256-512Мб DDR2 кэша. Если мы обсуждаем хороший железный контроллер, который умеет тиринг на ссд (человек примерно это и хочет получить), то ваши цифры нужно умножать даже не на 10, а дай бог, на 20. И это будет б/у, возможно, с севшей BBU, которую тоже надо будет поменять, потому что ни один аппаратный контроллер не даст юзать его кэш без батарейки.

вот тут если можно поподробней. что вы имеете ввиду. просто поставить быстрый (типа 970 про) драйв в качестве кеша или более хитрый механизм кеширования у НАС ОС?

Я имею в виду механизм l2arc у zfs. Обязательно нужна MLC-флэш, более простые накопители будут очень быстро сожжены интенсивной записью в буфер. Тут бы оптэйн впихнуть, конечно, но цена, увы, вряд ли располагает к этому.
Современные аппаратные контроллеры умеют тиринг. Это крутая и довольно эффективная штука по эшелонированию хранящихся данных. Чем чаще к какому-то блоку будет обращение, тем на более производительный накопитель контроллер его переместит. Грубо говоря, архивные (холодные) данные будут храниться на медленных шпинделях HDD, ночной бэкап, еще не успевший остыть, может лежать на обычных sata (nl-sas) ssd, а то, с чем вы работаете прямо сейчас будет храниться на самом быстром из имеющихся блочных устройств, как правило, это nvme-накопитель. Вся логика отдана на откуп контроллера, для вас это черный ящик, средств по управлению кэшем там нет.
Штука хорошая, интересная, но очень недешевая. Сомневаюсь, что кто-то дома такое будет городить.

Ну мой план вместить в систему 10+ дисков + пару ссд.

Уровень массива?
Вообще, такое кол-во шпинделей даже на неэффективных с т.зр. скорости массивах 5/6 уровня даст хорошие линейные скорости, однозначно перевалив за утилизацию гигабитного порта. Даст ли честные 10G? Без ссд вряд ли.

Из практики, на прошлой работе - 12 красных WD в массиве 5го уровня на допотопном (2006 год выпуска) контроллере Areca с 512Мб кэша показывали у меня линейно 500 на запись и 850 чтение. Но там были нюансы с 10г свичом, так что на истину в последней инстанции не претендую. Это бэкапный виндовый сервер, который каждуую ночь принимал на себя порядка 4Тб бэкапов и потом дедуплицировал средствами самой ос.

Отправлено спустя 24 минуты 12 секунд:
Ну и еще одна немаловажная вещь, о которой часто думают не в первую очередь. Вероятность отказа девайса. Да, рэйд-контроллер - это не видеокарта, которых помирает, наверное, 10% от выпущенных устройств, но это и не CPU, которые помирают единично. Карточка вполне может сбойнуть. И тогда дорога только одна - искать такой же контроллер, чтобы было возможно переимпортировать массив. Я уже упомянул о BBU - тоже будет головная боль, если батарейка умрет, где потом искать новую? Копаться на ебэе, купить хрен знает где и непонятно в каком состоянии, ждать, пока она приедет, а железо в это время будет без кэша? Вдогонку стоит упомянуть, что большинство домашнего самосбора лепится из жесткого б/у после нескольких лет работы в режиме 24х7, т.е. есть вероятность, что железка уже может быть побитая жизнью и жить ей осталось совсем недолго.
В то же время в случае с софтрэйдом все очень упрощается. Нет вендорлока, поэтому просто покупаешь в Розетке необходимую комплектуху и импортируешь массив. И вся любовь

Отправлено спустя 1 минуту 20 секунд:
И вообще, во как можно, оказывается - viewtopic.php?p=3044818#p3044818

[poulk]

Ray2000gt
ну если бы внимательно почитали мое последнее сообщение, то заметили что я юзаю UnRaid (уже лет 5 наверное), и его реализация хранилища мне оч. нравиться, но вот скорость от него получить будет не так просто (точнее дорого), нужно будет тупо навалить ССД кеша на 10ТВ (итоговых с учетом избыточности хотя бы минимальной)это где то как минимум 4х4ТБ ссд надо думаю (те 16Кгрн х4 только кеш).

SSD-кеш и сетвая 10 Гб.

ну это уже совсем КО кстати насчет 10Гб/с есть еще одни вопрос, но это уже после )

Обеспечить что, последовательную скорость или iops’ы? Софтовый массив будет быстрее как по последовательной так и по iops. Конртоллер ведь не сможет использовать nvme SSD в качестве кеша, максимум - 12 Gb SAS 3, но цена на такие SSD может удивить. Ну и контроллер денег стоит.

если можно примеры контролеров и ссдшек ? давно не шерстил тему (лет 7 ) и сейчас тяжело сходу врубиться. что-нибудь более менее вменяемое по соотношению цена-скорость-надежность.

Как правильно сказали выше, ОС можно юзать любую. Посоветую обратить внимание на Unraid, проста в освоении и имеет широкие возможности. Большое комьюнити, куча гайдов, все разжевано.

Ну про анрейд уже написал. Вторая "основная" НАС ОС. фринас/трунас, как по мне не оч. годиться, во первых ЗФС. во вторых скорости от него добиться будет не так просто. кеш там по сути записывает записи в журнал и прирост дает только в случае частого обращения к определенным файлам (поправьте меня если не прав, изучал вопрос пару лет назад). А так все упрется в скорость винтов - тормоза железа. плюс проблемы с расширением и добавлением новых дисков.
и после этого остается все пару специализированных ОСек и ломаный хреноложи Или смотреть в сторону полноценных ОС. Но тут это избыточно. Виртуалки не нужны. Докеры особо тоже. Мах что будет нужно это настроить ФТП для видимости во внешнем мире и настроить нормальный автобекап.
Но может я что-то незнаю или забыл. Из того что приходит в голову это freenas, unraid, omv, xpenology и еще пару приблуд попроще.
LostBoy

Я имею в виду механизм l2arc у zfs. Обязательно нужна MLC-флэш, более простые накопители будут очень быстро сожжены интенсивной записью в буфер. Тут бы оптэйн впихнуть, конечно, но цена, увы, вряд ли располагает к этому.

не уверен что кеширование л2арк будет эффективно при работе с видео (это редактирование, накладывание эффектов и тп), т.к. он больше ориентирован на ускорение обращение к повторяющимся файлам. А не на устранение bootleneck из-скорости. Те что-бы ссд кеш принимал на себя основной удар при записи и потом уже сливал инфу на харды, но при чтении это особо не поможет. При чтении только может сработать распараллеливание инфы по дискам и многопоточное чтение. Есть подозрение, что с подобным справиться лучше аппаратные контролер.

Современные аппаратные контроллеры умеют тиринг. Это крутая и довольно эффективная штука по эшелонированию хранящихся данных. Чем чаще к какому-то блоку будет обращение, тем на более производительный накопитель контроллер его переместит. Грубо говоря, архивные (холодные) данные будут храниться на медленных шпинделях HDD, ночной бэкап, еще не успевший остыть, может лежать на обычных sata (nl-sas) ssd, а то, с чем вы работаете прямо сейчас будет храниться на самом быстром из имеющихся блочных устройств, как правило, это nvme-накопитель. Вся логика отдана на откуп контроллера, для вас это черный ящик, средств по управлению кэшем там нет.

какой из контролеров может работать с nvme ? в общем в примитивной реализации подобный механизм кеширования реализован в unraid. там вся инфа заливается просто на ссд кеш и храниться определенное время там, а потом сливается на харды (плюс есть различные настройки как, когда и что сливать).

Штука хорошая, интересная, но очень недешевая. Сомневаюсь, что кто-то дома такое будет городить.

может есть какие то примеры реализации?

Уровень массива?
Вообще, такое кол-во шпинделей даже на неэффективных с т.зр. скорости массивах 5/6 уровня даст хорошие линейные скорости, однозначно перевалив за утилизацию гигабитного порта. Даст ли честные 10G? Без ссд вряд ли.
Из практики, на прошлой работе - 12 красных WD в массиве 5го уровня на допотопном (2006 год выпуска) контроллере Areca с 512Мб кэша показывали у меня линейно 500 на запись и 850 чтение.

Пока с уровнем массива неясно. Как вариант думаю оставить старый рейд контролер и сделать на нем или рейд 1 или рейд 10 (сейчас так)+ новый контролер с ссд кешированием. что там будет не знаю. думаю рейд 6.
что до скорости то на старом LSI 9260-8i 7 летней давности рейд 0 на 8 7200 дисках HGST выдавал больше 1GB/s рейд 10 около 800

спойлер

рейд 0


рейд 10


рейд 5

Ну и еще одна немаловажная вещь, о которой часто думают не в первую очередь. Вероятность отказа девайса. Да, рэйд-контроллер - это не видеокарта, которых помирает, наверное, 10% от выпущенных устройств, но это и не CPU, которые помирают единично. Карточка вполне может сбойнуть. И тогда дорога только одна - искать такой же контроллер, чтобы было возможно переимпортировать массив. Я уже упомянул о BBU - тоже будет головная боль, если батарейка умрет, где потом искать новую? Копаться на ебэе, купить хрен знает где и непонятно в каком состоянии, ждать, пока она приедет, а железо в это время будет без кэша? Вдогонку стоит упомянуть, что большинство домашнего самосбора лепится из жесткого б/у после нескольких лет работы в режиме 24х7, т.е. есть вероятность, что железка уже может быть побитая жизнью и жить ей осталось совсем недолго.
В то же время в случае с софтрэйдом все очень упрощается. Нет вендорлока, поэтому просто покупаешь в Розетке необходимую комплектуху и импортируешь массив. И вся любовь

это тоже как бы важный момент. но собирать из супержесткого б\у это все точно никто не будет (тут такой ценник, что это банально глупо). и заказать пару вещей про запас на ибей вполне можно. из критичного там будет только рейд контролеры и батарейки. хотя идея чистого софтрейда имхо тоже вполне может иметь право на жизнь. просто надо будет компенсировать мощностью цпу и скоростью памяти аппаратные возможности хард рейда.

[Scoffer]

poulk
Тобі треба штук 8 дисків 7200 CMR в 10му софтварному рейді без ніяких кешів. Файлосистему без COW будь-яку на свій смак.
Наприклад диски ST8000NM002A видадуть максимум 249MB/s усталеної швидкості, що в 10му рейді на 8 дисках в теорії буде 1992MB/s на читання і 996MB/s на запис. Щоб прям точно утилізувати 10G на лінійних операціях можна докинути дисків до 12 штук.
PS: raid 6 на тих же 8 дисках на запис дасть не більше 332MB/s

[poulk]

Scoffer
хех користуватися калькулятором я як би то сказати вмію
але калькулятор калькулятром, а реальний резалт це реальний резалт, коли витратиш на це декільки штук баксів, на авось надіятись не дуже хочеться

[Scoffer]

poulk
А у тебе небагато варіантів. ССД кеш допоможе лише при умові що операція запису влізе в ССД в цілому і встигне скинутись на диск до наступної операції.
Ти сам краще знаєш з файлами якого об'єму працюєш і можеш прикинути чи влізе і скільки потім буде на умовний шостий рейд зливатись. Благо швидкості і ссд, і рейдів відомі.

[poulk]

Scoffer
А тут просто питання не в математичному максимумі (теоритична швидкість) де 1+1+1+1=4. Швидкість росте нелінійно. Відповідно 4 діска не дадуть 1ГБ/с в реальності.
ну власне основні питання що лишились я вже вище писав, на які я поки, що не найшов відповіді.

[Scoffer]

poulk
Ну так бери з запасом, як всі роблять. Це все негарантовані швидкості. Особливо на винті в котрого одне і те саме файло з зовнішніх і внутрішніх секторів диску буде читатись з сильно різними швидкостями, рази так в два. Гарантовано без просадок це он оптали шпарять на максималках хоч скільки в нього не заливай.
Я не дуже розумію що саме тебе не влаштовує в розрахунках. Є спеки винта. Є швидкості рейдів на них. Точніше це тільки зібрати конкретно твою конфігурацію і заміряти.

Відправлено через 2 хвилини 58 секунди:
Конкретно для лінійних операцій з значного розміру даними кеші вважаю недоцільними і навіть шкідливими. Винти прекрасно працюють з лінійними швидкостями, це ідеальний режим роботи для них. От якби у тебе була забаганка компілювати програмулини, то тоді так, кеш не завадив би.

Відправлено через 18 хвилини 49 секунди:
Плюс ребілд 6го рейду на 40-60 тер це жесть, це тижня на два забава, під час котрої з того сервака пилинки ніжно здувати треба щоб не перервалась.
Коротше моя рекомендація - набрати достатню кількість винтів щоб зібрати з них самий звичайний рейд 10 без будь-яких наворотів і тірінгів. Також голосую за софтварний рейд як найменш головняковий на десктопному залізі.

[_clawfinger_]

Плюс ребілд 6го рейду на 40-60 тер це жесть, це тижня на два забава, під час котрої з того сервака пилинки ніжно здувати треба щоб не перервалась.

А якщо тьфу-тьфу світло вирубиться...

Если мы обсуждаем хороший железный контроллер, который умеет тиринг на ссд

Що за тиринг?
Пошук в гуглі видає тиринг на моніторах, коли розрив кадрів йде.

[Scoffer]

_clawfinger_
Тірінг це грубо кажучи кеш. Тільки кеш зазвичай дублює дані на більш швидкий носій, а тірінг переміщує.