NAS: выбор, обсуждение, настройка, эксплуатация

[LostBoy]

afhpwnd
Клац
Или у вас какие-то специфические требования, которые рядовой поиск в Гугле не покрывает?

[ixdll]

Пробовал хпнолоджи, но нифига не вышло даже загрузочную флешку создать.

Лол. Там всё просто. Напиши в личку конфиг - я помогу.

[TomMass]

LostBoy
Возможно скоро заберу свои слова относительно ZFS обратно.

Стало интересно, начал ковыряться с ней на виртуалках.

Пока из плюсов:
- COW (само собой)
- поддержка ECC REG DDR
- ARL
- L2ARL (вообще должна быть отличной вещью. понял для чего вам Warpdrive )
- снапшоты ( но здесь нужно еще тестить)

Из минусов:
- ZOL (zfs on linux), тк во freeBSD все еще не допилили докер. а порт мне не интересен
- нужно еще много потестить

Планирую zraid1 ( 3х3Tb для персональных данных) и zpool для медиа контента.

Самое интересное для меня это хорошо ли работает L2ARC с большими файлами? к примеру 100 гб файл с 4к фильмом, который будет стримиться плексом, будет ли он попадать в кеш ссд диска и читаться от-туда? тк есть "упреждающая выборка на основе VDEV", в теории, файловая (особенно при линейном чтении) должна будет считывать не только текущие блоки, но и "зарание" последующие. И вот если эти последующие будут попадать в кеш и отдаваться с него - это будет просто отлично

На сколько надежен zraid1 ?

Отправлено спустя 22 минуты 19 секунд:
оффтоп, но все же спрошу

К примеру у меня заняты все порты сата. 6 портов. И я хочу добавить еще один ssd в pci-e слот. Такое действие занимает сата слот или нет? Будет работать? или не определиться?

[Scoffer]

Пока из плюсов:
- COW (само собой)
- поддержка ECC REG DDR
- ARL
- L2ARL (вообще должна быть отличной вещью. понял для чего вам Warpdrive )
- снапшоты ( но здесь нужно еще тестить)

1. CoW не плюс і не мінус, це особливість, котру треба враховувати, і сто раз думати чи треба воно в твоєму завданні. Наприклад лінукс ядро політичною волею не використовує CoW для власних потреб на жодній з файлосистем, хоча технічно все давно реалізовано. Плюс CoW багато хто вміє, та хоча б та ж XFS.
2. Взагалі до FS жодним боком, просто в режимі CoW файлосистеми стують дуже чутливими до помилок оперативи і відповідно сервак має бути з ECC.
3. ARC/L2ARC - костилі, без котрих ZFS просто безбожно тупить
4. Єдиний реальний плюс CoW FS заради котрого можна для деякого вузького класу завдань нагородити таку файлосистему.
А тепер реальний і головиний мінус: ZFS мертва де-факто. Оракл планомірно знищує солярку, через декілька років завершиться її підтримка і ZFS офіційно помре разом з нею. В openZFS не вклалась жодна з великих корпорацій, так що на неї надії немає.

XFS поверх LVM відмінно справляється з завданнями продуктивної файлосистеми на всі 146%. Стабільна, надійна, одна з небагатьох файлосистем, котра підтримується практично з усім корпсофтом і бдшечками. Ред хат ставить її як штатну фс, а вони щось таки шарять в лінуксах.

[TomMass]

Scoffer
1,2 Есть желание перейти на ecc reg пямять

3. Ну вот очень жаль, что таких костылей нет в других ос. Мне очень нравиться, что я могу держать горячий кэш в ссд, который в одном пуле. Потому как частенько, из-за утилизации дисков во время операций записи, у меня страдают операции чтения.

20я убунта внезапно добавила zfs рут из коробки https://www.phoronix.com/scan.php?page= ... e-Exciting

XFS хороша для миллиона мелких файлов. Здесь другие требования. И ред хед ее ставит потому что 80% их ос ставят на хостинги или веб серверы, серверы баз данных. Где нужно работать с мелочью

LVM как вариант тоже приемлем. Но снова таки, если бы ее ссд буст для винтов.

На счет оракла тоже согласен. Но скажу чтоб покурив инфу, понял, что фри сообщество ZOL сделало много шагов вперед. Пока гоняю в тестах

И кстати основные вопросы актуальны:

Самое интересное для меня это хорошо ли работает L2ARC с большими файлами? к примеру 100 гб файл с 4к фильмом, который будет стримиться плексом, будет ли он попадать в кеш ссд диска и читаться от-туда? тк есть "упреждающая выборка на основе VDEV", в теории, файловая (особенно при линейном чтении) должна будет считывать не только текущие блоки, но и "зарание" последующие. И вот если эти последующие будут попадать в кеш и отдаваться с него - это будет просто отлично

На сколько надежен zraid1 ?

Отправлено спустя 22 минуты 19 секунд:
оффтоп, но все же спрошу

К примеру у меня заняты все порты сата. 6 портов. И я хочу добавить еще один ssd в pci-e слот. Такое действие занимает сата слот или нет? Будет работать? или не определиться?

[LostBoy]

TomMass

Возможно скоро заберу свои слова относительно ZFS обратно.

Ну дык

По плюсам - ECC RAM это не плюс, а насущная необходимость, снэпшоты лично мне в домашнем применении без особой надобности.
А вот ARC/L2ARC решают, конечно - достаточно жирный по RAM/SSD сервер позволит минимизировать обращение к жужжалкам. Если будешь работать с хорошо разогретым кэшем, то иопсы будут показывать фантастические цифры и ты однозначно упрешься в утилизацию гигабитного аплинка. Собственно, дома планирую сделать бонд из двух гигабитных сетевых карт, но и он не позволит полностью раскрыть все возможности пула ZFS - так что это, скорее, просто балансировка по хэшу IP. Да и потребители тоже сейчас все гигабитные, 10G как-то не очень торопится в клиентские устройства. В принципе, гигабита для дома еще долго будет достаточно, самое тяжелое, что сейчас есть в домашнем общепринятом обиходе - 4K HDR Remux с DTS-HD дорожкой пусть даже и объемом в 100ГБ потребует всего-навсего 60-70Мбит/сек.

По поводу

к примеру 100 гб файл с 4к фильмом, который будет стримиться плексом, будет ли он попадать в кеш ссд диска и читаться от-туда?

Тут все просто - если данные есть в кэше, то будет выполнено чтение из кэша, ваш кэп Если твой ARC/L2ARC будет достаточно внушительного объема, то только-только скачанный торрентом ремукс, конечно же, будет лежать подогретым в кэше. Я ничего не скажу насчет упреждающего кэширования и не уверен, что ZFS это умеет, если можно - дай линк, интересно почитать. Нужно также понимать, что для стрима медиаконтента, особенно последовательного чтения, нет необходимости использовать дорогой во всех смыслах кэш - жесткий диск это, конечно, анахронизм, но пропускной способности интерфейса SATA3 хватит для чтения 100ГБ со скоростью 8-9МБ/сек.

К примеру у меня заняты все порты сата. 6 портов. И я хочу добавить еще один ssd в pci-e слот. Такое действие занимает сата слот или нет? Будет работать? или не определиться?

Ну, SSD в PCIe слоте, по идее, включается не чипсетным хабом, а непосредственно линиями pcie к CPU, так что все ограничено только количеством слотов и доступными линиями. Если неправ, то прошу поправить.

Scoffer
Ты просто ретроград и не хочешь принимать новую реальность

Отправлено спустя 3 минуты 21 секунду:
upd.

На сколько надежен zraid1?

Все собранные zpool надежны ровно настолько же, насколько и SDS, собранные тем же mdadm, например, во всяком случае, я ничего не читал о сбоях, связанных с развалом пулов по сбою в работе логики ФС.

Отправлено спустя 19 минут 25 секунд:
upd2.

снэпшоты лично мне в домашнем применении без особой надобности

Хотя тут я погорячился, шифровальщики-вымогатели вроде никто еще не отменял Петя? Пошел в .опу, Петя

[Scoffer]

LostBoy
Нічого подібного. По-перше вона не нова, zfs овер 15 років. По-друге я сам за неї раніше топив, але одумався
Заліз глибше в кривавий ентерпрайз і зрозумів, що недоліків більше за переваги.

[LostBoy]

Scoffer
Если серьезно, то я не знаю, какое будущее у ZFS. Я только знаю, что это лучшее, что сейчас есть. Может, BTRFS стрельнет. Но твой скепсис мне вообще неясен, на самом деле. Какие еще XFS и NTFS? Это все пережиток прошлого, камон. Да, я не спорю, что сейчас на этих ФС развернуто подавляющее количество систем, но они постепенно будут вытесняться - уж слишком много плюсов дают новые реализации. Они просто гибче и актуальнее в контексте сегодняшних задач, они в итоге и победят, так было всегда, это всего лишь эволюция и ее не остановить.

[TomMass]

LostBoy
Чуть занят, потому отвечу поздже. А вот линк про опережение чтения
http://onreader.mdl.ru/AdvancedZFS/content/Ch08.html#04

[Scoffer]

LostBoy
Давай про плюси. Припустимо комусь треба CoW і снапшотики. На XFS їх є. Що ще?
Вбудований волюм менеджер? А на біса він здався, якщо LVM з тими ж самими можливостями включно з кешами, котрий прекрасно працює під будь-якою файлосистемою.
Від дедупа і стиснення більше проблем ніж користі, винти нині не дорогі. Плюс та ж XFS вміє в дедуп і релінки якщо комусь сильно треба.

Відправлено через 2 хвилини 22 секунди:
ZFS була передовою файлосистемою на момент випуску, не сперечаюсь, але станом на зараз більшість її кіллер-фіч переїхала в інші фс.

[Васильович]

На сколько надежен zraid1 ?

В 2015 році на свій страх і ризик підняв Proxmox на двох SSD Crucial в zraid1.
Крутяться чотири віртуалки:
1) Windows 2012 Server + 1C 8.3 + PostgreSQL
2) Debian + Samba
3) Debian + Backup server
4) Windows 2012 Server + 1C 8.3 for tests
Перші дві машини саме на SSD (для двох других підключив вінчестер WD Red).
Я вже давно там не працюю, а сервер живіший всіх живих (юзерів 20+).
Оперативка там звичайна, не ЕСС.
Але проблем ніколи не винкало з ZFS.
Колись для експерименту (до введення в прокдакшн) пробував на ходу відключати один SSD - система успішно працювала з одним накопичувачем далі.
А вже в процесі експлуатації траплялися нештатні вимкнення, апдейти і апгрейди хост і гостьових систем, стрес-тести перепроведенням документів в 1С , пришестя Not-A-Petya і багато інших життєвих ситуацій, з якими сервер успішно справився.
Так що, мій особистий досвід показує, що zraid1 достатньо надійне рішення.

[Scoffer]

LostBoy
А скепсис мій оснований на тому, що Лінус особисто сказав, що не буде тестувати зміни в ядрі на предмет сумісності зі сторонніми модулями, оракл тим часом прибив соляріс, а ZOL живе і працює за ідею, а не за гроші, а значить про стабільність можна забути.

Відправлено через 8 хвилини 17 секунди:
От наприклад Reiser були найкрутішими фс свого часу під лінукс. І де вони зараз? А проблема з ними ж не в технічній площині.

[LostBoy]

Scoffer
Давай так, я последний раз напишу свои аргументы в плюс ZFS именно в контексте домашнего применения. Я собираю NAS для дома, я и пишу о таком кейсе:
1. CoW - железобетонная целостность данных. Выключение света (а дома это очень вероятно) ничего не испортит, останутся прошлые версии. В XFS его поддержка только реализуется. Да, питание должно резервироваться UPS, а демон apcupsd, конечно, должен размонтировать ФС и корректно выключить сервер, но это все в идеале. Не факт, что при записи в открытый файл дескриптор успеет корректно закрыться при отправке SIGTERM.
2. Контрольная сумма и автоматическое восстановление. Железобетонное усиление железобетона выше - ты никогда не получишь файл с нулями внутри.
3. Сжатие. XFS не умеет вообще, метаданные пишутся отдельно от данных.
4. Менеджер томов. Отпадает необходимость в LVM, все в одной упаковке. Не критическое преимущество, исключительно вопрос удобства. А мне нравится, когда удобно.
5. Дедупликация. Да, дома данные в основном уникальные, да и дедуплицировать ремуксы фильмов, фотки из Турции и коллекцию альбомов RHCP - такое себе занятие, и ОЗУ это требует огромное количество. Мне, наверное, без надобности, кому-то, возможно, понадобится. Естественно, все на лету выполняется.
6. Снэпшоты на лету, мгновенно. Соответственно, версионирование и откат к любой версии файла, хоть на 2 месяца назад - был бы снэпшот. XFS, как дела с этим?

Минус в домашнем применении для меня один, он уже упомянут и он существенный - лицензия и включение в ядро. Забудут при компиляции про модуль - и все, привет-пока. Это нужно понимать и нужно наиболее ценное бэкапить куда-то еще в облако. Собственно, это необходимо делать независимо от ФС, ведь от пожара, потопа или грабежа никто не защищен.

Я специально опускаю прочие несущественные для меня достоинства и недостатки как ZFS, так и ее конкурентов. XFS, например, быстрее, на больших файлах, ext4 нет равных в однопоточных операциях, ZFS 128-битная и также требует много ОЗУ для своей работы. Для домашнего применения это все несущественно (пожалуй, за исключением ОЗУ, ибо за это нужно платить из своего кармана).

Scoffer и на этом я хочу закончить обсасывать тему ФС именно в контексте противостояния. Я свой выбор сделал, меня он устраивает. Кому-то нравится что-то другое - пожалуйста, нет вопросов. Лично для меня все очевидно.

[TomMass]

Scoffer
Так и LVM опенсорсный и за идею, если что

как по-мне отличная фича поддержка кеша на уровне фс. zpool add tank cache ada3. Все. В пуле работает L2ARC на ссд диске. Файловая это понимает и работает по своим механизмам

lvm cache же пока что, по все манам, какая-то черная дыра. не знаю как он работает и цифры так себе
и сколько работы нужно провести, чтобы заиметь такой костыль. пару ссылок
https://ahelpme.com/linux/lvm/ssd-cache ... using-lvm/
http://wtmp.ru/2016/09/28/%D0%B1%D0%B5% ... lvm-cache/

Так, что фича L2ARC - просто сказка (пока в теории, хочу провести нагрузочные fio тесты)

Вспомнил еще один плюс. Пока не подтвержден мною
zpool содержит метадату о себе самом на дисках в пуле. То есть, в теории, можно взять диски из пула, примаунтить или прикрутить к другой оси с поддерхкой zfs и просто сделать импорт пула
https://docs.oracle.com/cd/E19253-01/82 ... index.html

[Scoffer]

TomMass
Далеко не весь опенсорс за ідею
Ядро і значна частина його обв'язки цілком собі за гроші корпоратів пишеться. Напряму чи через посередників типу ред хата.

lvm cache - обгортка над dm-cache. А що там складного? на ссд клепаєш розділи під дату і метадату і монтуєш їх як кеш. Ну так, доведеться зробити два розділи, а zfs саме. Ну така собі перевага.

А щодо fio теста, то це ти правильно. Обов'язково зроби. Особливо рекомендую зацінити видалення файлів. Копіюєш якийсь проект з гітхаба типу хрома, і потім натискаєш кнопку дел Можна в цей час іо монітор подивитись. Якщо він достучиться до диску

[TomMass]

Scoffer
Вчера через dd игрался. Записал около 27 тыс файлов по 1 мб. Делал снэпшоты, баловался. Удалил через find / exec (естественно). Нормально. Не скажу, что дольше чем на других фс. Но конечно субъективно.

Все времени не хватает заняться

Отправлено спустя 4 минуты 40 секунд:

lvm cache - обгортка над dm-cache.

Сложного ничего. Но это энергозатратно. Выглядит костылем. С неясным механизмом. Который может только навредить

[Scoffer]

TomMass
Скажімо так, zfs може бути дуже швидкою, якщо у тебе об'єм оперативи під кеш від 10% дискового простору, і дуже повільною якщо менше 1%. Особливо якщо ти наклацав дедуп і стиснення. Для домашнього НАСу оптимальна конфігурація заліза, мені здається, досить накладно в грошовому еквіваленті виходить.

Відправлено через 2 хвилини 26 секунди:
Та і не для домашнього теж. Мало хто з корпоратів готовий ввалювати такі бабки на пам'ять. Це дорого навіть за їхніми мірками.

[TomMass]

Scoffer
Да ладно вам, сколько сейчас стоит ddr3 ecc reg на б/у рынке?
Их полно
Для дома можно набрать

[TomMass]

Парни, снова пару вопросов хочу вынести на обсуждение

Ко мне скоро должны приехать 3 винта по 3тб. Точно буду менять свой Thermaltake Core V21, тк мало места для винтов. И тк сервер стоит в гардеробной и вид совсем не важен, то:

1. Посоветуйте корпус mid tower для большого количества винтов (8-10 шт), с обязательной фронтальной продувкой. Без отсеков 5,25. Для micro-atх ьатринку. Желательно что-то старое и недорогое. В новую квартиру перееду в Fractal Design Node 804, но пока что подешевле хочу, тк еще нужно прикупить ddr.

Как пример: какой-то Lian Li. Думаю, вы поняли запрос

2. Следующий вопрос софтверного характера. Вопрос по передачи транскодирования Plex на видеокарту. Тк на борту xeon без видеоядра, то думаю купить какую-то затычку. Наткнувшись на видос пришла мысль, что неплохо бы разгрузить проц. Потому модет сразу . какую-то quadro печь сразу взять. Для дев энвайрмента юзаю vmware виртуалку, а там нет возможности прокинуть (эмклировать) видеокарту как /dev устройство. Тк плекс у меня крутиться в докере возникает несколько вопросов:
- будет ли профит от добавления видеокарты как hw перекодировщик?
- работает ли нормально nvidia quadro работать в centos без x (без графического интерфейса) ?
- можно ли нормально прокинуть /dev устройство в докер по типу:

• devices:
  - /dev/dri:/dev/dri

топик на редите

Отправлено спустя 47 минут 45 секунд:
Вроде как у людей получилось

https://forums.plex.tv/t/how-to-setup-n ... r/288625/8

[Sachu]

Вот с соседнего форума:

спойлер

https://local.com.ua/forum/topic/112254 ... %BF%D0%BA/

Может подойдет...