NAS: выбор, обсуждение, настройка, эксплуатация

[Scoffer]

TomMass
Знову ти за своє

[LostBoy]

TomMass
Я на ZFS, как и обещал. Что именно интересует? Сразу скажу, что плотно еще не тестировал, занят пока сервисами, но могу провести тесты, если шо.

Просто мне кажется, что сас-контроллер на моей матери - тот еще тормоз (все 8 винтиков подключены к нему мини-сас - сата шлейфами). Уж очень высоки задержки по обращению к шпинделям но это под хорошей нагрузкой торрентами, справедливости ради. Вот статистика времени иопсов за сутки:

спойлер

Провал в середине - это ночь, с 22:00 до 10:00 - в это время раздача не работает.
500-600мс. - это до хрена, кмк. Также высокий IOWait на процессорных ядрах. Буду с этим разбираться. Позже.

Отправлено спустя 3 минуты 17 секунд:
Также в сервере есть еще 2 посадочных места под хдд и есть 4 красных вдшки от старого НАСа - можно попробовать подключить их к чипсетному хабу и проверить перфоманс на нем. В общем, надо будет заняться этим, потому что с одной стороны - на практике железки на все хватает с головой, но с другой - я ожидал уберкилл перфоманса и уж точно не ожиданий IO по пол-секунды.

[Scoffer]

А я неоднократно попереджав, що CoW FS - люті тормоза і точно не про перфоманс. Навіть з кешами.
NTFS наше все

Відправлено через 3 хвилини 50 секунди:
до речі треба подивитись продуктивність ntfs в ніксах, аж цікаво стало

[LostBoy]

А я неоднократно попереджав, що CoW FS - люті тормоза і точно не про перфоманс. Навіть з кешами.

Это не связано с фс. Я и на xfs получал похожий порядок цифр. Тут дело, похоже, в распаянном на матери сас-контроллере.
А кэши творят чудеса, конеш. Превьюшки в папке с летнего отпуска в Анталье (4.5ГБ, 1100 файлов) строятся за 15 сек. примерно. Естественно, если файлы в ARC

NTFS наше все

Ну эт для эстетов

[TomMass]

Scoffer
та я все верю в дух Соляры))

LostBoy

22:00 до 10:00 - в это время раздача не работает

Так наоборот же логичнее же ее ночью и оставлять, пока спят все. У меня в день 100 мб ограничение, ночью 1000 на раздачи

L2ARC пробовали? статистику отдает (и ARC и L2ARC интересует)?

Самое интересно провал иопсов при обращении к массиву, когда в нем идет перемещение большого (80-100 гб) файла в другую директорию.

Как пример:
торрент льется во временную директорию (чтобы сервисы не подхватывали и не сканили недокаченный файл), после завершения - перемещается в постоянную диру. В этот момент когда на плексе 4к воспроизводилось-у меня система загибалась. Не знаю диски ли, или проц с малым объемом оперативы.
Вот итресно, есть ли эта проблема в систетме с нормальным количеством ОЗУ

[LostBoy]

Так наоборот же логичнее же ее ночью и оставлять, пока спят все. У меня в день 100 мб ограничение, ночью 1000 на раздачи

Сервак стоит в той же комнате, в которой мы спим и мне не очень нравится хруст дисков ночью

L2ARC пробовали? статистику отдает (и ARC и L2ARC интересует)?

И то, и то стоит. Кэш второго уровня вообще безпонтовый получается, так что-то около 5% хитов у меня, но я читал о нем еще до билда и просто хотелось попробовать. ARC же - это ядрена бимба и очень скоро начинаешь замечать при операциях с мелкоблочкой, когда чтение идет из озу, а когда - с хдд. Это сложно не заметить

Вот итресно, есть ли эта проблема в систетме с нормальным количеством ОЗУ

На моей системе нет автоматического перемещения после завершения закачки, потому что, как правило, после завершения загрузки я руками перемиксовываю матрешку в нужную директорию с помощью mkvtoolnix. Никаких визуально заметных тормозов при совместном доступе к дисковому массиву не возникало абсолютно точно, в т.ч. и при воспроизведении 4K-контента. По статистике, естественно, просадку времени иопсов я наблюдаю, но на практике это никак на комфорте не сказывается.
Более того, мы провели эдакий семейный тест - я миксовал ~100ГБ матрешку, жена с малым смотрели каких-то марвеловских супергероев, а моя мама в оккупации листала наши семейные фото в фотошоу и всем было комфортно. Параллельно в фоне работал трансмишн с раздачей, собирались логи в ES, скрэйпились метрики и т.д.

Нужно провести нагрузочное тестирование и говорить языком цифр. Но пока могу только делиться субъективными ощущениями.

[TomMass]

Вспомнил я еще одну причину почему нет

You can't expand an existing raidz vdev, you have to blow it away and create it again with the new drive(s)

Здравсте, пожалуйста, спасибо, досвиданья

[BigTypoon]

Думал всё собрать НАС на Хренолоджи.
Но эти проблемы с переборкой массива при расширении, приколы raidz, zfs.
Мне это все не нравится.
Использую Винду, NTFS, Plex server.
Поставил новый винт на 8/12Тб в систему и все ок.
UPS и прогон чекдиском раз в месяц, решает любые проблемы, если они вообще есть.
Для остального: Бекап сервер на убунте, в докере крутитcя Nextcloud, Syncthing, и прочие малозначительные вещи.

SMB это зло. Прям возвращаюсь в 2000, когда мы протянули первый UTP кабель между домами, длина линка не более 100м, и строили домашнюю сетку на тупых свитчах, которые выгорали от грозы и висели от высокой нагрузки.
До еры DC++ и eDonkey оставалось ещё года 2.
Не знаю, зачем ее вообще использовать при наличии Kodi и Plex.

[LostBoy]

Scoffer ты не одинок в этом неприветливом мире, у тебя появился однодумец с виндовыми серверами

[Scoffer]

LostBoy
І правильно робе. Вдома куди частіше виникають ситуації докинути пару дисків рандомного розміру, або навпаки, вичленити диск з масива. NTFS все це дозволяє, якщо не стандартними засобами, так сторонніми майже будь-яка забаганка.
Можна розмір кластеру NTFS по живому конвертнути. Як тобі таке Ілон Маск?))

Відправлено через 26 хвилини 21 секунди:
А сторадж спейси взагалі класна штука. Є все що треба: дворівневий тірінг, рейди всіх сортів на кожному тірі, врайт-бек кеш якщо одного тірінга мало, хотспейр диски. Що ще для щастя треба?

Відправлено через 9 хвилини 15 секунди:

та я все верю в дух Соляры))

Солярка скопитилась в 2010. Закопайте труп стюардеси

[Scoffer]

LostBoy
Ти LTO стрімер для бекапів собі вже обрав?

[LostBoy]

Scoffer
Нет никаких сомнений, что и нтфс, и сторэджспэйс - это очень удобные и классные вещи, у которых есть только один недостаток - винда

Ти LTO стрімер для бекапів собі вже обрав?

Об чем речь? Не планировал такого вроде, сторэджбоксом в хецнере за пару евро планировал обойтись.

[Scoffer]

LostBoy
У тебе віндофобія

Об чем речь?

Краще стрічки заниканої в бронесейфі ще нічого не вигадали

[LostBoy]

LostBoy
У тебе віндофобія

Я с ней столько работал, что у меня, скорее, виндофакия ))

Краще стрічки заниканої в бронесейфі ще нічого не вигадали

Это ту мач )) схем андронного коллайдера и кошельков с биткойнами не храню, так что scp в публичное облако мне хватит.

[Васильович]

Вдома куди частіше виникають ситуації докинути пару дисків рандомного розміру, або навпаки, вичленити диск з масива.

Використовую UnionFS з такою метою.
P.S. Знаю, що "ненадійно". Але для торрентів більше і не треба.

Відправлено через 1 хвилину 43 секунди:

Ну эт для эстетов

Як ви гарно слово "збочинці" завуалювали

[TomMass]

Використовую UnionFS з такою метою.

спойлер

Ну эт для эстетов

Як ви гарно слово "збочинці" завуалювали

это да) это в точку)

[Васильович]

TomMass
Ну, чотири різнокаліберних вінти "склеїв" в один великий розділ в OMV - дуже зручно всяке "кінцо" одним мережевим ресурсом розшарювати

[LostBoy]

Если ничего ценного хранить не предполагается, то почему бы и не страйп? Другой вопрос, что по моему опыту сначала ничего ценного не хранят, а потом начинают хранить и отказоустойчивость стпновится э маст

[Scoffer]

Ну эт для эстетов

Як ви гарно слово "збочинці" завуалювали

это да) это в точку)

To hell and back and back to hell and back
ви просто ще на перших двох словах напрямку, а я вже на останніх

Відправлено через 3 хвилини 40 секунди:
Я сам топив за соляру з зфс. Років 7-8 тому. А потім на свою голову запхнув в один прод і ледве здихався відносно недавно. Методом зміни робочого місця.

[Васильович]

Если ничего ценного хранить не предполагается, то почему бы и не страйп? Другой вопрос, что по моему опыту сначала ничего ценного не хранят, а потом начинают хранить и отказоустойчивость стпновится э маст

Ну, справедливості заради, UnionFS - то не зовсім страйп, а просто віртуальна ФС поверх традиційних.
В мене в масиві колись один диск став помирати - я з нього інфу вручну перемістив на інші (в тому ж масиві) і викинув його з NAS.
Ні для софту, ні для користувача ніяких змін візуально не відбулося (просто загальний розмір масиву зменшився).
Навіть якби я не врятував би інфу на одному диску, то інших носіях в масиві дані лишилися б.
Головний недолік для мене - UnionFS відчутно їсть ресурси CPU