NAS: выбор, обсуждение, настройка, эксплуатация

[orderman]

Список SMR дисків

[snackovich]

Гайс,
на зараз маю домашній NAS (HP ProLiant ML310e Gen8/ E3-1230 V2 @ 3.30GHz [4/8] / 32GB ddr3 ecc/ 2x4TB WD red - не SMR, ext4).
на цьому всьому кручу OMV5, планую залишатись на дебіані - хочу більш поглибити навики роботи з ним.
Хотів би щоб порадили просте 'домашне' рішення для проитидії 'silent data corruption'. Навику роботи raid-ами, zfs та іншими файловими системами немаю.
хотів би щось типу програми, яка раз на тиждень перевіряє цілістність директорії і повідомляє якщо щось посипалось. Куди краще копати ?
(обєм данних який потрібно моніторити не сильно великий < 200гб ).

[poulk]

snackovich
Думаю большинство готовых "НАС из коробки" ОС имеют такой функционал. В моем UNRAID можно настроить проверку хоть каждый день.

[LostBoy]

snackovich
Тут вряд ли получится простое решение. Эффективно бороться с нарушением целостности умеет ZFS благодаря механизму хранения метаданных отдельно от самого файла и их версионированием. Более того, ZFS сможет не только определить нарушение целостности, но и исправить его.
Вот дока Оракла - https://docs.oracle.com/cd/E19253-01/81 ... index.html
Но тут для вас будет существенным минусом то, что порог вхождения в ZFS достаточно высокий и если нет с ним опыта работы, то рекомендовать ее сложно. Но если есть желание разобраться, то все возможно

poulk
Вы, скорее всего, говорите о проверке состояния SMART самих дисков. А спрашивают об ошибках ФС при записи. Классические ФС об этом не рапортуют. Тут нужно или аппаратное решение в комплекте с форматированием диска с учетом контрольных сумм (по-моему, Нетапп в своих дисках для СХД использует 520 байт на сектор - стандартные 512 и 8 байт для проверки контрольных сумм сектора) или ФС, которая будет хранить метаданные файла отдельно и сверять их на лету.

Scoffer
У тебе що, зміна в місяць?

спойлер

Попросили пару месяцев поработать бесплатно, но не нашли понимания

По покупке дисков ты прав, наверное. Как бы через год-два планарные диски для простых смертных вообще не превратились во что-то мифическое

[poulk]

LostBoy
нет я говорю о проверке целостности данных (parity-check)

[snackovich]

LostBoy, poulk
трохи почитавши інтернети зацікавився snapraid https://www.snapraid.it/compare тут втрачається ріалтайм, але також зменшується можливсть фак-апа з втратою данних (в моєму випадку), на скількице рішення доросле (mature) - не знаю.
Яка думка стосовно цієї ідеї ?

систему віддаленого бекапа з також часом планую розгорнути (ще один нас в домі батьків)

[poulk]

snackovich
а что мешает попробовать лично пару вариантов? Даже я оч. далекий от софта, перепробовал вариантов 3-4 на виртуалках перед тем как пробовать на железе. Тем более много софта фришного или имеет пробный период.

[snackovich]

poulk
Ну в принципі я можу цей варіант і на живом сервері спробувати поки на насі кручу лише плекс з трансмішином, правда хардів треба буде ще закупити.
для ZFS напевно таки треба з віртуалок стартувати. Але тестами також траба знати як відтворити ситуацію з порушенням цілістності - поки я не уявляю як це можна прокрутити, якось залазити на диск в обхід файлової системи - ну виглядає якось оверінженіринг.

[poulk]

snackovich
ZFS тут на последних 10-20 страницах довольно много обсуждали, почитайте. Если коротко то сложно, накладно и малополезно при реально применении.
Другой вопрос. Для чего вам это все? Если есть конкретная цель, так и ставьте её в главу угла. Тогда и алгоритм появиться четкий. Если же просто интересно поэкспериментировать и узнать, что-то новое, то имхо только виртуалки и опыты на железе. Чем больше испробуете, тем больше кайфа
п.с. в чем проблема тестов с целостностью? что именно вы хотите увидеть? вынимаете/отключаете диск и смотрите как система реагирует Или вам хочется видеть, что будет с битыми секторами на дисках?

[snackovich]

poulk
Більше цікавить биті сектори, так як при уході всього диска буду відновлювати з бекапу (важливих данних). В моєму випадку під бекапом розуміється просто копія через rsync (без версіювання), але без версіонування не хочеться затирати живі файли битими. Реальна потреба існує, але поки думка купувати готове
хардварно-софтверне коробочне рішення відхилена/відкладена - в збор/кофігурації чогось свого з частинок щось є.

[poulk]

snackovich
ну как говориться среди первых выдач гугла (не читал всю ветку, так что можешь вам не особо поможет )
https://stackoverflow.com/questions/136 ... ng-testing
думаю для эксперимента много чего можно найти и сделать.
имхо в таких вопросах на готовые НАСы я бы не сильно рассчитывал. Большинство бытовых не предназначены решать особо сложные проблемы. Бекап, медиа стриминг и тп. пожалуйста. А если нужно, что либо более сложное, то тут будь добр расчехляй гаманець и плати за решения для МСБ или корпоративных клиентов.

[zhekaice]

Щось мені ліньки перечитувати весь тред.
Але в свій час грався із FreeNAS. Хороша штука. Правильна. Можна наліпити все, що завгодно (торрент клієнт, здається вмонтований одразу) . Ну і підтримує теж мох і болото. Включаючи той самий потрібний ZFS.
Цікаво те, що є інструкція для встановлення туди URbackup
класна система, тестував її на вінді. Робить онлайн (в фоні) образ системи (ой, не системи, цілого вінта, або файлів, або розділу ) (по розкладу), прямо по мережі на сервак. Розкручується з загрузочної флешки за 30-40 хв, знову ж по мережі. І це безплатне рішення. Не треба розповідати про крадені платні ломані рішення які можуть те ж саме.

[LostBoy]

Я тут это, снова планирую продолжить заниматься компоузом для сервера (потихоньку). В сложившемся паззле с основными сервисами у меня не хватало одного важного элемента - сислога. В своей жизни я работал только с эластикстэком (в последние 6 лет - везде) и fluentd (давно). Елка всем, конечно, хороша, за исключением монструозного жора ресурсов и существенной ограниченности бесплатной версии. Флуэнтд это вообще очень специфическое решение, которое, скорее, является только агентом-коллектором, а не нормальным анализатором с дашбордами.

В задачи сислога должно входить:
- сбор логов с хостовой машины и зараненных контейнеров (все сервисы у меня будут отдаваться докером);
- сбор логов с сетевого оборудования (сеть будет построена на оборудовании Ubiquiti, т.е. отдавать в сислог будет UniFi Controller);
- сбор логов с IoT (Home Assistant на RaspberryPi и элементы умного дома AJAX Systems);
- сбор логов с домашних ПК (4 Windows ПК, только кусты журнала Critical/Error);
- возможно, что-то еще.

Из требований - хотя бы неделя хранения индекса и удобная веб-морда для поиска событий. Мониторинг и метрики не очень нужны/важны.

И тут гугл привел меня к имэджу sematext/logagent. Никогда о такой балалайке не слышал. В общем, реализация облачная, на вашем железе раннится имэдж с коллектором, который снимает json со стандартного stdout докер-демона, ну и /var/log/ можно туда можно вкорячить с логами хоста. Потом эта вся богодельня шипится в облако, где в кибаноподобном интерфейсе уже можно все посмотреть Естественно, все это стоит денег и, кстати, довольно немало, но есть и халява с ограничениями - 500МБ барахла в день, хранение индекса - неделя, потом ротейшн. В общем, вот сравнение планов - можно самому посмотреть - https://sematext.com/pricing/#logsene В целом, бесплатный план для дома вполне ок.

Естественно, даже в самом нищем стартапе никто такое использовать не будет - отправка логов хрен знает в какое облако, что там с секьюрити и все такое. Но, как мне кажется, для дома это нормальная тема, кому мы на хрен со своими хоумвидео нужны

В общем, я копну, попробую на фриплане, хотя бы для линукс-хоста, докера, малины и винды и отпишусь, как оно (только не очень скоро). Выглядит симпатично

[Scoffer]

LostBoy
Тобі там походу зовсім нудно стало
The Dude

Среди существующих систем мониторинга Dude позиционируется как лучший по соотношению цена/качество продукт. Это справедливо, т.к. он распространяется бесплатно.

Відправлено через 16 хвилини 36 секунди:

спойлер

https://mikrotik.com/product/RB1100Dx4

[LostBoy]

Scoffer
Я ж не о мониторинге, а о сборке логов

[Scoffer]

LostBoy
Городити так городити
В dude помимо моніторингу вбудований сіслог-сервер.
Як буде натхнення - поковиряй на віртуалкі.

Відправлено через 4 хвилини 36 секунди:
Не те щоб мені сильно подобався dude, але для простих речей чому б і ні. Зате ніяких вивантажень інфи в нехрозумілі хмари.

Відправлено через 14 хвилини 5 секунди:
Cіслог там звичайно ближче до просто збору ніж до еластіксу з графіками.
Давно вже ковиряв, не сильно пам'ятаю можливості, але регекспом парсити логи і генерувати аларми точно можна було. Це з корисного.

[LostBoy]

Зате ніяких вивантажень інфи в нехрозумілі хмари.

Тут без вопросов. Более того - вдруг поломался интернет и все, до свиданья, отгрузки логов в облако нет. Это очень специфическое решение, но поскольку мне прятать особо и нечего, то мне оно теоретически подойдет. Посмотрим.

[Rimlyanin]

Але в свій час грався із FreeNAS. Хороша штука. Правильна. Можна наліпити все, що завгодно (торрент клієнт, здається вмонтований одразу) . Ну і підтримує теж мох і болото. Включаючи той самий потрібний ZFS.

Угу, и он на фре. Это и хорошо и плохо. Я, в частности, ушел с него, т.к. базу для miniDLNA там надо (было?) обновлять принудительно.

[zhekaice]

Але в свій час грався із FreeNAS. Хороша штука. Правильна. Можна наліпити все, що завгодно (торрент клієнт, здається вмонтований одразу) . Ну і підтримує теж мох і болото. Включаючи той самий потрібний ZFS.

Угу, и он на фре. Это и хорошо и плохо. Я, в частности, ушел с него, т.к. базу для miniDLNA там надо (было?) обновлять принудительно.

НІЧОГО НЕскажу з цього приводу, оскільки юзалося воно не для таких цілей. Фря тим і класна, що конструктор.
Власне, є ж (певно) і інші подібні продукти.
Що юзав, як то кажуть мацав руцями, то й раджу. ТИм паче для дому, а не в корпоративному сегменті. Хоча там теж (на колишній роботі) на 2-головому серваку крутився pfSense. Хватало, аж за глаза! юзерів кілька тисяч було. Але це до слова про безплатні рішення.

[Rimlyanin]

НІЧОГО НЕскажу з цього приводу, оскільки юзалося воно не для таких цілей. Фря тим і класна, що конструктор.

Да оно все по сути конструктор

Власне, є ж (певно) і інші подібні продукти.

Конечно, XigmaNAS (NAS4Free ранее. ОН мне кстати большее нравился), OMV, и не только свободные.
Но по сути, большиство из них, это "панель управления" для ОС и редактирования конфигов "мышкой".

А мой текущий NAS вообще без панели, даже без webmin. MC и ручками редактирую конфиги. Просто у меня задачи несколько специфические.