NAS: выбор, обсуждение, настройка, эксплуатация

Локальные сети и Интернет
Ответить
Автор
Сообщение
TomMass
Member
Аватара пользователя
Откуда: Харьков

Сообщение

Ray2000gt:Хочу поделиться конфигом своего следующего NAS.
Xeon E5-2658 v3
Мать HP Z440
2х 32 GB DDR4 ECC Reg.
Dell H310 IT-mode
4x HGST 3TB 7.2k SAS
LSI Warpdrive Nytro 400 GB
GTX 1050 2 GB

Все уже куплено, жду только проц.
Пока так и не определился, что ставить. :gigi:
Уже 1.5 года использую OMV на простенькой ультракомпактной железке Fujitsu Q5030 с 1х 1 TB 2.5" HDD. Из доп сервисов прикрутил только Transmission и NextCloud, ну и старый принтер сделал сетевым да еще и с поддержкой Google print (т.к. мой основной ноут - Хромбук). В целом привык к функционалу и планирую расширять сферу применения.
Я не експерт в никсах, поэтому выбираю из готовых дистрибутивов. Остановился на Unraid и FreeNAS.
Это уже не NAS, а трактор для вспахивания огородов)) Мощно)

Особенно ссд понравился LSI Warpdrive Nytro 400 GB.

Кстати, заранее проверили, есть ли поддержка запуска ОС с него на вашей материнской плате?

Еще момент. Аппаратный рейд контроллер. Первым делом, посмотрите заряд батареи и ее тип. Посмотрите цену ( а они таки кусаются) и будьте готовы ее купить на заряде 10%. Либо отключайте флеш на контроллере, при ее разряде.
Так же при выходе из строя рейд контроллера - замена требуется именно на точно такой же рейд контролллер! Когда-то работая в дата-центре очень с ними намучался!
Если есть опыт - то вещь отличная и очень полезная. Но если накрывается - то по статистике 80%, что данные уйдут.

По поводу софта, все это обертки сервисов на никсовых системах. Ковырял я их когда себе выбирал. Мне они не нравятся, нет гибкости. Ты никогда толком не знаешь, что именно какая-либо функция. А дебаг очень гемморойный.
Мой совет - поднимите виртуалку, насетапте centos или ubuntu. Настройте все то, что желаете с помощью systemd сервисов. Поковыряйтесь в конфигах. Опыт всегда будет полезен

Отправлено спустя 12 минут 35 секунд:
Посмотрел про Unraid

Я бы себе точно не поставил.

1. Платный софт на базе Slackware (это конечно вы пацаны молодцы :D )
2. Использование ZFS пулов для менеджмента разделов. Мол диски разного объема сливаются в один пул и тд и тп
И судя по тому как слайсятся данные это треш и садомия. Похоже на рейд 5, но там диск для контроля четности и все они одинакового объема (или весь массив уменьшает объем соотносимый с наименьшим диском). По опыту скажу, что я еще нигде не встречал ZFS и ее пулы в продакшн системах
Изображение

Подобные решение можно использовать методом Ceph. И то кластеры разваливаются.

Попробуйте снова таки виртуалку, дайте ей 5 разных дисков. Поставте Unraid. А потом имитируйте сбой, когда один или два диска выходят из строя. И попробуйде восстановить данные. Поделитесь результатом
Ray2000gt
Advanced Member
Откуда: Киев

Сообщение

TomMass:Это уже не NAS, а трактор для вспахивания огородов)) Мощно)
Корпус будет максимально компактный и тихий. Потребелние не должно выходить за 150-200Вт.
TomMass:Кстати, заранее проверили, есть ли поддержка запуска ОС с него на вашей материнской плате?
1. У него свой биос и он может быть загрузочным даже на древних материнках.
2. Загрузочным планируется 64-120GB обычный SSD (забыл указать). На LSI будут виртуалки и кеш.
TomMass:Еще момент. Аппаратный рейд контроллер.
Это простой HBA. Никаких аппаратных массивов!
Его пришлось вкорячить т.к. SAS диски намного дешевле SATA-шных.
По поводу пула Unraid. Очень понравилось то, что он не раскручивает ненужные диски, а в случае с ssd-кешем, диски вообще будут молчать, активируясь только по заданному графику. Для меня это важное приемущество, т.к. живу в квартире.
poulk
Advanced Member
Аватара пользователя
Откуда: Тернополь

Сообщение

TomMass
Вы немного спутали. ЗФС юзает Фринас. На анрейд можно прикрутить ЗФС, но по дефолту его там нет. И хотя я не павер линукс юзер, но как раз ЗФС считается очень надежной (смотрел и читал довольно много интернет гуру :gigi:) и быстрой (при соответствующем железе)
Что до анрейда то проблемы в краше диска нет (в теории :)) Фишка анрейда что данные пишутся на диски целиком не разделяясь. Те если из допустим 5 дисков ушел в небытие один диск то данные на остальных остаются абсолютно читаемыми (в рейд 5 допустим вы данные без восстановления массива не стяните) и данные надо будет восстановить только для умершего диска.
Ray2000gt
Advanced Member
Откуда: Киев

Сообщение

Если не ошибаюсь, в unraid по дефолту btrfs.
ZFS для меня совершенно неизвестный зверь. В теории - гибкая и надежная фс, требующая большого кол-ва ECC оперативки. Но как с ней управляться, не имею ни малейшего понятия.
TomMass
Member
Аватара пользователя
Откуда: Харьков

Сообщение

poulk: ЗФС считается очень надежной (смотрел и читал довольно много интернет гуру :gigi:) и быстрой (при соответствующем железе)
Я с ZFS не так часто сталкивался. Но для себя извлек больше минусов. И скажу,что быстрая она в попугаях. Старая добрая ext4 в рабочей нагрузки ни чем не уступает
poulk:Вы немного спутали. ЗФС юзает Фринас. На анрейд можно прикрутить ЗФС, но по дефолту его там нет.
Да, ошибочка. Полез дальше в документацию. Таки btrfs.

Что еще хуже :D
Я ждал ее как манну небесную с ее ACID (Atomicity, Consistency, Isolation, Durability), массивами и балансировщиком нагрузки

Два дня мне хватило на 4х витах убедиться что она дико сырая и не рабочая. С ней можно поиграться, но ни как не запускать какие либо проекты.[/quote]
poulk: Фишка анрейда что данные пишутся на диски целиком не разделяясь. Те если из допустим 5 дисков ушел в небытие один диск то данные на остальных остаются абсолютно читаемыми (в рейд 5 допустим вы данные без восстановления массива не стяните) и данные надо будет восстановить только для умершего диска.
Данные дробятся на фрагменты и записываются на разные диски. В btrf поддержка copy-on-write и ACID. Потому они утверждают что запись данных происходит аналогично с записью в релиационную базу данных - только после ответа, что данные записаны транзакция считается успешной. если нет - то откатывается обратно

Как я понял они утверждают, что каждый добавленный диск увеличивает общий объем массива на величину собственного. Не вижу здесь резервации пока. Похоже на на принцип простого lvm массива средствами btrfs.
Могу ошибаться, но читать полотно документиции желания сегодня нет)))

Отправлено спустя 8 минут 29 секунд:
Ray2000gt: Корпус будет максимально компактный и тихий. Потребелние не должно выходить за 150-200Вт.
Трактор по определению) мощная сборка, много чего вешать можно
Ray2000gt: Загрузочным планируется 64-120GB обычный SSD (забыл указать). На LSI будут виртуалки и кеш.
Это простой HBA. Никаких аппаратных массивов!
Его пришлось вкорячить т.к. SAS диски намного дешевле SATA-шных.
По поводу пула Unraid. Очень понравилось то, что он не раскручивает ненужные диски, а в случае с ssd-кешем, диски вообще будут молчать, активируясь только по заданному графику. Для меня это важное приемущество, т.к. живу в квартире.
Идея с кешем мне очень нравится, я думал подобное организовать на ссд диске средствами саомой ос. Да руки пока не добрались

Сейчас сата диски особо денег то и не стоят. Я свой 8tb за 2000 грн нашел

Отпишитесь по итогу. Как да что
poulk
Advanced Member
Аватара пользователя
Откуда: Тернополь

Сообщение

TomMass
В анрейд файлы не дробятся. Они тупо раскидываются по разным физическим дискам, а хеши пишутся на парити диск (или на два диска тогда из строя может вылететь до двух дисков в массиве). Если слетает массив то недоступной становиться только инфа на диске что выбыл. Его можно восстановить с помощью парити диска. А на остальных дисках инфа остается полностью читаемой (по сути тут рейда никакого нет вообще просто набор дисков в пуле).
Что до ZFS, то там как раз все очень серьезно. Она была создана больших компов на ОС Соларис и отличается очень большой надежностью и скоростью (при правильной реализации). (Ну это то что разные вики и автора в интернете пишут и говорят, не думаю что они врут или ошибаются).
Но вообще она имхо зфс оверкилл для дома. Я пробовал НАС собирать на ЗФС и все пахало, но анрейд для моей модели пользования мне показался интересней. Пока особо не жалею. Мой софт скилл в *них системах мягко говоря так себе :) И времени сильно разбираться нет, и решение из коробки оказалось вполне нормальным.
Sachu
Member
Аватара пользователя
Откуда: Киев

Сообщение

poulk:TomMass
Вы немного спутали. ЗФС юзает Фринас. На анрейд можно прикрутить ЗФС, но по дефолту его там нет. И хотя я не павер линукс юзер, но как раз ЗФС считается очень надежной (смотрел и читал довольно много интернет гуру :gigi:) и быстрой (при соответствующем железе)
Что до анрейда то проблемы в краше диска нет (в теории :)) Фишка анрейда что данные пишутся на диски целиком не разделяясь. Те если из допустим 5 дисков ушел в небытие один диск то данные на остальных остаются абсолютно читаемыми (в рейд 5 допустим вы данные без восстановления массива не стяните) и данные надо будет восстановить только для умершего диска.
Про 5 рейд неправда. Рейд 5 уровня с одним умершим винтом отснется онлайн, да скорость упадет но инфа останется доступной
Ray2000gt
Advanced Member
Откуда: Киев

Сообщение

Sachu:Про 5 рейд неправда. Рейд 5 уровня с одним умершим винтом отснется онлайн, да скорость упадет но инфа останется доступно
Не вижу смысла придираться к словам. Любой массив остается доступным при выходе из строя допустимого кол-ва дисков.
RAID 5 довольно коварная штука. При падении 1 диска, массив переходит в Degraded mode. Главная опасность в том, что при этом (а также при последующем ребилде) нагрузка на диски возрастает и повышается вероятность выхода второго диска с полной потерей данных массива.
poulk
Advanced Member
Аватара пользователя
Откуда: Тернополь

Сообщение

Sachu
Да я просто неудачно выразился. Конечно рейд 5 при смерти одного диска будет живой. но с рейд 5 есть вероятность что при ребилде еще что нибудь сдохнет и тогда и пропадет вся инфа. В анрейде же пропадет инфа только на умерших дисках.
benderOS
Member
Откуда: ЗП

Сообщение

кто нибудь пробовал synology shr? Интересно, насколько он выигрывает обычных рейдов - гонюсь за объёмами и целостностью инфы. А с учетом моей разношерстной компашки хардов, shr - самое «прибыльное» из всего
poulk
Advanced Member
Аватара пользователя
Откуда: Тернополь

Сообщение

benderOS
Хм вы сами с собой разговариваете или что ? в одном абзаце и вопрос и ответ/утверждение :)
ixdll
Member
Аватара пользователя
Откуда: Харьков

Сообщение

del
ixdll
Member
Аватара пользователя
Откуда: Харьков

Сообщение

benderOS:кто нибудь пробовал synology shr? Интересно, насколько он выигрывает обычных рейдов - гонюсь за объёмами и целостностью инфы. А с учетом моей разношерстной компашки хардов, shr - самое «прибыльное» из всего
Synology shr это тот же рейд5, отличается только возможностью использования хардов разного объёма.
Многие жалуются на глючность shr, а в последних версиях DSM при создании массивов вообще пропал это пункт (но его можно включить через консоль).
Скорее всего synology скоро вообще откажется от "своего" рейда.

Отправлено спустя 10 минут 22 секунды:
Ray2000gt:SAS диски намного дешевле SATA-шных.
Можно ссылки на диски?
Как не искал везде sas винты дороже sata. Что новые, что б.у.
У самого hp ml110 g7 со встроенным 4(6) сата, с радостью добавил бы какой-нибудь Adaptec 2405/3405 за 500 грн для сас винтов.
Ray2000gt
Advanced Member
Откуда: Киев

Сообщение

ixdll:Можно ссылки на диски?
Я на Ebay беру.
3TB SAS бу от $20, новые от $30. «От» означает, что по таким ценам их нужно поискать, но накинув $5-10, можно брать в любом количестве.
ixdll: с радостью добавил бы какой-нибудь Adaptec 2405/3405 за 500 грн для сас винтов.
Для HP я бы брал HP P410 - P420, они стоят копейки, из-за того, что совместимы только с HP.
Adaptec, LSI, Dell, IBM дороже, так как универсальные.

Отправлено спустя 16 минут 40 секунд:
Только хочу предупредить по SAS дискам. Брать можно только обычные ОЕМ диски (hgst, seagate, toshiba) или от серваков, но НЕ от СХД (EMC, NetApp, HP EVA/3PAR). Работать схд-шные диски не будут. Там много заморочек, начиная от нестандартного размера кластера 520 Байт (это еще можно обойти) заканчивая всякими енкрипшинами и прочей непонятной фигней.
TomMass
Member
Аватара пользователя
Откуда: Харьков

Сообщение

Наткнулся на просторах сети на модель корпуса для 3д печати. Как по мне конструкция, с инженерной точки зрения, практически идеал.
Еще бы вот мат плату чуть большего формата

Интересует ваше мнение

https://www.myminifactory.com/object/3d ... ssis-96113
Scoffer
Member
Аватара пользователя

Сообщение

TomMass
З ABS пластику на 3d принтері він тобі золотим вийде :rotate:
TomMass
Member
Аватара пользователя
Откуда: Харьков

Сообщение

Scoffer: З ABS пластику на 3d принтері він тобі золотим вийде :rotate:
Я цены ещё не считал. Сильно дорого выходит,да?
Scoffer
Member
Аватара пользователя

Сообщение

TomMass
~5-10 гривень за грам
TomMass
Member
Аватара пользователя
Откуда: Харьков

Сообщение

Scoffer:TomMass
~5-10 гривень за грам
PLA: 2600g - FlexPLA or TPU: 250g

Ну да, от 14 000 до 29 000 в грн. И правда золотой :-/
LostBoy
Member
Аватара пользователя
Откуда: Оккупированный Донецк - Киев

Сообщение

Всем привет. Думаю, пришла пора и мой НАС обновлять. В этот раз решил остановиться на самосборе, ибо докер поменял все и теперь сервер с десятком сервисов можно запустить одним yml-файлом за 5 секунд - опенсорс сейчас силен, как никогда. Компоуз для сервера уже начал писать, но он еще в процессе, так что ссылку на гит пока не дам.

Попробую расписать хардварную составляющую, потом софт. Ну и несколько вопросов есть.
1. Железо. Сначала хотел тупо скопировать конфиг отсюда - https://blog.thesparktree.com/ultimate- ... d-hardware. Но чем ближе к сборке я подходил, тем больше появлялось сомнений насчет целесообразности вливания почти $3.5K в домашний медиацентр. Так что сейчас я снова нахожусь на распутье - в следующем году предстоит ремонт в новом жилье делать и эти деньги, как бы, не будут лишними. Возможно, рациональнее использовать потребительское железо? Взять какой-то райзен с 6 ядрами, 32/64 памяти - и этого будет более чем, как для нужд моей семьи. Единственное, что смущает - отсутствие поддержки ЕСС-памяти, потому что массив планирую собирать на ZFS, там коррекция ошибок ОЗУ важна.
Ну и второй вопрос - корпус. Естественно, все нужно стараться уместить в форм-факторе mini-ITX, это де-факто стандарт для домашнего серверостроения. Выбор корпусов с большим количеством отсеков для хотсвопных дисков очень скуп. Выбор у меня такой: вот этот сильверстоун - https://www.silverstonetek.com/product. ... undefined1 или вот этот юнас - http://www.u-nas.com/product/nsc800.html. Ищу корпус для 8 дисков. Если все-таки опущу требования до 4х дисков, то там намного проще - корпус Chenbro ES34069 просто идеален, работал уже с ним. Все корпуса в Украине не продаются, придется форвардить.
В общем, нужно самому себе ответить на эти вопросы и тогда уже начинать покупать железо.

2. Софт. Ежу понятно, что ставим линукс и отдаем сервисы докером. Я предпочитаю центос, но это для домашнего применения не очень принципиально. Также, кто еще не освоил контейнеризацию - настоятельно рекомендую это сделать, упрощает отдачу сервисов радикально. Вот, что я наваял у себя (все найдете сами на докерхабе):
- portainer, веб-гуй для управления контейнерами.
- watchtower, автоматическое обновление контейнеров, можно настроить расписание. Не уверен, что очень хорошо отдавать это дело автоматике, подумаю еще.
- homeassistant, умный дом. Этот контейнер - повод для отдельной темки с обсуждением умного дома. Возможно, уберу из компоуза, если для смартхауса остановлюсь на связке RPi4+ZWave Stick+Zigbee Stick.
- qbittorrent, без комментариев, считаю лучшим пиринг-клиентом.
- plex, медиакомбайн. Скорее всего, уберу, потому что планирую приобрести Nvidia Shield для телека в гостиной.
- tautulli, статистика для Плекса. Соответственно, тоже может не понадобится.
- nextcloud, свое облако, аналог гуглдрайва, вандрайва и прочих этих драйвов.
- traefik, прокси-сервер. Сразу же умеет в лецэнкрипт (в т.ч. вайлдкард, как раз наш случай) без дополнительных телодвижений, рекомендуется использовать вместо хапрокси и нжинкса (в режиме реверс-прокси). Написан на гоу, очень шустрый.
- netdata, мониторинг и алерты. Легкий и быстрый. Сначала думал о Прометеусе, но это и Графану ставить и это уже слишком для домашнего применения.
Выше видел, как кто-то городит дома заббикс, блин, вы чего, народ, серьезно? )) Вы еще эластикстэк разверните дома, чтобы в Кибане логи смотреть
- openvpn. Ну, думаю, тоже рассказывать особо не надо, открытые сети в кафешках и т.д.
- smb. Самба-сервер для доступа виндовых клиентов. Да, самба тоже подается докером, хостовая ОС абсолютно чиста, на ней установлен только докер-демон и докер-компоуз.

Так, что еще - pp.ua дает бесплатный домен, клаудфлэром рулим днс. Вместо какого-то 45.32.67.90:9100 вбиваем в браузере torrent.lostboy.pp.ua, например, и попадаем в веб-морду торрента. Спасибо тебе, Трэфик :up:

Пока все. Возможно, добавится что-то еще в процессе. С удовольствием выслушаю критику и предложения. Особенно нужна помощь по железной части, с софтом все намного проще.
Ответить