SSD. Настройка, оптимизация, решение проблем

SSD, HDD, Flash и прочие носители информации
Відповісти
Автор
Повідомлення
Allex...
Member
Звідки: Киев

Повідомлення

Востаннє редагувалось 16.12.2010 03:42 користувачем almazmusic, всього редагувалось 1 раз.
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

Skeptik:
tablestikus:Ну если даже на ссд упирается в операции с мелкими файлами - то рамдиск может выручить
Во-первых в них упирается не ссд, а файловая система: каждое обращение к файлу - это огромная куча разнообразных операций начиная с проверок прав доступа и заканчивая выдачей команды на контроллер.

Во-вторых - файловый кеш операционной системы значительно эффективнее использует имеющуюся память.
Так-так-так, файловая система? От чего тогда в сравнении с 970 про - рам диск с такой же фс на создании и считывании тысяч мелких файлов в разы быстрее?

нет, файловый кеш не всегда держив в памяти то что нужно.
Skeptik
Member
Звідки: Киев

Повідомлення

tablestikus:От чего тогда в сравнении с 970 про - рам диск с такой же фс на создании и считывании тысяч мелких файлов в разы быстрее?
Насчет "в разы" - это, скорее всего, преувеличение. А причины - нужно смотреть на конкретику: чем создаются, как записываются, что именно меряется, ну и так дальше.

Отправлено спустя 1 минуту 19 секунд:
tablestikus:нет, файловый кеш не всегда держив в памяти то что нужно.
Не всегда.

Но гораздо чаще, чем просто насильно вкряченные в память файлы - многие из которых как раз-таки не нужны на самом деле.
mrppvanya
Member

Повідомлення

Skeptik:
mrppvanya:Понял, а рамдиск?
А зачем?

Не юзать ссд и скорость
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

Skeptik:
tablestikus:От чего тогда в сравнении с 970 про - рам диск с такой же фс на создании и считывании тысяч мелких файлов в разы быстрее?
Насчет "в разы" - это, скорее всего, преувеличение. А причины - нужно смотреть на конкретику: чем создаются, как записываются, что именно меряется, ну и так дальше.

Отправлено спустя 1 минуту 19 секунд:
tablestikus:нет, файловый кеш не всегда держив в памяти то что нужно.
Не всегда.

Но гораздо чаще, чем просто насильно вкряченные в память файлы - многие из которых как раз-таки не нужны на самом деле.
В разы - это минимум в 2,5 раза увеличение скорости работы с мелкими файлами. Получалось и в 3-4 раза увеличить производительность на операциях с помощью рам диска.

Что значит не нужны на самом деле? Если делается рам-диск - то значит на него начинают писать-читать то, что вызывает проблемы на ссд...
alexander-magnus
Member
Аватар користувача
Звідки: Киев

Повідомлення

tablestikus:
Skeptik:
Насчет "в разы" - это, скорее всего, преувеличение. А причины - нужно смотреть на конкретику: чем создаются, как записываются, что именно меряется, ну и так дальше.

Отправлено спустя 1 минуту 19 секунд:

Не всегда.

Но гораздо чаще, чем просто насильно вкряченные в память файлы - многие из которых как раз-таки не нужны на самом деле.
В разы - это минимум в 2,5 раза увеличение скорости работы с мелкими файлами. Получалось и в 3-4 раза увеличить производительность на операциях с помощью рам диска.

Что значит не нужны на самом деле? Если делается рам-диск - то значит на него начинают писать-читать то, что вызывает проблемы на ссд...
Была дурная мысль для ускорения SSD поставить модуль памяти Otane. Но почитал в интернете - пишут для ускорения работы HDD. В принципе это же получается тот же рам-диск.
Skeptik
Member
Звідки: Киев

Повідомлення

mrppvanya:Не юзать ссд и скорость
Скорости по сравнению с ссд там примерно те же самые. А "не юзать ссд" - выглядит достаточно странно, учитывая цену памяти и ссд.
tablestikus:В разы - это минимум в 2,5 раза увеличение скорости работы с мелкими файлами.
Задачами, чтобы такое увидеть самому, ен поделитесь?
tablestikus:Что значит не нужны на самом деле?
То и значит. Потожить-то его туда положили вместе с кучей остальных, память заняли, а он не используется.
alexander-magnus:Была дурная мысль для ускорения SSD поставить модуль памяти Otane.
Точно так же нет смысла, пока нет задач, упирающихся в производительность ссд.
alexander-magnus:В принципе это же получается тот же рам-диск.
Не совсем.

Есть два отличительных момента - цена и оптан все же сидит на псие, не давая дополнительную нагрузку на контроллер памяти.
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

Skeptik:
tablestikus:В разы - это минимум в 2,5 раза увеличение скорости работы с мелкими файлами.
Задачами, чтобы такое увидеть самому, ен поделитесь?
OCR

Отправлено спустя 1 минуту 50 секунд:
Skeptik:
tablestikus:Что значит не нужны на самом деле?
То и значит. Потожить-то его туда положили вместе с кучей остальных, память заняли, а он не используется.
Я начинаю терять нить разговора. В рам-диск ложатся данные которых много, которые критичны по скорости записи\чтения. Почему оно не используется если его ложат туда использовать? :insane:

Отправлено спустя 1 минуту 55 секунд:
alexander-magnus:
tablestikus: В разы - это минимум в 2,5 раза увеличение скорости работы с мелкими файлами. Получалось и в 3-4 раза увеличить производительность на операциях с помощью рам диска.

Что значит не нужны на самом деле? Если делается рам-диск - то значит на него начинают писать-читать то, что вызывает проблемы на ссд...
Была дурная мысль для ускорения SSD поставить модуль памяти Otane. Но почитал в интернете - пишут для ускорения работы HDD. В принципе это же получается тот же рам-диск.
Относительно да, некое подобие рам-диска при этом производительность больше ссд, но меньше чем в оперативной памяти. Оптейны оптимально использовать под различные кеши, логи и т.п.
mrppvanya
Member

Повідомлення

Какая скорость памяти и ссд?
Skeptik
Member
Звідки: Киев

Повідомлення

tablestikus:OCR
Спасибо, конечно, но хотелось бы подробностей - в количестве достаточном, чтобы воспроизвести эксперимент самостоятельно.
tablestikus:В рам-диск ложатся данные которых много, которые критичны по скорости записи\чтения. Почему оно не используется если его ложат туда использовать?
Потому что пользователь, как правило, видя большую кучу файлов, не разбирается, что из них используется, а что - нет, и валит всю кучу. А в кеш попадают только те файлы, которые используются на самом деле.
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

Skeptik:
tablestikus:OCR
Спасибо, конечно, но хотелось бы подробностей - в количестве достаточном, чтобы воспроизвести эксперимент самостоятельно.
Abbyy FlexiCapture - есть желаение, покупайте лицензию и тестируйте, пробных периодов или кряков нет.

Отправлено спустя 3 минуты 13 секунд:
Skeptik:Потому что пользователь, как правило, видя большую кучу файлов, не разбирается, что из них используется, а что - нет, и валит всю кучу. А в кеш попадают только те файлы, которые используются на самом деле.
Так как не видеть что используется, а что нет если пользователь делая рам-диск понимает для чего он нужен? Мы же говорим о конкретных задачах, а не о эфимерном варианте - абы сделать.

Вот например винда и половину нужных мне файлов не держит в кеше. Зачем мне держать там то что мне не нада, если я могу держать в оперативе то что мне нужно?

З.Ы. так что там насчет того что разницы ссд и рам-диска нет из за файловой системы?
Skeptik
Member
Звідки: Киев

Повідомлення

tablestikus:Abbyy FlexiCapture - есть желаение, покупайте лицензию и тестируйте, пробных периодов или кряков нет.
Очень удобный аргумент - главное, непроверяемый.
tablestikus:так что там насчет того что разницы ссд и рам-диска нет из за файловой системы?
Все то же самое...
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

Ну сделай рам-диск и проверь скоростя с ссд.

А ты не пробывал немного поучить матчасть, а не писать глупости о том что доступ в оперативную память равняется доступу на твердотельный диск по сата?
Особенно рассказывая о том что в этом всем завтым в фс...

Давай конкретно - что именно в файловой системе ограничивает скорость чтения и записи файлов?
mrppvanya
Member

Повідомлення

tablestikus:Ну сделай рам-диск и проверь скоростя с ссд.

А ты не пробывал немного поучить матчасть, а не писать глупости о том что доступ в оперативную память равняется доступу на твердотельный диск по сата?
Особенно рассказывая о том что в этом всем завтым в фс...

Давай конкретно - что именно в файловой системе ограничивает скорость чтения и записи файлов?
Привет, какую прогу юзать и для каких файлов?
Skeptik
Member
Звідки: Киев

Повідомлення

tablestikus:Ну сделай рам-диск и проверь скоростя с ссд.
Делал и проверял неоднократно. Программ, заметно ускорявших свою работу при переходе с ссд на рамдиск - до сиз пор не встречал. Программы, незначительно, но снижавшие свою производительность при таком переходе - встречал.

tablestikus:А ты не пробывал немного поучить матчасть

Судя по вашей риторике - матчасть я "немного поучил" еще тогда, когда вы еще под стол пешком ходили.

tablestikus:а не писать глупости о том что доступ в оперативную память равняется доступу на твердотельный диск по сата?
Цитату, пожалуйста.
tablestikus:Давай конкретно - что именно в файловой системе ограничивает скорость чтения и записи файлов?
Скорость чтения и записи - ничего. Ни в чтении, ни в записи файловая система участия не принимает.

А вот время доступа к ним - от обработки файловой системой зависит очень заметно, иногда простая замена нтфс на фат позволяла получить до десяти процентов увеличения писимарковых попугаев на той же самой системе, и это еще на хдд.
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

Ни в чтении, ни в записи файловая система участия не принимает.
Это какае то новая альтернативная вселенная? Можно адресс диллера что торгует ключами к ней?

Так о каких программах что вы тестировали идет речь?

Я уже предложил вариант - рандомная генерация и запись мелких файлов в количестве 5000 штук и последующее их чтение с обработкой. От скорости этой операции зависит скорость выполнения программой её функций. Вы будете утверждать что скорость выполнения этой операции на ssd и ram-диске будет одинаковой?

Интересно так же узнать - какая по вашему мнению файловая система используется в рам-диске?
Skeptik
Member
Звідки: Киев

Повідомлення

tablestikus:Это какае то новая альтернативная вселенная?
Нет, это принципы работы операционной системы.

Файловая система обеспечивает доступ - то есть говорит, к каким секторам обращаться.
tablestikus:Так о каких программах что вы тестировали идет речь?
Разных. От архиваторов и игрушек то фотошопа и кадов.
tablestikus:Я уже предложил вариант
Простейший вариант, чтобы "продемонстрировать разницу" - это бенчмарк. Да, разница там бывает и на порядки. Меня же интересует практика - в каком именно практическом случае применение рамдиска дает хотя бы двухкратное снижение времени выполнения задания. Имеется в виду не какой-то части, а всей работы в целом.

Все, что видел я - это только экономия времени открытия больших файлов, впоследствии "компенсируемая" увеличением времени на их обработку и сохранение, особенно в фотошопе. Плюс - потери времени на копирование исходников и результатов.

Отправлено спустя 2 минуты 50 секунд:
tablestikus:Интересно так же узнать - какая по вашему мнению файловая система используется в рам-диске?
Какую намотаете - такую и будете использовать.

Кстати - если в вашей задаче действительно используется большая куча мелких файликов, то рекомендую фат, у него оверхед на доступ значительно меньше, чем у нтфс (в основном - по причине отсутствия массы атрибутов у файлов и, соответственно, их проверок).
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

Мне кажется мы говорим абсолютно о разных вещах. Использование рам-диска оправдана в случаях когда ПО или зачада сильно зависимы от производительности дисковой подсистемы, рам-диск дает буст очень сильный. Вы это признаете или будете дальше рассказывать о каких то принципах операционных систем?

Я уже все протестировал. Рам-диск дает огромный буст. Потому что упирается все производительность ssd, а не файловой системы.

З.Ы. А еще открою секрет - в рам-диске нет файловой системы :) И что в современно мире используется около ста разных файловых систем.

Отправлено спустя 7 минут 57 секунд:
Кстати насчет процеса архивации.

Если взять достаточно мощный процессор, что бы процесс архивации не спользовал больше 10% CPU например на тысяче файлов и сравнить скорость архивации в рам-диске и в фат - на выходе получится разница по времени в несколько порядоков
Skeptik
Member
Звідки: Киев

Повідомлення

tablestikus:Я уже все протестировал.
Да-да, я помню - экзотическая софтина, чтобы проверить слова было невозможно или очень дорого.
tablestikus:А еще открою секрет - в рам-диске нет файловой системы
:facepalm:

Намек: ос работает с дисками только через файловую систему. Нет файловой системы - нет файлов. Если вы видите в проводнике файлы - вы смотрите в файловую систему. Независимо от того, где физически расположены данные - в памяти, на диске, в облаке...
tablestikus:Если взять достаточно мощный процессор, что бы процесс архивации не спользовал больше 10% CPU например на тысяче файлов и сравнить скорость архивации в рам-диске и в фат - на выходе получится разница по времени в несколько порядоков
Только тогда, когда самого архивирования-то и нету (типа тара). И даже в этом случае "нескольких порядков" все равно не получится.
LostBoy
Member
Аватар користувача
Звідки: Оккупированный Донецк - Киев

Повідомлення

А еще открою секрет - в рам-диске нет файловой системы
Когда я такое читаю, то становится очень грустно. Оказывается, доступ к эмулируемому блочному устройству возможен без драйвера файловой системы, даааа...
tablestikus
Member
Аватар користувача
Звідки: Київ

Повідомлення

LostBoy:
А еще открою секрет - в рам-диске нет файловой системы
Когда я такое читаю, то становится очень грустно. Оказывается, доступ к эмулируемому блочному устройству возможен без драйвера файловой системы, даааа...
Так какая же файловая система там используется?
Відповісти