Важная информация

User Tag List

Страница 1 из 2 12 ПоследняяПоследняя
Показано с 1 по 10 из 13

Тема: NTFS и разреженные файлы (sparse files)

  1. #1
    Banned
    Регистрация
    22.05.2011
    Адрес
    г. Дзержинск, Украина
    Сообщений
    6,841
    Спасибо Благодарностей отдано 
    483
    Спасибо Благодарностей получено 
    658
    Поблагодарили
    512 сообщений
    Mentioned
    10 Post(s)
    Tagged
    0 Thread(s)

    Arrow NTFS и разреженные файлы (sparse files)

    Какой то время назад открыл для себя разреженные файлы
    (в двух словах это просто когда лишние 0 не записываются на диск )


    просто на заменимая вещь для торентов которые никогда уже не докачаются и тучи файлов содержащих большое количество $00
    никакое NTFS-ное сжатие и близко не лежит

    НО данная шняга мало где упоминается вообще как таковая
    в качалках по дефолту она успешно выключена
    программ для создания разреженных файлов тоже особо не видно
    везде предлагается чуть ли не разреживать ручками при помощи прописывания областей с $00 в командной сроке
    да и даже просто так они не копируются без восстановления исходного размера...


    программок для создания я нашел всего 2

    проверил из которых только эту (уже не знаю где ее взял)
    https://www.mediafire.com/file/nyp3n...seTest.7z/file

    но это все же примитивный commad line tool
    в придачу с таким текстом при запуске
    This is Moonlight's Sparse File debugging test program version 0.01. This is pro
    vided for demo purposes only.
    Visit http://pages.infinit.net/moonligh/M-CS-ICH for the actual project's status
    что нам говорит что юзать оно можно на свой страх и риск

    конечно оно несколько автоматизируется при помощи батников

    пакетное разреживание всего в папке с батником
    Код:
    for %%f in (*) do ECHO %%f & "C:\**прописываем_свой_путь**\SparseTest.exe" "%%f"
    pause
    пакетное разреживание всего драгндропнутого на батник (всего список чего влезет в буфер)
    Код:
    @ECHO OFF
    
    :loop
    if "%~1"=="" goto end
    
    ECHO %~1
    "C:\**прописываем_свой_путь**\SparseTest.exe" "%~1"
    ECHO.
    
    shift & goto loop
    :end
    
    pause
    но все равно средство это дубовое...



    вощем вопросы к тем кто тоже оно юзает
    какие подводные камни у всего этого были кем замечены?

    как восстанавливается такие файлы в случае повреждений ФС, после форматирования?
    как такие файлы переваривают всякие линупсы и новомодные вин15?

    чем можно сортировать файлы по размеру занимаемому на диске?
    все сортировки по размеру во всей дряни что есть под рукой
    сортируют только по исходному размеру
    чтоб глянуть размер на диске приходиться клацать по каждому\жмене файлов свойства
    что не очень удобно


    да и ищется более приличная софтварь для создания разреженных файлов
    Последний раз редактировалось NEO SPECTRUMAN; 29.01.2021 в 18:53.

  2. #1
    С любовью к вам, Yandex.Direct
    Размещение рекламы на форуме способствует его дальнейшему развитию

  3. #2
    Master
    Регистрация
    27.11.2013
    Адрес
    г. Санкт-Петербург
    Сообщений
    832
    Спасибо Благодарностей отдано 
    34
    Спасибо Благодарностей получено 
    134
    Поблагодарили
    111 сообщений
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)

  4. #3
    Banned
    Регистрация
    22.05.2011
    Адрес
    г. Дзержинск, Украина
    Сообщений
    6,841
    Спасибо Благодарностей отдано 
    483
    Спасибо Благодарностей получено 
    658
    Поблагодарили
    512 сообщений
    Mentioned
    10 Post(s)
    Tagged
    0 Thread(s)

    По умолчанию

    Цитата Сообщение от AlexG Посмотреть сообщение
    https://docs.microsoft.com/ru-ru/win.../fsutil-sparse
    ну об этом? я и говорил

    fsutil sparse [queryflag] <filename>
    fsutil sparse [queryrange] <filename>
    fsutil sparse [setflag] <filename>
    fsutil sparse [setrange] <filename> <beginningoffset> <length>
    из другого руководства
    queryflag
    Определяет, помечен ли файл, как разреженный

    queryrange
    Отображает диапазоны разреженного файла, которые содержат ненулевые данные.

    setflag
    Устанавливает флаг разреженности для файла

    setrange
    Заполняет диапазон (определяемый параметрами offset и length) указанного разреженного файла нулями
    само оно вроде не находит $00 и не помечает их
    тоесть бесполезно
    но я в этом не удостоверилсо лично
    Последний раз редактировалось NEO SPECTRUMAN; 29.01.2021 в 19:35.

  5. #4
    Activist Аватар для SlashNet
    Регистрация
    16.08.2008
    Адрес
    Львов (Украина)
    Сообщений
    429
    Спасибо Благодарностей отдано 
    136
    Спасибо Благодарностей получено 
    60
    Поблагодарили
    44 сообщений
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)

    По умолчанию

    Far Manager





    Стоит торрентокачалка Tixati, и как я понял эта функция стоит в ней по-умолчанию.

  6. Этот пользователь поблагодарил SlashNet за это полезное сообщение:

    NEO SPECTRUMAN (29.01.2021)

  7. #5
    Banned
    Регистрация
    22.05.2011
    Адрес
    г. Дзержинск, Украина
    Сообщений
    6,841
    Спасибо Благодарностей отдано 
    483
    Спасибо Благодарностей получено 
    658
    Поблагодарили
    512 сообщений
    Mentioned
    10 Post(s)
    Tagged
    0 Thread(s)

    По умолчанию

    еще everething вроде может искать по атрибутам
    https://www.voidtools.com/forum/view...php?f=2&t=8488
    https://www.voidtools.com/support/everything/searching/

    и при помощи attrib:P можно найти все что разреженно
    но у меня атрибуты не проиндексированны поэтому проверить не реально

  8. #6
    Guru Аватар для CodeMaster
    Регистрация
    26.04.2009
    Адрес
    г. Воронеж
    Сообщений
    6,263
    Спасибо Благодарностей отдано 
    150
    Спасибо Благодарностей получено 
    217
    Поблагодарили
    188 сообщений
    Mentioned
    6 Post(s)
    Tagged
    0 Thread(s)

    По умолчанию

    Цитата Сообщение от NEO SPECTRUMAN Посмотреть сообщение
    никакое NTFS-ное сжатие и близко не лежит
    Потому, что часть инфы о сжатии не в самом файле:
    Информация о дырах (смещение от начала файла в байтах и количество байт) хранится в метаданных ФС.
    Но, место на диске она всё-равно занимает.

    Цитата Сообщение от NEO SPECTRUMAN Посмотреть сообщение
    и тучи файлов содержащих большое количество $00
    Вопрос только в том, нахрена эти нули в файлах в таком количестве?
    "Во времена всеобщей лжи говорить правду - это экстремизм" - афоризм.

  9. #7
    Banned
    Регистрация
    22.05.2011
    Адрес
    г. Дзержинск, Украина
    Сообщений
    6,841
    Спасибо Благодарностей отдано 
    483
    Спасибо Благодарностей получено 
    658
    Поблагодарили
    512 сообщений
    Mentioned
    10 Post(s)
    Tagged
    0 Thread(s)

    По умолчанию

    Цитата Сообщение от CodeMaster Посмотреть сообщение
    Вопрос только в том, нахрена эти нули в файлах в таком количестве?
    качал торенты и им подобное?
    покачай узнаешь

    сверху я привел реальные скриншоты
    100 гигов этих $00 освободилось из того что еще не планируется удалять

    так же по идеи нули есть на образах дисков
    но у меня под рукой их нет чтоб проверить
    Последний раз редактировалось NEO SPECTRUMAN; 29.01.2021 в 20:57.

  10. #8
    Guru Аватар для CodeMaster
    Регистрация
    26.04.2009
    Адрес
    г. Воронеж
    Сообщений
    6,263
    Спасибо Благодарностей отдано 
    150
    Спасибо Благодарностей получено 
    217
    Поблагодарили
    188 сообщений
    Mentioned
    6 Post(s)
    Tagged
    0 Thread(s)

    По умолчанию

    Цитата Сообщение от NEO SPECTRUMAN Посмотреть сообщение
    качал торенты и им подобное?
    Нет, как-то прожил без них.
    "Во времена всеобщей лжи говорить правду - это экстремизм" - афоризм.

  11. #9
    Banned
    Регистрация
    22.05.2011
    Адрес
    г. Дзержинск, Украина
    Сообщений
    6,841
    Спасибо Благодарностей отдано 
    483
    Спасибо Благодарностей получено 
    658
    Поблагодарили
    512 сообщений
    Mentioned
    10 Post(s)
    Tagged
    0 Thread(s)

    По умолчанию

    Цитата Сообщение от CodeMaster Посмотреть сообщение
    Нет, как-то прожил без них.
    ну а бывает это обычно так
    тк не все удосуживаются раздавать обратно то что скачали...
    и "старые" раздачи либо мертвые полностью либо качаются на протяжении вечности


    с вот такой целостностью файла например

    ЗЫ: необращаем внимание на 2 недели
    файл качается лет 6 просто разными качалками
    Последний раз редактировалось NEO SPECTRUMAN; 29.01.2021 в 21:16.

  12. #10
    Master
    Регистрация
    25.04.2009
    Адрес
    Днепропетровск
    Сообщений
    813
    Спасибо Благодарностей отдано 
    26
    Спасибо Благодарностей получено 
    14
    Поблагодарили
    14 сообщений
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)

    По умолчанию

    1. NTFS сжатие сжимает недокачанные файлы (которые можно качать годами) ровно до размера скачанного, проверено не раз.
    2. с торрентами такая опция (так-же как и опция не резервировать место на диске до закачки и опция компрессии) приводит к фрагментации на over 9000 фрагментов.

    раз уж об NTFS сжатие: линукс + сжатие + закачка по протоколу торрент = убитый файл ближе к концу скачки. после фикса кучи ошибок chkdsk и рехеша файла прогресс оказывается 0%.
    проблеме № лет, актуально и на последних ядрах
    Последний раз редактировалось doorsfan; 29.01.2021 в 21:37.

Страница 1 из 2 12 ПоследняяПоследняя

Информация о теме

Пользователи, просматривающие эту тему

Эту тему просматривают: 1 (пользователей: 0 , гостей: 1)

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •