NTFS и разреженные файлы (sparse files)

[NEO SPECTRUMAN]

Какой то время назад открыл для себя разреженные файлы
(в двух словах это просто когда лишние 0 не записываются на диск )


просто на заменимая вещь для торентов которые никогда уже не докачаются и тучи файлов содержащих большое количество $00
никакое NTFS-ное сжатие и близко не лежит

НО данная шняга мало где упоминается вообще как таковая
в качалках по дефолту она успешно выключена
программ для создания разреженных файлов тоже особо не видно
везде предлагается чуть ли не разреживать ручками при помощи прописывания областей с $00 в командной сроке
да и даже просто так они не копируются без восстановления исходного размера...


программок для создания я нашел всего 2

проверил из которых только эту (уже не знаю где ее взял)
https://www.mediafire.com/file/nyp3n...seTest.7z/file

но это все же примитивный commad line tool
в придачу с таким текстом при запуске

This is Moonlight's Sparse File debugging test program version 0.01. This is pro
vided for demo purposes only.
Visit http://pages.infinit.net/moonligh/M-CS-ICH for the actual project's status

что нам говорит что юзать оно можно на свой страх и риск

конечно оно несколько автоматизируется при помощи батников

пакетное разреживание всего в папке с батником

for %%f in (*) do ECHO %%f & "C:\**прописываем_свой_путь**\SparseTest.exe" "%%f"
pause

пакетное разреживание всего драгндропнутого на батник (всего список чего влезет в буфер)

@ECHO OFF

:loop
if "%~1"=="" goto end

ECHO %~1
"C:\**прописываем_свой_путь**\SparseTest.exe" "%~1"
ECHO.

shift & goto loop
:end

pause

но все равно средство это дубовое...



вощем вопросы к тем кто тоже оно юзает
какие подводные камни у всего этого были кем замечены?

как восстанавливается такие файлы в случае повреждений ФС, после форматирования?
как такие файлы переваривают всякие линупсы и новомодные вин15?

чем можно сортировать файлы по размеру занимаемому на диске?
все сортировки по размеру во всей дряни что есть под рукой
сортируют только по исходному размеру
чтоб глянуть размер на диске приходиться клацать по каждому\жмене файлов свойства
что не очень удобно


да и ищется более приличная софтварь для создания разреженных файлов

[Advertiser]

[AlexG]

https://docs.microsoft.com/ru-ru/win.../fsutil-sparse

[NEO SPECTRUMAN]

https://docs.microsoft.com/ru-ru/win.../fsutil-sparse

ну об этом? я и говорил

fsutil sparse [queryflag] <filename>
fsutil sparse [queryrange] <filename>
fsutil sparse [setflag] <filename>
fsutil sparse [setrange] <filename> <beginningoffset> <length>

из другого руководства

queryflag
Определяет, помечен ли файл, как разреженный

queryrange
Отображает диапазоны разреженного файла, которые содержат ненулевые данные.

setflag
Устанавливает флаг разреженности для файла

setrange
Заполняет диапазон (определяемый параметрами offset и length) указанного разреженного файла нулями

само оно вроде не находит $00 и не помечает их
тоесть бесполезно
но я в этом не удостоверилсо лично

[SlashNet]

Far Manager





Стоит торрентокачалка Tixati, и как я понял эта функция стоит в ней по-умолчанию.

[NEO SPECTRUMAN]

еще everething вроде может искать по атрибутам
https://www.voidtools.com/forum/view...php?f=2&t=8488
https://www.voidtools.com/support/everything/searching/

и при помощи attrib:P можно найти все что разреженно
но у меня атрибуты не проиндексированны поэтому проверить не реально

[CodeMaster]

никакое NTFS-ное сжатие и близко не лежит

Потому, что часть инфы о сжатии не в самом файле:

Информация о дырах (смещение от начала файла в байтах и количество байт) хранится в метаданных ФС.

Но, место на диске она всё-равно занимает.

и тучи файлов содержащих большое количество $00

Вопрос только в том, нахрена эти нули в файлах в таком количестве?

[NEO SPECTRUMAN]

Вопрос только в том, нахрена эти нули в файлах в таком количестве?

качал торенты и им подобное?
покачай узнаешь

сверху я привел реальные скриншоты
100 гигов этих $00 освободилось из того что еще не планируется удалять

так же по идеи нули есть на образах дисков
но у меня под рукой их нет чтоб проверить

[CodeMaster]

качал торенты и им подобное?

Нет, как-то прожил без них.

[NEO SPECTRUMAN]

Нет, как-то прожил без них.

ну а бывает это обычно так
тк не все удосуживаются раздавать обратно то что скачали...
и "старые" раздачи либо мертвые полностью либо качаются на протяжении вечности


с вот такой целостностью файла например

ЗЫ: необращаем внимание на 2 недели
файл качается лет 6 просто разными качалками

[doorsfan]

1. NTFS сжатие сжимает недокачанные файлы (которые можно качать годами) ровно до размера скачанного, проверено не раз.
2. с торрентами такая опция (так-же как и опция не резервировать место на диске до закачки и опция компрессии) приводит к фрагментации на over 9000 фрагментов.

раз уж об NTFS сжатие: линукс + сжатие + закачка по протоколу торрент = убитый файл ближе к концу скачки. после фикса кучи ошибок chkdsk и рехеша файла прогресс оказывается 0%.
проблеме № лет, актуально и на последних ядрах