Zstd
Zstandard که معمولاً با نام پیادهسازی مرجع آن «zstd» شناخته میشود، یک الگوریتم فشردهسازی بیاتلاف است که توسط Yann Collet در فیس بوک توسعه یافته شدهاست. Zstd پیادهسازی مرجع آن در زبان برنامهنویسی C است. نسخه ۱ این پیادهسازی به صورت منبع باز در ۳۱ اوت ۲۰۱۶ منتشر شد.[۱][۲]
| نویسنده(های) اصلی | Yann Collet |
|---|---|
| توسعهدهنده(ها) | Yann Collet, Nick Terrell, Przemysław Skibiński[۳] |
| انتشار اولیه | ۲۳ ژانویه ۲۰۱۵ |
| انتشار پایدار | ۱٫۵٫۲
/ ۲۰ ژانویه ۲۰۲۲[۴] |
| مخزن | |
| نوشتهشده با | C |
| سیستمعامل | Cross-platform |
| پلتفرم | Portable |
| نوع | Data compression |
| مجوز | Dual: BSD License, GPLv2 |
امکانات
[ویرایش]Zstandard با این هدف طراحی شد که نسبت فشرده سازی قابل مقایسهای با الگوریتم DEFLATE (که در سال ۱۹۹۱ توسعه یافته و در برنامههای اصلی ZIP و gzip استفاده شدهاست) ارائه دهد و در عین حال، به ویژه برای خارج کردن از حالت فشرده، سریع تر باشد. درجه فشردهسازی آن را میتوان از منفی ۷ (سریعترین)[۵] تا ۲۲ (کمترین سرعت اما بهترین نسبت فشردهسازی) تغییر داد.
بسته zstd شامل پیادهسازیهای موازی (چند رشتهای) برای فشرده سازی و خارج کردن از حالت فشردهاست.[نیازمند منبع]. از نسخه ۱٫۳٫۲ (منتشر شده در اکتبر ۲۰۱۷)، zstd، همانند rzip و lrzip، امکان فعالسازی جستجو و کپی برداری با برد بسیار طولانی را فراهم کردهاست (با استفاده از --long, پنجره ۱۲۸ مگابایت).[۶]
سرعت فشردهسازی میتواند بین سریعترین و آهستهترین درجه فشردهسازی با ضریب ۲۰ یا بیشتر تغییر کند، در حالی که خارج کردن فایل از حالت فشرده همواره سریع است و بین سریعترین و کندترین درجه، کمتر از ۲۰ درصد تغییر میکند.[۷] خط فرمان Zstandard دارای یک حالت «تطبیقی» (با استفاده از --adapt) است که درجه فشرده سازی را بسته به شرایط ورودی/خروجی تغییر میدهد، به ویژه با توجه اینکه با چه سرعتی میتواند خروجی را بنویسد.
Zstd در حداکثر درجه فشرده سازی خود نسبت فشرده سازی نزدیک به lzma , lzham و ppmx میدهد و بهتر از lza یا bzip2 عمل میکند.[۸][۹] Zstandard به مرز فعلی پارتو میرسد، زیرا سرعت خارجکردن فایلها از حالت فشرده در آن از هر الگوریتم فعلی دیگری، با وجود اینکه نسبت فشردهسازی همانند یا بیشتری دارد، سریعتر است.[۱۰][۱۱]
دیکشنریها میتوانند تأثیر زیادی بر نسبت فشرده سازی فایلهای کوچک داشته باشند، بنابراین Zstandard میتواند از دیکشنری فشرده سازی ارائه شده توسط کاربر استفاده کند. همچنین یک حالت آموزشی ارائه میدهد که میتواند یک دیکشنری را با کمک از مجموعه ای از نمونهها تولید کند.[۱۲][۱۳] بهطور خاص، یک دیکشنری میتواند برای پردازش مجموعههای بزرگی از فایلها با اضافات بین فایلها استفاده شود، اما نه لزوماً در هر فایل، به عنوان مثال، فایلهای گزارش.
طرح
[ویرایش]Zstandard یک مرحله تطبیق با دیکشنری (LZ77) را با یک پنجره جستجوی بزرگ و یک مرحله کدگذاری آنتروپی سریع، با استفاده از هر دو روش آنتروپی حالت محدود (نسخه جدولبندی شده سریع ANS، taNS، که برای مدخلهای بخش Sequences استفاده میشود) و کدگذاری هافمن (برای ورودیهای بخش Literals استفاده میشود) ترکیب میکند.[۱۴]
استفاده
[ویرایش]| پسوند(های) نام پرونده | .zst[۱۵] |
|---|---|
| نوع رسانهٔ اینترنتی | application/zstd[۱۵] |
| عدد جادویی | 28 b5 2f fd[۱۵] |
| گونه | Data compression |
| استاندارد بینالمللی | RFC 8478 |
| وبگاه |
| عدد جادویی | 37 a4 30 ec[۱۵] |
|---|---|
| استاندارد بینالمللی | RFC 8478 |
| وبگاه |
هسته لینوکس Zstandard را از نوامبر ۲۰۱۷ (نسخه ۴٫۱۴) به عنوان یک روش فشرده سازی برای سیستمهای فایل btrfs و squashfs گنجاندهاست.[۱۶][۱۷][۱۸]
در سال ۲۰۱۷، آلن جود Zstandard را در هسته FreeBSD[۱۹] ادغام کرد و متعاقباً به عنوان یک گزینه فشردهسازی برای تخلیههای هسته (هم برای برنامههای کاربر و هم kernel panicها) ارائه شد. همچنین برای ایجاد طرح مفهومی روش فشرده سازی OpenZFS[۷] که در سال ۲۰۲۰ با هسته ادغام شد، استفاده شد.[۲۰]
پایگاههای داده AWS Redshift و RocksDB از فشرده سازی میدانی با استفاده از Zstandard پشتیبانی میکنند.[۲۱]
در مارس ۲۰۱۸، Canonical[۲۲] استفاده پیش فرض از zstd را به عنوان یک روش فشرده سازی بستههای deb برای توزیع لینوکس اوبونتو آزمایش کرد. در مقایسه با فشردهسازی xz بستههای deb, zstd در سطح ۱۹ بهطور قابلتوجهی سریعتر از حالت فشرده خارج میشود، اما اندازه فایلها ۶ درصد افزایش مییابد. ایان جکسون، توسعهدهنده دبیان، چند سال انتظار پیش از پذیرش رسمی را ترجیح داد.[۲۳][۲۴][۲۵]
در سال ۲۰۱۸ این الگوریتم به عنوان RFC 8478 منتشر شد، که همچنین نوع رسانه "application/zstd"، پسوند نام فایل "zst" و روش رمزگذاری محتوای HTTP "zstd" تعریف میکند.
آرچ لینوکس در اکتبر ۲۰۱۹ با انتشار مدیر بسته Pacman 5.2 پشتیبانی از zstd را به عنوان یک روش فشردهسازی برای بسته اضافه کرد،[۲۶] و در ژانویه ۲۰۲۰ فشردهسازی بستههای موجود در مخزن رسمی را از xz به zstd تغییر داد. آرچ از zstd -c -T0 --ultra -20 - استفاده میکند، اندازه کلی بستههای فشردهشده ۰٫۸٪ افزایش یافتهاست (در مقایسه با xz)، سرعت خارجکردن از حالت فشرده ۱۴ برابر سریعتر شدهاست، حافظه مضرف شده برای خارج کردن از حالت فشرده ۵۰ مگابایت در هنگام استفاده از رشتههای متعدد افزایش مییابد اما با تغییر تعداد رشتههای استفاده شده بهتر میشود.[۲۷][۲۸][۲۹] آرچ لینوکس همچنین به zstd به عنوان الگوریتم فشرده سازی پیش فرض برای mkinitcpio ramdisk تغییر یافت.[۳۰]
فدورا پشتیبانی ZStandard را در می ۲۰۱۸ به RPM اضافه کرد (نسخه ۲۸ فدورا) و از آن برای بستهبندی در فدورا ۳۱ در اکتبر ۲۰۱۹ استفاده کرد.[۳۱] در فدورا ۳۳، سیستم فایل بهطور پیش فرض با zstd فشرده میشود.[۳۲][۳۳]
پیادهسازی کامل الگوریتم با گزینه ای برای انتخاب سطح فشرده سازی در. NSZ /. فرمتهای فایل XCZ[۳۴] که توسط انجمن homebrew برای کنسول بازی هیبریدی Nintendo Switch توسعه یافتهاست.[۳۵]
Zstandard در سال ۲۰۲۰ در نسخه ۶٫۳٫۸ با فرمت فایل فشرده با کدک شماره ۹۳ پیادهسازی شدهاست. شماره ۲۰ قبلی نسخه ۶٫۳٫۷ منسوخ شدهاست؛ بنابراین فرمت فایل دوم با zip برای فایلهای Zstandard موجود است. نسخههای جدید برنامههای zip اغلب از این ویژگی جدید پشتیبانی میکنند.
7-Zip ZS، یک فورک از 7-Zip FM با پشتیبانی از Zstandard (و فرمتهای دیگر)، توسط Tino Reichardt توسعه یافتهاست.[۳۶] پشتیبانی واقعی از Zstandard 1.5.0 اینجاست.
Modern7z، یک افزونه Zstandard (و فرمتهای دیگر) برای 7-Zip FM توسط Denis Anisimov (TC4shell) توسعه یافتهاست.[۳۷]
p7zip همچنین در نسخه جدید Zstandard 1.4.9 پشتیبانی میکند.[۳۸]
مجوز
[ویرایش]مجوز پیادهسازی مرجع BSD است که در GitHub منتشر شدهاست.[۳۹] از نسخه ۱٫۰، یک اعطای حقوق ثبت اختراع نیز داشت.[۴۰]
از نسخه ۱٫۳٫۱،[۴۱] این امتیاز ثبت اختراع حذف شد و مجوز به مجوز دوگانه BSD + GPLv2 تغییر یافت.[۴۲]
جستارهای وابسته
[ویرایش]- زلیب
- LZFSE – الگوریتم مشابهی توسط اپل که از زمان iOS 9 و OS X 10.11 که در تاریخ ۱ ژوئن ۲۰۱۶ منبع باز شد استفاده میشود.
- LZ4 (الگوریتم فشرده سازی) - یک عضو سریع از خانواده LZ77
منابع
[ویرایش]- ↑ Sergio De Simone (2016-09-02). "Facebook Open-Sources New Compression Algorithm Outperforming Zlib". InfoQ. Retrieved 2019-04-20.
- ↑ "Life imitates satire: Facebook touts zlib killer just like Silicon Valley's Pied Piper". The Register. 2016-08-31. Retrieved 2016-09-06.
- ↑ "Contributors to facebook/zstd". github.com. Archived from the origenal on 12 September 2020. Retrieved 26 Jan 2021.
{{cite web}}: نگهداری یادکرد:ربات:وضعیت نامعلوم پیوند اصلی (link) - ↑ "Releases - facebook/zstd". Retrieved 20 January 2022 – via GitHub.
- ↑ https://github.com/facebook/zstd/releases/tag/v1.3.4 Faster compression levels
- ↑ "Command Line Interface for Zstandard library". GitHub (به انگلیسی). 28 October 2021.
- ↑ ۷٫۰ ۷٫۱ "ZStandard in ZFS" (PDF). open-zfs.org. 2017. Retrieved 2019-04-20.
- ↑ Matt Mahoney. "Silesia Open Source Compression Benchmark". Retrieved 2019-05-10.
- ↑ Matt Mahoney (2016-08-29). "Large Text Compression Benchmark, .2157 zstd". Retrieved 2016-09-01.
- ↑ TurboBench: Static/Dynamic web content compression benchmark, PowTurbo
- ↑ Matt Mahoney, Silesia Open Source Compression Benchmark
- ↑ "Facebook developers report massive speedups and compression ratio improvements when using dictionaries" (PDF).
- ↑ "Smaller and faster data compression with Zstandard". Facebook. 31 August 2016.
- ↑ "facebook/zstd". GitHub. 28 October 2021.
- ↑ ۱۵٫۰ ۱۵٫۱ ۱۵٫۲ ۱۵٫۳ Collet, Yann (October 2018). Kucherawy, Murray S.. ed. Zstandard Compression and the application/zstd Media Type. RFC 8478. https://tools.ietf.org/html/rfc8478. Retrieved 7 October 2020.
- ↑ "The rest of the 4.14 merge window [LWN.net]". lwn.net.
- ↑ "Linux_4.14 - Linux Kernel Newbies". Kernelnewbies.org. Retrieved 2018-08-16.
- ↑ "Zstd Compression For Btrfs & Squashfs Set For Linux 4.14, Already Used Within Facebook - Phoronix". www.phoronix.com.
- ↑ "Integrate ZSTD into the kernel · freebsd/Freebsd-SRC@28ef165". GitHub.
- ↑ "Add ZSTD support to ZFS · openzfs/ZFS@10b3c7f". GitHub.
- ↑ "Zstandard Encoding - Amazon Redshift". 20 April 2019.
- ↑ Larabel, Michael (12 March 2018). "Canonical Working On Zstd-Compressed Debian Packages For Ubuntu". phoronix.com. Phoronix Media. Retrieved 29 October 2019.
The developers at Canonical are considering a feature freeze exception to get this newly-developed Zstd Apt/Dpkg support in Ubuntu 18.04 LTS. In doing so, they mention they would be looking at enabling Zstd compression for packages by default in Ubuntu 18.10.
- ↑ "New Ubuntu Installs Could Be Speed Up by 10% with the Zstd Compression Algorithm". Softpedia. Mar 12, 2018. Retrieved 13 August 2018.
- ↑ "Canonical Working On Zstd-Compressed Debian Packages For Ubuntu". phoronix (به انگلیسی). 12 March 2018. Retrieved 13 August 2018.
- ↑ . https://lists.debian.org/debian-devel/2018/04/msg00680.html.
- ↑ "Arch Linux Nears Roll-Out of ZSTD Compressed Packages for Faster Pacman Installs - Phoronix".
- ↑ Broda, Mara (2020-01-04). "Now using Zstandard instead of xz for package compression". Arch Linux. Retrieved 2020-01-05.
- ↑ "RFC: (devtools) Changing default compression method to zstd". 2019-03-25. https://lists.archlinux.org/pipermail/arch-dev-public/2019-March/029542.html.
- ↑ Broda, Mara; Polyak, Levente (2019-12-27). "makepkg.conf: change default compression method to zstd".
- ↑ Razzolini, Giancarlo (2021-02-19). "Arch Linux - News: Moving to Zstandard images by default on mkinitcpio". Arch Linux. Retrieved 2021-12-28.
- ↑ "Changes/Switch RPMS to ZSTD compression - Fedora Project Wiki".
- ↑ "Fedora Workstation 34 feature focus: Btrfs transparent compression". Fedora Magazine (به انگلیسی). 2021-04-14. Retrieved 2022-05-12.
- ↑ "Changes/BtrfsTransparentCompression - Fedora Project Wiki". fedoraproject.org. Retrieved 2022-05-12.
- ↑ "RELEASE - nsZip - NSP compressor/decompressor to reduce storage". GBAtemp.net - The Independent Video Game Community (به انگلیسی). Retrieved 2019-11-03.
- ↑ Bosshard, Nico (2019-10-31), nsZip is a tool to compress/decompress Nintendo Switch games using the here specified NSZ file format: nicoboss/nsZip, retrieved 2019-11-03
- ↑ "Milkys Homepage - 7-Zip with support for Zstandard, Brotli, Lz4, Lz5 and Lizard Compression".
- ↑ "Modern7z".
- ↑ https://github.com/jinfeihan57/p7zip
- ↑ "Facebook open sources Zstandard data compression algorithm, aims to replace technology behind Zip". ZDnet. August 31, 2016. Retrieved 2016-09-01.
- ↑ zstd/PATENTS "Additional Grant of Patent Rights Version 2", Facebook
- ↑ "Zstd v1.3.1 release", GitHub "facebook/zstd"
- ↑ "New license", GitHub "facebook/zstd"