Mindly.Social

Marcel WaldvogelAll you never wanted to know about creating fast socket I/O on <a href="https://waldvogel.family/tags/Linux" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#Linux</a>. Unless you are a real geek.A small, ultra-high performance publish-subscribe server doing kind of TCP <a href="https://waldvogel.family/tags/multicast" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#multicast</a> using <a href="https://waldvogel.family/tags/sendfile" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#sendfile</a>, <a href="https://waldvogel.family/tags/io_uring" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#io_uring</a>, <a href="https://waldvogel.family/tags/splice" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#splice</a>, (mapped) files, and <a href="https://waldvogel.family/tags/fallocate" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#fallocate</a> for file hole punching.Saturating a 10 Gbps link with useful data with just 8 cores.A beautiful writeup for anyone into fast Linux networking. Not just for <a href="https://waldvogel.family/tags/ATproto" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#ATproto</a> h/t <a href="https://smnn.ch/@nohillside" class="u-url mention" rel="nofollow noopener noreferrer" target="_blank">@nohillside</a> <a href="https://waldvogel.family/tags/PubSub" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#PubSub</a> <a href="https://waldvogel.family/tags/Kernel" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#Kernel</a> <a href="https://waldvogel.family/tags/Hacking" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#Hacking</a> <a href="https://www.asayers.com/jetrelay" rel="nofollow noopener noreferrer" translate="no" target="_blank">https://www.asayers.com/jetrelay</a>

Лафиэль ЭлентариСделал простой тест на скачивание большого файла и сравнил влияние поддержки шифрования TLS на уровне ядра (kTLS) на производительность web-сервера Nginx. Тестовый файл размером 14.3 Gb разместил на файловой системе tmpfs и скачивал его утилитой curl в /dev/null. Для каждого теста использовал по 100 замеров и вычислил среднее значение.В настройках Nginx для поддержки kTLS надо активировать поддержку sendfile().Теперь в NixOS модуль ssl автоматически загружает в ядро, если активирован web-сервер Nginx. Пример настройки Nginx для активации kTLS в NixOS: services.nginx.virtualHosts."example.com" = { kTLS = true; extraConfig = '' sendfile on; ''; };Результаты тестирования в MBit/sec с разными комбинациями Sendfile и kTLS: 1) Sendfile off, kTLS off - HTTP/1.1 - 4 274,53 - HTTP/2 - 4 039,19 - HTTP/3 - 3 321,102) Sendfile off, kTLS on - HTTP/1.1 - 3 893,23 - HTTP/2 - 3 690,46 - HTTP/3 - 3 344,113) Sendfile on, kTLS off - HTTP/1.1 - 4 385,40 - HTTP/2 - 4 190,42 - HTTP/3 - 3 320,284) Sendfile on, kTLS on - HTTP/1.1 - 5 558,75 - HTTP/2 - 2 340,39 - HTTP/3 - 3 306,99Мои предположения, что kTLS поддерживает HTTP/3 протокол и то, что скорость скачивания будет достаточно высокой, по сравнению с другими протоколами, оказались неверными.В тестах, при скачивании по HTTP/3 протоколу, ядро процессора нагружалось всего до ~60%, по сравнение в 100%, при тестировании на остальных протоколах. Предполагаю, что протокол будут дальше отлаживать и оптимизировать.При использовании kTLS и sendfile() значительно проседает скорость скачивания по HTTP/2 протоколу. А всё из-за того, что sendfile(), при включенном kTLS, начинает работать плохо для из-за фрейминга, вызывающий большое количество syscall-ов.По итогу, для обслуживание больших статических файлов, рекомендуется включить поддержку kTLS и использовать только HTTP/1.1 протокол. Там, где это невозможно сделать, можно отключить HTTP/2 протокол и использовать остальные протоколы - HTTP/1.1 и HTTP/3. Не смотря на то, что HTTP/3 протокол имеет более низкую скорость скачивания, по сравнению с HTTP/1.1, он всё-равно позволяет ускорить работу сайта за счёт использования других преимуществ.Благодарю разработчиков web-сервера Nginx за консультацию и советы!<a href="https://my.elven.pw/tags/linux" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#linux</a> <a href="https://my.elven.pw/tags/nixos" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#nixos</a> <a href="https://my.elven.pw/tags/nginx" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#nginx</a> <a href="https://my.elven.pw/tags/sendfile" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#sendfile</a> <a href="https://my.elven.pw/tags/ktls" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#ktls</a> <a href="https://my.elven.pw/tags/perfomance" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#perfomance</a>

Recent searches

Search options

Administered by:

Server stats:

#sendfile