Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

09.10.2019     

Разработчики выпустили несколько новых версий Memcached 1.5.18 и 1.5.19 – программный комплекс позволяет кэшировать информацию в оперативной памяти. ПО актуально для сайтов с высокой нагрузкой.

Главная «фишка» версии 1.5.18 – сохранение содержимого кэша при перезагрузке системы. В 1.5.19 расширили текстовый протокол по умолчанию.

Что такое Memcached

Memcached – высокопроизводительная система хранения данных в оперативной памяти сервера. Систему разработали создатели LiveJournal для собственных нужд. Решение повышает скорость загрузки сайтов и оптимизирует их производительность. Memcached можно использовать в случае повышенной нагрузки на основную СУБД и дисковую подсистему.

Основа программы – хеш-таблица с парами «ключ-значение». Данные из хеш-таблиц позволяют моментально определять сервер, на котором хранится информация. А значит, быстрее находить данные в кэше и извлекать их.

Сервис написан на С и является кроссплатформенным. Клиентские библиотеки ПО есть для C/C++, Python, Java, Perl, Ruby, PHP, .Net. Код Memcached распространяется под лицензией BSD.

Сохранение кэша после перезапуска

В Memcached 1.5.18 разработчики добавили так называемый «теплый кэш». Теперь содержимое кэша сохраняется между перезапусками сервиса.

Memcached 1.5.18 избавляет от появления пиков нагрузки из-за пустого серверного кэша. Когда приложение стартует, оно извлекает содержимое кэша из сохраненной копии и использует его в работе. Сайт не тратит время на сбор коллекции данных, его производительность повышается, растет стабильность доступа.

Разработчики подчеркнули: пока «теплый кэш» – экспериментальная функция, и его стоит использовать осторожно. Они также призвали делиться отзывами о новой функции, чтобы улучшить продукт.

Поддержка устройств постоянной памяти

Начиная с Memcached 1.5.18, для кэширования данных можно использовать не только оперативную, но и постоянную память (persistent-memory, например NVDIMM) через их монтирование с использованием DAX (прямой доступ к ФС в обход страничного кэша без применения уровня блочных устройств).

Хеш-таблица с парами «ключ-значение», записи о соединениях и другая информация по-прежнему будут храниться в оперативной памяти. До перезагрузки эти данные копируются в файл .mmap.

После перезапуска Memcached данные извлекаются из .mmap-файла в оперативную память. Демон исправляет внутренние указатели и восстанавливает хэш-таблицу. Для небольших сайтов это занимает несколько секунд. Но если у вас в памяти около миллиарда элементов, то готовьтесь подождать 2-3 минуты.

«Теплый кеш» помогает, даже если приложение аварийно перезагрузится. Так как основной массив данных сохранится в .mmap-файле, потеряются только самые свежие данные, а значит, сайты будут загружаться быстрее.

Расширение текстового протокола

В Memcached 1.5.19 появился дополнительный набор метакоманд в текстовом протоколе, доступном по умолчанию. Добавили преимущественно функции, которые раньше работали только для бинарного протокола.

Метакоманды также стоит считать экспериментальными. По крайней мере, в нескольких следующих релизах.

Чем это может быть полезно в 1С

На Инфостарте можно найти решения, использующие Memcached для более быстрого получения данных из 1С через протокол XML-RPC (для 7.7 и 1С++) и через протокол OData (для 8.3).

В частности, решение «PHP-драйвер к OData-интерфейсу 8.3» активно развивается на GitHub, и позволяет кэшировать данные из 1С для интеграции с сайтами, использующими в качестве СУБД PostgreSQL, MSSQL и MySQL.
 

Подробное описание новых версий проекта Memcached на GitHub



Источник: https://infostart.ru/journal/news/tekhnologii/razrabotchiki-po-dlya-vysokonagruzhennykh-saytov-nauchili-reshenie-sokhranyat-kesh-pri-perezagruzke-_1132964/
Автор:
Ксения Шестакова Обозреватель


Комментарии
Избранное Подписка Сортировка: Рейтинг всех уровней
1. VmvLer 09.10.19 18:00 Сейчас в теме
Перевел заголовок в свое понимание
Разработчики ПО для высоконагруженных сайтов создали механизм сохранения кэша при перезагрузке системы


ну а чо, хорошая станция сейчас от 32 гиг ОП, так что можно толкать туда кеши - вдруг никто и не заметит или поставят 128 гиг.
2. IssakN 3 10.10.19 09:18 Сейчас в теме
Демон исправляет внутренние указатели и восстанавливает хэш-таблицу

Просветите что за демон? На моей памяти так называли daemon tools.
3. A_Max 18 10.10.19 09:26 Сейчас в теме
(2) Термин из юникс систем ="Сервис".
4. IssakN 3 10.10.19 09:27 Сейчас в теме
(3)Благодарю. Век живи - век учись.
5. Chai Nic 144 10.10.19 16:47 Сейчас в теме
В экосистеме 1с8 подобный "теплый кэш", сохраняемый между перезапусками, пользуется очень нехорошей репутацией из-за отсутствия контроля его целостности и когерентности.. в результате "очистка кэша" стала действием номер 1 при глюках.
Оставьте свое сообщение

См. также

Microsoft создаст единую платформу для разработки под Windows

Новость Новости компаний

Компания представила единую платформу для разработки под Windows, функционал для ответственного использования машинного обучения и другие инструменты для разработчиков. 

вчера в 17:47    194    VKuser24342747    0       

Разработчик Node.js запустил новую JavaScript-платформу Deno 1.0

Новость Языки программирования

Создатель платформы для JavaScript-разработки Node.js Райан Даль выпустил первый официальный релиз нового проекта – Deno 1.0.

вчера в 11:42    261    user1015646    0       

Facebook создал тестовый клон своей сети и населил его умными ботами

Новость Соцсети

Компания Facebook разработала платформу-имитацию оригинальной соцсети. Ее населили ботами, чтобы разработчики отработали различные сценарии поведения без ущерба для пользователей

14.05.2020    721    user1015646    0       

GitHub представил сервис для облачной разработки Codespaces

Новость GitHub

Крупнейший сервис хранения репозиториев кода GitHub выпустил масштабное обновление – компания представила встроенную IDE с инструментами для облачной разработки Codespaces, форумы для обсуждения кода, средства защиты репозиториев и другие новшества

12.05.2020    1298    user1015646    1       

Состоялся релиз Linux-дистрибутива Ubuntu 20.04 LTS

Новость Linux Ubuntu

23 апреля, Canonical объявили о доступности дистрибутива Ubuntu 20.04 LTS, под кодовым названием Focal Fossa. Этот выпуск с долгосрочной поддержкой включает в себя новую тему для рабочего стола и темный режим. Под капотом вы найдете обновленное ядро Linux 5.4 и новый способ установки приложений.

08.05.2020    1324    SKravchenko    0       

Новые возможности видеомессенджера Google Duo

Новость Google Мессенджеры

Мессенджер Google Duo повысил качество видеозвонков благодаря новой технологии видеокодеков. Кроме этого разработчики добавили 4 новые функции, которые должны сделать его использование более комфортным.

07.05.2020    1006    SKravchenko    1       

Проверка на прочность: разработчиков заставили доказать надежность ОС «Аврора»

Новость ОС Безопасность Госзакупки Импортозамещение Мобильные приложения

Российская мобильная ОС «Аврора» должна была стать основной системой для смартфонов и планшетов, которые планировали закупать для чиновников и госкомпаний. Но чтобы госзакупки состоялись, правительство потребовало у разработчиков подтвердить надежность продукта.

07.05.2020    1534    user1015646    2       

Apple и Google объединились в борьбе с коронавирусом

Новость Mac OS Google

Apple и Google объединились для борьбы против COVID-19. В блогах компаний появился анонс разработки на основе Bluetooth, помогающей правительствам всего мира сдерживать распространение заражения

28.04.2020    1312    feva    3       

IBM возродит язык программирования COBOL

Новость Языки программирования

Компания IBM решила, что «древний» язык рано списывать со счетов, и намерена возродить его. 

28.04.2020    1870    user1015646    3       

Бесплатная конференция по управлению данными и искусственному интеллекту

Новость

24 апреля состоится бесплатная онлайн-конференция от сообщества лидеров цифровой трансформации Global CIO – «Управление данными и искусственный интеллект». 

22.04.2020    1310    kbazzh    0       

Git – 15 лет: как появилась и чего достигла самая популярная система контроля версий

Новость git

7 апреля система контроля версий Git отметила 15-летие. Решение, разработанное легендарным Линусом Торвальдсом, используют миллионы разработчиков по всему миру. Рассказываем, как создавалась система и почему она так популярна.

22.04.2020    1908    user1015646    0       

Нейросеть Microsoft будет помогать программистам допускать меньше багов

Новость ИТ-компания Искусственный интеллект Маркет Языки программирования

Microsoft планирует разработать ИИ, который сможет с большой вероятностью находить ошибки в коде. Искусственный интеллект сможет разделять их на критические, важные и малозначимые.

21.04.2020    1794    VKuser24342747    5       

Эксперты спрогнозировали рост рынка дата-центров из-за коронавируса

Новость Аналитика

Исследователи из iKS-Consulting пришли к выводу, что при позитивном сценарии развития пандемии российский рынок ЦОДов сохранит темп роста в 15%. При негативном произойдет замедление развития. 

20.04.2020    1295    VKuser24342747    0       

CorelDRAW Graphics Suite 2020: ИИ, быстродействие и возможность совместной работы

Новость Infostart Software Partners Искусственный интеллект Маркет

Разработчики снабдили пакет ИИ-технологиями, усовершенствовали производительность и добавили инструменты для совместной работы в облачном формате. 

16.04.2020    1972    iivanov1    13       

Российские медучреждения в прошлом году приобрели более 40 тыс. копий отечественных ОС

Новость Импортозамещение Медицина

Разработчики Astra Linux рассказали о популярности своей ОС в медицинских учреждениях. За прошлый год компания продала организациям здравоохранения более 24 тыс. лицензий. Еще 20 тыс. поставила «Базальт СПО».

15.04.2020    1393    VKuser24342747    0       

Нейросеть научили расшифровывать названия товаров в чеках

Новость

Для экономии знаков в чеках названия товарных позиций сокращают так, что они теряют всякий смысл в глазах покупателя. Российские разработчики создали нейросеть, которая поможет расшифровать подобные сокращения.

08.04.2020    1861    user1015646    2       

Видеозвонки для всех: Mail.ru провела ребрендинг старейшего мессенджера ICQ

Новость Mail.Ru Мессенджеры

Mailr.ru Group перезапустила мессенджер ICQ. Теперь он ориентирован на групповые видеозвонки, поддерживает возможность создания быстрых ответов и разработки ботов. 

08.04.2020    2172    VKuser24342747    6       

В Liberica JDK 14 улучшилась совместимость с российскими операционными системами

Новость Языки программирования

Российская компания Bellsoft представила Liberica Java Development Kit 14. Новая версия инструментов для Java-разработчиков обеспечивает улучшенную производительность и совместимость с отечественными ОС.

02.04.2020    1675    VKuser24342747    0       

Microsoft прекратит развитие Visual Basic в качестве языка программирования

Новость Языки программирования

Разработчикам VB корпорация предложила перенести свои наработки на платформы .NET Core или .NET 5.0, где сохранится поддержка языка.

31.03.2020    2386    AnastasiaKl    11       

Программирование без кода: обзор инструментов

Новость Языки программирования

Разработка без кода – форма визуального программирования, где пользователи манипулируют элементами кода, перетаскивая их в специальном интерфейсе. Рассказываем еще про несколько инструментов, позволяющих разрабатывать ПО, не написав ни строчки кода.

26.03.2020    3342    SKravchenko    7       

В России создадут систему для выявления «контактеров» с коронавирусом

Новость Минкомсвязь Мобильные приложения

Координационный совет по борьбе с коронавирусом объявил о создании системы по отслеживанию контактов между здоровыми людьми и зараженными коронавирусом. Данные об этих контактах поможет собрать геолокация смартфонов.

26.03.2020    1945    Senator_I    17       

Российские студенты-программисты провели лекцию в Minecraft с трансляцией в Twitch

Новость Образование

Студенты помогли преподавателю добавить в лекции интерактива: занятие по программированию провели в онлайн-игре Minecraft с трансляцией на канале в Twich и общением в мессенджере Discord.

25.03.2020    2624    user1015646    3       

Apple проведет конференцию для разработчиков WWDC2020 в онлайн-формате

Новость iOS

WWDC – главная конференция для разработчиков ПО для macOS, iOS, iPadOS и watchOS. В этом году Apple решила отказаться от традиционного «живого» мероприятия в театре Стива Джобса и провести его онлайн.

23.03.2020    1720    user1015646    0       

«Яндекс» открыл доступ к исходному коду фреймворка Testsuite 

Новость GitHub Яндекс

Компания «Яндекс» разработала фреймворк Testsuite специально для тестирования сервиса «Яндекс.Такси». Теперь доступ к продукту открыли для всех желающих – исходный код Testsuite выложили на GitHub под лицензией MIT.

18.03.2020    2193    user1015646    0       

Проект «Доступный интернет» сделает услуги связи для россиян дороже

Новость Интернет Минкомсвязь Цифровая экономика

Программа «Доступный интернет» предполагает предоставление бесплатного доступа к сайтам властей. Но отказ Минкомсвязи компенсировать расходы провайдерам может привести к росту цен на услуги связи. 

18.03.2020    2172    VKuser24342747    12