Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

Возврат к списку

Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

09.10.2019     
4

Разработчики выпустили несколько новых версий Memcached 1.5.18 и 1.5.19 – программный комплекс позволяет кэшировать информацию в оперативной памяти. ПО актуально для сайтов с высокой нагрузкой.

Главная «фишка» версии 1.5.18 – сохранение содержимого кэша при перезагрузке системы. В 1.5.19 расширили текстовый протокол по умолчанию.

Что такое Memcached

Memcached – высокопроизводительная система хранения данных в оперативной памяти сервера. Систему разработали создатели LiveJournal для собственных нужд. Решение повышает скорость загрузки сайтов и оптимизирует их производительность. Memcached можно использовать в случае повышенной нагрузки на основную СУБД и дисковую подсистему.

Основа программы – хеш-таблица с парами «ключ-значение». Данные из хеш-таблиц позволяют моментально определять сервер, на котором хранится информация. А значит, быстрее находить данные в кэше и извлекать их.

Сервис написан на С и является кроссплатформенным. Клиентские библиотеки ПО есть для C/C++, Python, Java, Perl, Ruby, PHP, .Net. Код Memcached распространяется под лицензией BSD.

Сохранение кэша после перезапуска

В Memcached 1.5.18 разработчики добавили так называемый «теплый кэш». Теперь содержимое кэша сохраняется между перезапусками сервиса.

Memcached 1.5.18 избавляет от появления пиков нагрузки из-за пустого серверного кэша. Когда приложение стартует, оно извлекает содержимое кэша из сохраненной копии и использует его в работе. Сайт не тратит время на сбор коллекции данных, его производительность повышается, растет стабильность доступа.

Разработчики подчеркнули: пока «теплый кэш» – экспериментальная функция, и его стоит использовать осторожно. Они также призвали делиться отзывами о новой функции, чтобы улучшить продукт.

Поддержка устройств постоянной памяти

Начиная с Memcached 1.5.18, для кэширования данных можно использовать не только оперативную, но и постоянную память (persistent-memory, например NVDIMM) через их монтирование с использованием DAX (прямой доступ к ФС в обход страничного кэша без применения уровня блочных устройств).

Хеш-таблица с парами «ключ-значение», записи о соединениях и другая информация по-прежнему будут храниться в оперативной памяти. До перезагрузки эти данные копируются в файл .mmap.

После перезапуска Memcached данные извлекаются из .mmap-файла в оперативную память. Демон исправляет внутренние указатели и восстанавливает хэш-таблицу. Для небольших сайтов это занимает несколько секунд. Но если у вас в памяти около миллиарда элементов, то готовьтесь подождать 2-3 минуты.

«Теплый кеш» помогает, даже если приложение аварийно перезагрузится. Так как основной массив данных сохранится в .mmap-файле, потеряются только самые свежие данные, а значит, сайты будут загружаться быстрее.

Расширение текстового протокола

В Memcached 1.5.19 появился дополнительный набор метакоманд в текстовом протоколе, доступном по умолчанию. Добавили преимущественно функции, которые раньше работали только для бинарного протокола.

Метакоманды также стоит считать экспериментальными. По крайней мере, в нескольких следующих релизах.

Чем это может быть полезно в 1С

На Инфостарте можно найти решения, использующие Memcached для более быстрого получения данных из 1С через протокол XML-RPC (для 7.7 и 1С++) и через протокол OData (для 8.3).

В частности, решение «PHP-драйвер к OData-интерфейсу 8.3» активно развивается на GitHub, и позволяет кэшировать данные из 1С для интеграции с сайтами, использующими в качестве СУБД PostgreSQL, MSSQL и MySQL.
 

Подробное описание новых версий проекта Memcached на GitHub



Источник: https://infostart.ru/journal/news/tekhnologii/razrabotchiki-po-dlya-vysokonagruzhennykh-saytov-nauchili-reshenie-sokhranyat-kesh-pri-perezagruzke-_1132964/
Автор:
Ксения Шестакова Обозреватель


Комментарии
Избранное Подписка Сортировка: Древо
1. VmvLer 09.10.19 18:00 Сейчас в теме
Перевел заголовок в свое понимание
Разработчики ПО для высоконагруженных сайтов создали механизм сохранения кэша при перезагрузке системы


ну а чо, хорошая станция сейчас от 32 гиг ОП, так что можно толкать туда кеши - вдруг никто и не заметит или поставят 128 гиг.
2. IssakN 3 10.10.19 09:18 Сейчас в теме
Демон исправляет внутренние указатели и восстанавливает хэш-таблицу

Просветите что за демон? На моей памяти так называли daemon tools.
3. A_Max 17 10.10.19 09:26 Сейчас в теме
(2) Термин из юникс систем ="Сервис".
4. IssakN 3 10.10.19 09:27 Сейчас в теме
(3)Благодарю. Век живи - век учись.
5. Chai Nic 139 10.10.19 16:47 Сейчас в теме
В экосистеме 1с8 подобный "теплый кэш", сохраняемый между перезапусками, пользуется очень нехорошей репутацией из-за отсутствия контроля его целостности и когерентности.. в результате "очистка кэша" стала действием номер 1 при глюках.
Оставьте свое сообщение

См. также

В России появится «медицинский» ИИ на отечественных нейропроцессорах  1

Новость Искусственный интеллект Медицина Нейросети

Российские разработчики создадут программно-аппаратную базу для системы искусственного интеллекта, которую планируется использовать в медицине. Для ее создания задействуют отечественные нейропроцессоры.

17.01.2020    349    user1015646    3       

Amazon представила библиотеку для создания приложений с применением ИИ 6

Новость Amazon Искусственный интеллект

Чтобы создать приложение с помощью ИИ, разработчику достаточно написать всего три строки кода. 

16.01.2020    1018    AnastasiaKl    7       

Microsoft предложила купить новый ПК вместо обновления старого до Windows 10 3

Новость Microsoft

Поддержка Windows 7 прекращается 14 января. Microsoft напоминает пользователям, что их устройство может не поддерживать «десятку», и рекомендует вместо обновления купить новый компьютер. 

14.01.2020    1387    VKuser24342747    18       

Российский программист создал сервис, который может продолжить любую историю за рассказчика 4

Новость Искусственный интеллект Маск Нейросети

Разработчик Михаил Гранкин создал сервис «Порфирьевич», который умеет дописывать тексты на русском языке. Гранкин взял за основу нейросеть GPT-2 компании OpenAI. Один из основателей компании – Илон Маск, создатель Tesla и SpaceX. 

09.01.2020    8002    user1015646    15       

Apple отключила чип для Bluetooth в российских iPhone 11 из-за запрета Роскомнадзора 1

Новость Apple Роскомнадзор

Apple попросила Роскомнадзор выдать лицензию на частоты, необходимые для использования новой технологии беспроводной передачи данных. Из-за отказа ведомства компания отключила в России чип, необходимый для этой функции. 

24.12.2019    2252    VKuser24342747    38       

Система госзакупок засбоила после перехода на свободное ПО 2

Новость Госзакупки Мобильные приложения Тендер

Модуль в системе госзакупок, который отвечает за взаимодействие с электронными площадками и внешними решениями, решили перевести на ПО с открытым исходным кодом. В результате перехода система больше суток работала со сбоями.

23.12.2019    1380    user1015646    6       

Путин подписал указ о переводе российских больниц на электронный документооборот 5

Новость Здравоохранение, медицина, стоматология Путин Цифровая экономика

Президент России Владимир Путин утвердил несколько поручений, направленных на цифровизацию здравоохранения. Среди них – внедрение электронного документооборота в больницах страны. 

19.12.2019    1856    user1015646    8       

Экспертный совет: «Яндекс» значительно обновил поисковую систему 3

Новость Интернет Яндекс

«Яндекс» представил обновление «Вега» для своей системы поиска. В сервисе появилось более 1500 нововведений и улучшений. Главная особенность – функция экспертного поиска. 

19.12.2019    1561    VKuser24342747    4       

ИИ от Amazon освободит врачей от бумажной работы и поможет пациенту прочесть рецепты 2

Новость Amazon Искусственный интеллект Нейросети

Разработчики представили нейросеть Transcribe Medical. Она слушает беседу врача и пациента и помогает вести медицинские записи.

19.12.2019    1293    user1015646    1       

Russian AI Cup 2019: стартовал чемпионат Mail.Ru Group по программированию искусственного интеллекта 5

Новость Искусственный интеллект Нейросети

Участвовать в Russian AI Cup 2019 могли все желающие – от студентов профильных вузов и фанатов передовых технологий до профессиональных разработчиков.

17.12.2019    1590    user1015646    14       

Вот так сюрприз: в самом копируемом фрагменте Java-кода нашли ошибку 7

Новость Языки программирования

Сайт StackOverflow – популярная система вопросов и ответов о программировании. Но не все советы коллег одинаково полезны: в самом цитируемом куске кода на Java, представленном на StackOverflow, обнаружили серьезный баг.

16.12.2019    2847    user1015646    3       

Команда из России превратила Python-хакатон в свой мастер-класс 5

Новость Языки программирования

В Бахрейне прошел ИТ-марафон GeoHack-2019. Команды должны были создать нейронные сети для обработки данных с месторождений нефти.

13.12.2019    1891    user1015646    3       

Google начал учитывать контекст слов при русскоязычном поиске 3

Новость Google Интернет Нейросети

Компания Google обновила алгоритмы для поиска по русскоязычным сайтам. Это крупнейший апдейт системы за последние пять лет. Его главная цель – улучшить результаты выдачи. 

13.12.2019    1370    VKuser24342747    3       

Аэропорт «Внуково» отказался от электронных посадочных талонов из-за законодательства 1

Новость Законодательство Цифровая экономика

«Внуково» перестал пускать в самолеты пассажиров с электронными посадочными талонами. Остальные российские аэропорты по-прежнему используют цифровые билеты. 

11.12.2019    2109    VKuser24342747    5       

У кроссплатформенной библиотеки разработки Qt появился свой магазин модулей и дополнений 2

Новость Языки программирования

Qt Company запустила официальный магазин дополнений и модулей для Qt: популярный фреймворк используют для создания ПО на С++, но существуют привязки решения к другим языкам.

11.12.2019    1620    user1015646    5       

Apple изменит политику презентации моделей 1

Новость Apple Гаджеты

С момента выпуска первого смартфона – в 2007 году – Apple презентовала свои новинки раз в год. В агентстве JP Morgan предположили, что к 2021 году стратегия изменится: компания начнет презентовать новинки дважды в год.

10.12.2019    1355    Bukaska    2       

Nvidia не будет поддерживать macOS в следующем обновлении CUDA 4

Новость Apple MacOS Видеоигры

Новую версию платформы параллельных вычислений CUDA нельзя будет установить на macOS. Nvidia приняла решение, которое в перспективе может повлиять на качество работы программ с тяжелой графикой и сложными вычислениями на компьютерах Apple. 

09.12.2019    1463    user1015646    2       

Свой Space, свои правила: JetBrains представил новый сервис для командной работы 6

Новость git Управление проектами

Компания JetBrains анонсировала новый сервис для организации командной работы. Продукт от разработчика с российскими корнями получил название Space.

09.12.2019    1738    user1015646    13       

Huawei Mate 30 стал первым телефоном компании без деталей из США 2

Новость Android Гаджеты

Компания Huawei выпустила первый смартфон, собранный без американских комплектующих. Тем не менее, компания все еще продолжает бороться против санкций США. 

09.12.2019    1645    VKuser24342747    1       

Инфостарт и electroNeek запускают программу роботизации процессов для малых и средних предприятий 19

Новость Автоматизация Инфостарт

Инфостарт заключил партнерский договор с компанией electroNeek – разработчиком  программного обеспечения для автоматизации повторяющихся бизнес-задач. Наша цель – сделать роботизированную автоматизацию процессов (RPA) доступной. 

06.12.2019    2513    user997184    7       

Проект Verona: Microsoft перепишет часть Windows на новом языке 6

Новость Microsoft Языки программирования

Microsoft запустила экспериментальный проект по разработке собственного языка программирования Verona, основанного на Rust.

05.12.2019    2125    user1015646    6       

Nokia создала ПО для программирования интернете вещей на базе Tarantool 3

Новость СУБД Mail.Ru Инновации

Модуль позволит разрабатывать ПО для систем промышленного интернета вещей. Он включает инструменты для управления интеллектуальными средами и обеспечивает взаимодействие IOC с граничными облачными приложениями. 

02.12.2019    1458    user1015646    6       

Google пожаловался на разработчиков игр из-за неудачного старта сервиса Stadia 2

Новость Google Видеоигры

Облачный сервис Google Stadia не оправдал ожидания игроков. Он не позволяет запускать игры в разрешении 4K, имеет большую задержку ввода и приводит к перегреву плеера Chromecast.

02.12.2019    1755    VKuser24342747    5       

В России и Европе закончились адреса IPv4 4

Новость Интернет

«25 ноября 2019 года, мы сделали окончательное распределение / 22 IPv4 по последним оставшимся адресам в нашем доступном пуле. Теперь у нас закончились адреса IPv4», – сообщает один из пяти глобальных интернет-регистраторов RIPE NCC. 

28.11.2019    2072    user1015646    0       

Российский офисный пакет исключили из реестра отечественного ПО за плагиат  3

Новость Госзакупки Импортозамещение

Пакет офисных программ AlterOffice исключили из Реестра российского программного обеспечения. В нем нашли признаки клонирования зарубежного аналога LibreOffice с открытым исходным кодом.

27.11.2019    2708    user1015646    9