Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

Возврат к списку

Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

09.10.2019     

Разработчики выпустили несколько новых версий Memcached 1.5.18 и 1.5.19 – программный комплекс позволяет кэшировать информацию в оперативной памяти. ПО актуально для сайтов с высокой нагрузкой.

Главная «фишка» версии 1.5.18 – сохранение содержимого кэша при перезагрузке системы. В 1.5.19 расширили текстовый протокол по умолчанию.

Что такое Memcached

Memcached – высокопроизводительная система хранения данных в оперативной памяти сервера. Систему разработали создатели LiveJournal для собственных нужд. Решение повышает скорость загрузки сайтов и оптимизирует их производительность. Memcached можно использовать в случае повышенной нагрузки на основную СУБД и дисковую подсистему.

Основа программы – хеш-таблица с парами «ключ-значение». Данные из хеш-таблиц позволяют моментально определять сервер, на котором хранится информация. А значит, быстрее находить данные в кэше и извлекать их.

Сервис написан на С и является кроссплатформенным. Клиентские библиотеки ПО есть для C/C++, Python, Java, Perl, Ruby, PHP, .Net. Код Memcached распространяется под лицензией BSD.

Сохранение кэша после перезапуска

В Memcached 1.5.18 разработчики добавили так называемый «теплый кэш». Теперь содержимое кэша сохраняется между перезапусками сервиса.

Memcached 1.5.18 избавляет от появления пиков нагрузки из-за пустого серверного кэша. Когда приложение стартует, оно извлекает содержимое кэша из сохраненной копии и использует его в работе. Сайт не тратит время на сбор коллекции данных, его производительность повышается, растет стабильность доступа.

Разработчики подчеркнули: пока «теплый кэш» – экспериментальная функция, и его стоит использовать осторожно. Они также призвали делиться отзывами о новой функции, чтобы улучшить продукт.

Поддержка устройств постоянной памяти

Начиная с Memcached 1.5.18, для кэширования данных можно использовать не только оперативную, но и постоянную память (persistent-memory, например NVDIMM) через их монтирование с использованием DAX (прямой доступ к ФС в обход страничного кэша без применения уровня блочных устройств).

Хеш-таблица с парами «ключ-значение», записи о соединениях и другая информация по-прежнему будут храниться в оперативной памяти. До перезагрузки эти данные копируются в файл .mmap.

После перезапуска Memcached данные извлекаются из .mmap-файла в оперативную память. Демон исправляет внутренние указатели и восстанавливает хэш-таблицу. Для небольших сайтов это занимает несколько секунд. Но если у вас в памяти около миллиарда элементов, то готовьтесь подождать 2-3 минуты.

«Теплый кеш» помогает, даже если приложение аварийно перезагрузится. Так как основной массив данных сохранится в .mmap-файле, потеряются только самые свежие данные, а значит, сайты будут загружаться быстрее.

Расширение текстового протокола

В Memcached 1.5.19 появился дополнительный набор метакоманд в текстовом протоколе, доступном по умолчанию. Добавили преимущественно функции, которые раньше работали только для бинарного протокола.

Метакоманды также стоит считать экспериментальными. По крайней мере, в нескольких следующих релизах.

Чем это может быть полезно в 1С

На Инфостарте можно найти решения, использующие Memcached для более быстрого получения данных из 1С через протокол XML-RPC (для 7.7 и 1С++) и через протокол OData (для 8.3).

В частности, решение «PHP-драйвер к OData-интерфейсу 8.3» активно развивается на GitHub, и позволяет кэшировать данные из 1С для интеграции с сайтами, использующими в качестве СУБД PostgreSQL, MSSQL и MySQL.
 

Подробное описание новых версий проекта Memcached на GitHub



Источник: https://infostart.ru/journal/news/tekhnologii/razrabotchiki-po-dlya-vysokonagruzhennykh-saytov-nauchili-reshenie-sokhranyat-kesh-pri-perezagruzke-_1132964/
Автор:
Ксения Шестакова Обозреватель


Комментарии
Избранное Подписка Сортировка: Дата
5. Chai Nic 135 10.10.19 16:47 Сейчас в теме
В экосистеме 1с8 подобный "теплый кэш", сохраняемый между перезапусками, пользуется очень нехорошей репутацией из-за отсутствия контроля его целостности и когерентности.. в результате "очистка кэша" стала действием номер 1 при глюках.
4. IssakN 3 10.10.19 09:27 Сейчас в теме
(3)Благодарю. Век живи - век учись.
3. A_Max 17 10.10.19 09:26 Сейчас в теме
(2) Термин из юникс систем ="Сервис".
2. IssakN 3 10.10.19 09:18 Сейчас в теме
Демон исправляет внутренние указатели и восстанавливает хэш-таблицу

Просветите что за демон? На моей памяти так называли daemon tools.
1. VmvLer 09.10.19 18:00 Сейчас в теме
Перевел заголовок в свое понимание
Разработчики ПО для высоконагруженных сайтов создали механизм сохранения кэша при перезагрузке системы


ну а чо, хорошая станция сейчас от 32 гиг ОП, так что можно толкать туда кеши - вдруг никто и не заметит или поставят 128 гиг.
Оставьте свое сообщение

См. также

Цифровые подписи в России начнут выдавать дистанционно  0

Новость Минкомсвязь Цифровая подпись

В России запустят эксперимент по дистанционной выдаче облачной электронной подписи. Эксперимент стартует в ноябре 2019 года, а закончится – в декабре 2021 года. 

вчера в 17:00    171    user1015646    0       

Google может сделать хранение данных в облаке платным 0

Новость Google Облачные технологии

Google привлек миллиарды потребителей к своим цифровым услугам, предлагая бесплатное облачное хранилище. Gmail, Google Docs, Google Photos и другие сервисы, которые хранят данные на облачных серверах Alphabet, скоро могут стать платными.

11.11.2019    585    SKravchenko    0       

Правительство предложило запретить зарубежные решения в банках, медицине и промышленности 1

Новость Законодательство Импортозамещение

Минэкономразвития выступило с инициативой запретить использование иностранных программ и «железа» на объектах критической информационной инфраструктуры. Применяемые заграничные решения могут быть заменены на отечественные аналоги. 

08.11.2019    619    VKuser24342747    1       

Российские разработчики «подарили» Linux драйвер для exFAT  1

Новость Linux Microsoft

Ядро Linux не умеет взаимодействовать с такими накопителями, но благодаря драйверу, разработанному российскими специалистами из Paragon Software, свободная ОС получит поддержку exFAT на уровне ядра.

06.11.2019    610    user1015646    0       

Необновленные iPhone 5 остались без почты, iCloud и других сервисов 2

Новость Apple

Компания Apple предупредила пользователей iPhone 5 о необходимости обновить ОС до версии  10.3.4 до 3 ноября 2019 года. Те, кто не успел этого сделать, остались без почты, браузера и возможности пользоваться AppStore и iCloud. 

06.11.2019    580    Bukaska    0       

В сети появилась информация о возможностях новой Windows 10X 0

Новость Windows Microsoft

Windows 10X выйдет осенью 2020 года – об этом официально объявили в Microsoft. До релиза еще год, поэтому подробности держат в секрете, но благодаря утечкам информации о новой ОС уже кое-что известно.

01.11.2019    1448    user1015646    0       

На российский рынок выведут отечественный SSD 5

Новость Электротехника и микроэлектроника

На российском рынке вскоре появится первый твердотельный накопитель отечественного производства. Компания Kraftway планирует выпустить SSD, который даст ей серьезные преимущества в госзакупках. 

30.10.2019    3047    user1015646    19       

Большой брат не дорос: GitLab на время отказался от слежки за пользователями 1

Новость Безопасность

Репозиторий GitLab решил не вводить принудительный сбор телеметрических данных пользователей. Причиной стало масштабное недовольство аудитории сервиса и призывы отказаться от его услуг. 

29.10.2019    788    VKuser24342747    0       

Искусственный интеллект проследит за работой российских нефтяников 0

Новость Искусственный интеллект

В России разрабатывают интеллектуальную систему, которая будет следить за сотрудниками нефтедобывающих и нефтеперерабатывающих предприятий. ИИ проверит, как нефтяники выполняют свои обязанности, соблюдают ли технику безопасности. 

28.10.2019    768    user1015646    0       

У СУБД Postgres Pro появился таинственный конкурент 3

Новость PostgreSQL

У российской системы управления базами данных Postgres Pro появился отечественный конкурент – СУБД Jatoba. Решение разрабатывается на основе движка PostgreSQL, создатель – компания «Газинформсервис», поставщик ИТ-решений для «Газпрома». 

25.10.2019    1945    user1015646    13       

На компьютерах с новой аппаратной защитой установят «неудаляемую»Windows 1

Новость Windows Microsoft

Компания Microsoft разработала новую технологию защиты от пиратов и хакеров – Secured-core PC. Технология защищает UEFI-прошивку от инъекций вредоносного кода, но делает Windows неудаляемой с компьютера. 

25.10.2019    1514    user1015646    0       

Пора обновляться: пользователи устаревших ОС останутся без WhatsApp 0

Новость Android iOS Мобильные приложения

Разработчики прекратят поддержку WhatsApp на устройствах под управлением ранних версий Android, iOS и Windows Phone.

24.10.2019    1278    user1015646    1       

«Байкал» представил восьмиядерный процессор на архитектуре ARM 1

Новость Электротехника и микроэлектроника Микропроцессоры Стартапы

Компания «Байкал Электроникс» рассказала о характеристиках своего нового процессора.  CPU получит восемь ядер, архитектуру ARM и встроенный графический чип. Изначально ЦПУ должен был появиться еще в 2016 году. 

24.10.2019    1183    VKuser24342747    0       

Искусственный интеллект научился предсказывать увольнения по резюме 0

Новость Искусственный интеллект

Сбербанк разработал систему, которая поможет сократить текучку кадров в компании и затраты на обучение сотрудников. Искусственный интеллект предскажет вероятность увольнения сотрудника по его резюме. 

23.10.2019    1356    user1015646    0       

Искусственный интеллект отследит наличие товаров в российских магазинах  2

Новость Искусственный интеллект

В столичных магазинах ритейлера X5 Retail Group тестируют систему, которая автоматически отслеживает наличие товаров на полках. Искусственный интеллект сообщит персоналу, что запасы продуктов в торговом зале нужно пополнить. 

22.10.2019    935    user1015646    1       

Разработчики Chrome планируют отключить загрузку смешанного контента с адресов HTTPS 3

Новость Google Веб Интернет

Разработчики Chrome заявили о постепенном отключении возможности загрузки смешанного трафика в их браузере.

17.10.2019    1577    Senator_I    3       

Выжить любой ценой: разработчик создал ОС на случай апокалипсиса 1

Новость Микропроцессоры

Апокалипсис – популярный сюжет для фантастических фильмов, сериалов и компьютерных игр. Но достаточно много людей верит, что такой вариант развития событий вполне реален. На этот случай разработчик Вирджил Дюпрас создал универсальную операционную систему Collapse OS.

16.10.2019    2195    user1015646    0       

Huawei начнет использовать российскую ОС для своих новых серверов 3

Новость Импортозамещение Облачные технологии Цифровая экономика

На сервера Huawei будет установлена российская операционная система «Альт Linux». Устройства на базе отечественной ОС смогут покупать госструктуры в рамках политики импортозамещения.

15.10.2019    1711    VKuser24342747    1       

Где это вообще: нейросеть научили узнавать страны по фото 0

Новость Нейросети Яндекс

Бывает, смотришь на фото и понятия не имеешь, где оно сделано. Компания «Яндекс» создала нейросеть, которая поможет с этим справиться. Она укажет, в какой стране был сделан снимок.

14.10.2019    1492    user1015646    0       

Домены в Рунете можно будет зарегистрировать через портал госуслуг 0

Новость Безопасность Веб Интернет Минкомсвязь

Координационный центр (КЦ)  доменов .RU/.РФ вместе с регистратором Ru-Center протестировали систему регистрации доменов через Единую систему идентификации и аутентификации (ЕСИА). Такая методика освобождает регистратор от потребности в проверке данных пользователей

14.10.2019    1171    user-programmist    0       

Разработчики научили эмулятор ретро-игр использовать ИИ для перевода видеоигр на любой язык 0

Новость Видеоигры Искусственный интеллект

Разработчики популярного приложения для ретро-игр RetroArch представили функцию «AI Service», которая переводит текст в компьютерных играх на любой язык, используя машинное обучение.

08.10.2019    1453    SKravchenko    1       

Не раскрывших исходный код ПО разработчиков могут лишить госзаказов 2

Новость Госзакупки Касперский

По новым правилам, для сертификации по уровням доверия, необходимо предоставить исходный код продукта, иначе с 1 января 2020 года компании могут лишиться доступа к госзаказам.

02.10.2019    1848    Senator_I    5       

Искусственный интеллект научился диагностировать болезни на уровне опытных врачей 2

Новость Искусственный интеллект Медицина

Искусственный интеллект оказался столь же успешен в диагностике, как опытные врачи. Такой вывод сделали исследователи Министерства здравоохранения и социального обеспечения Великобритании. 

01.10.2019    1552    user1015646    0       

Без дисков и флешек: переустановить Windows 10 можно будет из облака 0

Новость Windows Microsoft

Если раньше переустановить Windows 10 можно было только с помощью локальной или внешней копии, то теперь появилась новая возможность – инсталляция из облака.

30.09.2019    2056    user1015646    1       

Facebook купит стартап по управлению компьютерами силой мысли 0

Новость Facebook

Сумма сделки не раскрывается, но близкие к компаниям источники говорят о сумме в 1 млрд долларов, сообщает Bloomberg.

30.09.2019    1779    user1015646    0       

Никаких суеверий: Apple открыла доступ к iOS 13 4

Новость iOS Apple

Новые операционные системы от Apple уже доступны для загрузки. Обновиться можно не только до iOS 13, но и до версии 13.1.

26.09.2019    1826    user1015646    7       

Много букв: энтузиаст запустил 3D-игру из ASCII-символов 6

Новость Видеоигры

Разработчик под ником gumiks запустил приложение, которое отображает трехмерную графику с помощью разноцветных ASCII-символов.

26.09.2019    2232    user1015646    3       

Telegram предлагает 400 тыс. долларов за разработку смарт-контрактов для TON 3

Новость Telegram Блокчейн

Telegram впервые официально рассказал о проекте TON. Компания объявила конкурс для разработчиков смарт-контрактов с призом в 400 тыс. долларов. Решение победителя будет использовано для блокчейн-платформы. 

26.09.2019    1855    VKuser24342747    12       

Вышла окончательная спецификация интерфейса USB4 4

Новость Гаджеты

На форуме по внедрению USB опубликована спецификация стандарта USB4. Архитектура USB4 удваивает пропускную способность и позволяет одновременно передавать несколько потоков данных.

25.09.2019    2375    SKravchenko    17       

Быстрый и бесплатный: компилятор из Android в ОС Huawei обещает 60% рост скорости приложений 3

Новость Android

Разработчики выложили в открытый доступ компилятор Ark Compiler. Он позволит перенести Android-приложения на платформу Harmony OS для устройств Huawei и ускорить работу ПО на 60%.

24.09.2019    1825    user1015646    4       

Excel не только для расчетов: в офисном приложении запустили игру «Цивилизация» 7

Новость Видеоигры

Разработчик под ником s0lly перенес компьютерную игру «Цивилизация» в Microsoft Excel. Известно, что s0lly – из Великобритании, свое имя он не раскрывает. 

16.09.2019    4488    user1015646    31       

Без сюрпризов: Apple презентовала новые смартфоны 3

Новость

Apple обновила линейку своих продуктов. На ежегодной презентации компания представила новые смартфоны, умные часы и планшет, а также сервисы для геймеров и любителей кино. 

13.09.2019    2424    VKuser24342747    20       

Главный архитектор СУБД Tarantool покинул Mail.Ru 4

Новость СУБД Mail.Ru

Главный архитектор СУБД Tarantool Константин Осипов заявил, что уходит из команды поддержки базы данных в Mail.Ru. Распалась и команда мейнтейнеров – людей, которые имеют право вносить изменения в основную ветку продукта.

12.09.2019    4093    user1015646    22       

HMD Global представила наследника «неубиваемой» Nokia 3310 2

Новость Гаджеты

С момента выпуска первой модели телефона Nokia 3310 прошло 19 лет. В честь этого компания HMD Global (владелец бренда Nokia) представила новое устройство в противоударном корпусе. 

11.09.2019    3763    VKuser24342747    9       

Импортозамещение на блокчейне: российская компания готовит переворот в логистике 2

Новость Оптовая торговля, дистрибуция, логистика Блокчейн

Компания Vostok создаст блокчейн-платформу, которая повысит эффективность международной транспортировки грузов и сократит расходы на администрирование.

11.09.2019    2219    user1015646    4       

Позолоти ручку: оплатить покупки в Amazon можно будет жестами  2

Новость Amazon Инновации

Amazon позволит клиентам рассчитываться в магазине при помощи жестов. Новая система идентификации будет подтверждать транзакцию по изображению рук покупателя. 

09.09.2019    1677    VKuser24342747    0       

Microsoft прекратит поддержку Windows 10 версии 1703 для бизнеса в октябре 3

Новость Windows Microsoft

Корпоративная Windows 10 версии 1703 перестанет поддерживаться уже этой осенью. При этом почти половина компаний малого и среднего бизнеса продолжают использовать Windows 7. 

06.09.2019    4418    VKuser24342747    20       

Обновленный режим инкогнито в Google Chrome не смог полностью обойти механизм платных подписок 3

Новость Google Интернет

Google выпустил новую версию браузера Chrome с усовершенствованным режимом инкогнито. Его «побочный эффект» – возможность читать статьи, которые раньше были доступны только по платной подписке. Но действует опция не на всех сайтах.

06.09.2019    2696    user1015646    20       

Российский телефонный номер может заменить паспорт при онлайн-регистрации 2

Новость Цифровая экономика

SIM-карты в России могут стать заменой паспорта. Операторы предложили внедрить технологию, которая позволит с помощью телефонного номера подтвердить свою личность при получении онлайн-услуг. 

03.09.2019    2444    VKuser24342747    8       

Центробанку поможет «Серафим»: для пользователей системы быстрых платежей создали мессенджер 3

Новость Банки Мессенджеры Центробанк

Центробанк улучшит свою систему быстрых платежей (СБП) и расширит набор ее функций. Систему интегрируют с мессенджером «Серафим», чтобы реализовать в нем быстрые платежи. Доступ к СБП могут получить юрлица.

03.09.2019    1985    user1015646    1       

Microsoft запатентовала технологию, которая превратит смартфоны в портативный Xbox 4

Новость Microsoft Видеоигры Мобильные приложения

Контроллеры для управления вводом временно крепятся к гаджету с сенсорным экраном. Среди возможных функций – встроенные динамики, разъем для наушников и поддержку беспроводных наушников. 

02.09.2019    6359    SKravchenko    2       

Intel представила нейроморфный процессор 5

Новость Intel

Компания Intel продемонстрировала чипы Loihi, созданные по образу и подобию человеческого мозга. 64 микрочипа образуют систему Pohoiki Beach, обладающую мощностью эквивалентной 8 млн нейронов. 

02.09.2019    2803    user-programmist    18       

Google купил платформу для бизнес-аналитики за 2,6 млрд долларов 6

Новость Google Стартапы

Looker Data Sciences – разработчик ПО для бизнес-аналитики, его решения используют для организации, анализа и визуализации бизнес-данных. После закрытия сделки с Google стартап присоединится к Google Cloud.

02.09.2019    2453    SKravchenko    13       

Microsoft заплатит до 30 тысяч долларов за найденные баги 3

Новость Microsoft

Microsoft повышает качество своих браузеров и готова платить за помощь в этом. Корпорация запустила программу по поиску уязвимостей в браузере Microsoft Edge. Найденный уникальный баг принесет участникам акции до 30 тыс. долларов.

29.08.2019    2136    user1015646    7       

Рынок видеокарт начал оправляться от «криптопохмелья» 6

Новость Криптовалюта

Производители видеокарт получили хорошую прибыль во время бума майнинга – биткоин-фермы в основном использовали вычислительные мощности GPU. Но сейчас, когда криптовалюта вышла из тренда, компании начали резко терять прибыль.  

23.08.2019    10305    VKuser24342747    7       

Google решил отказаться от FTP-протокола 5

Новость Google

FTP-протокол ждет забвение. Компания Google решила отказаться от его использования в Chrome, а Mozilla – в Firefox.

22.08.2019    3074    user1015646    16       

Заложено в генах: «Сбербанк» будет проводить ДНК-тесты 5

Новость Инновации Сбербанк

«Сбербанк» запустил медицинский проект SberHealth и активно ищет новых сотрудников для него. Подразделение займется ДНК-тестами, телемедициной и биохакингом. 

20.08.2019    2372    VKuser24342747    47       

Грядет С++ 20: что включат в новую редакцию 5

Новость Языки программирования

Комитет по стандартам языка программирования C++ завершает разработку новой редакции. Разбираемся, какие изменения ждут программистов в C++ 20.

15.08.2019    6750    user1015646    10       

Нейросеть будет искать кандидатов на отчисление в вузах 3

Новость Искусственный интеллект Нейросети

В российских вузах появится система на базе машинного обучения, которая будет отслеживать успеваемость и активность студентов. Деканат при помощи программы сможет принимать решение об отчислении или поощрении учащихся. 

14.08.2019    2317    VKuser24342747    77       

Огонь, вода и «умные» трубы: российскую нейросеть научили чинить нефтепроводы 4

Новость Инновации Искусственный интеллект Нейросети

Российские специалисты обучили нейросеть ремонтировать нефтепроводы: технологии искусственного интеллекта повышают качество сварки и пайки. Решение можно адаптировать для различных отраслей промышленности.

13.08.2019    2333    user1015646    5