Microsoft Research открыл код быстрого хранилища в формате ключ/значение

Исследовательское подразделение компании Microsoft опубликовало новое открытое хранилище FASTER, манипулирующее данными в формате ключ/значение и ориентированное на обеспечение распараллеливания обработки запросов и очень высокой скорости выборки в условиях большой интенсивности обновления данных.

Хранилище оформлено в виде встраиваемой библиотеки, доступной в вариантах для языков C++ и C#, и распространяемой под лицензией MIT.

FASTER поддерживает как хранение данных только в памяти, так и создание хранилищ, превышающих по размеру имеющееся ОЗУ и дополнительно привлекающих внешние накопители. При размещении в ОЗУ обеспечивается производительность на уровне 160 млн операций в секунду, что превышает производительность конкурирующих решений, таких как kyoto cabinet, LevelDB и RocksDB. Для обеспечения целостности предоставляется специально разработанная в Microsoft Research новая схема восстановления записей, которая отличается от других решений более высокой производительностью, ценой незначительного повышения задержек при фиксации коммитов.

БД отлично адаптирована для применений, активность в которых строится на последовательности операций чтения, изменения и перезаписи данных в БД. Для достижения высокой интенсивности операций обновления и экономии памяти в FASTER используется архитектура на основе гибридного лога записей (HybridLog), который комбинирует структуру в виде хэша, допускающую замену по месту существующих записей в оперативной памяти, с организацией хранения на диске в форме только дополняемого лога. Особенностью HybridLog также является осуществление буферизации и хранения на уровне отдельных записей, а не блоков фиксированного размера.

Источник: opennet.ru



Комментарии:

Добавить комментарий