Twitter открыл код своих улучшений к MySQL

Twitter опубликовал [2] код своих дополнений и улучшений к MySQL, развиваемых в рамках ветки Twitter MySQL 5.5 [3]. В настоящее время СУБД MySQL продолжает использоваться в качестве основного хранилища данных в Twitter, например, в MySQL хранятся непосредственно твитты, пользовательские данные, информация о сроках, связях и интересах. В процессе роста сервиса и повышения требований к масштабируемости, разработчикам из компании Twitter пришлось внести ряд изменений и улучшений в MySQL, которые поддерживались в рамках внутреннего форка данной СУБД. Отныне все наработки, связанные с данным форком, открыты и доступны для интеграции в сторонние проекты и основную кодовую базу MySQL. Созданный в Twitter код открыт под лицензией BSD (MySQL распространяется под лицензией GPL).
Из возможностей [4], добавленных компанией Twitter, можно отметить:

• Дополнительные переменные для оценки состояния СУБД и внутренних параметров InnoDB. Переменные позволяют организовать расширенный и более эффективный мониторинг работы СУБД, более точно оценить поведение в условиях реальной нагрузки. Например, представлена информация об открытии и закрытии файлов, числе выявленных deadlock, идентификаторов последовательностей бинарного лога;
• Оптимизация MySQL для SSD-накопителей, в том числе реализация нового метода сброса буферов и сокращение числа операций записи в процессе работы;
• Оптимизация распределения памяти при работе на больших системах на базе архитектуры NUMA: полное выделение памяти для буферов InnoDB производится на этапе запуска; более быстрая обработка ситуации нехватки памяти; обеспечение предсказуемой производительности в любое время, даже в условиях дефицита свободной памяти;
• Поддержка быстрого и надёжного экспорта и загрузки содержимого пула буферов InnoDB, что позволяет обеспечить моментальный разогрев базы после перезапуска и свести к минимуму негативные эффекты при необходимости остановки сервисов;
• Сокращение излишней работы за счёт расширения средств управления таймаутами на стороне сервера. В частности, реализована возможность принудительного прекращения выполнения запросов, которые выполняются дольше указанного таймаута;

Кроме того, на предстоящей конференции Percona Live MySQL, которая состоится 12 апреля, Twitter планирует представить [5] открытый фреймворк Gizzard [6], предназначенный для организации шардинга данных поверх неоднородного распределённого кластера серверов MySQL. Фреймворк позволяет автоматизировать процессы распределения набора данных по серверам на основе определенного ключа (партицирование) и обеспечить необходимый уровень резервирования за счёт репликации одного набора данных на несколько серверов. Система также поддерживает методы разрешения конфликтов и средства восстановления в случае сбоя в работе отдельных узлов.