Buildcache
Buildcache
Это простой "ускоритель" компилятора, который кэширует и повторно использует результаты сборки, чтобы избежать ненужных повторных компиляций и тем самым ускорить процесс сборки. Начиная с версии пакета gcc-common >= 1.4.27-alt1, воспользоваться buildcache'ом можно установив переменную окружения GCC_USE_BUILDCACHE=1:
$export GCC_USE_BUILDCACHE=1
(для ccache аналогично: $export GCC_USE_CCACHE=1)
Конфигурация
BuildCache можно настроить с помощью переменных окружения и файла конфигурации JSON ($ HOME / .buildcache / config.json). Следующие параметры управляют поведением BuildCache:
| Env | JSON | Описание | По умолчанию |
|---|---|---|---|
| BUILDCACHE_DIR | - | Корневая директория кэша | $HOME/.buildcache |
| BUILDCACHE_PREFIX | prefix | Prefix command for cache misses | None |
| BUILDCACHE_REMOTE | remote | Адрес удалённого кэш сервера (protocol://host:port/path, где протокол это redis или s3, а port и path опциональны) | None |
| BUILDCACHE_ACCURACY | accuracy | Точность (см. Ниже) | DEFAULT |
| BUILDCACHE_CACHE_LINK_COMMANDS | cache_link_commands | Enable caching of link commands | false |
| BUILDCACHE_COMPRESS | compress | Разрешить использование сжатия при кешировании (отменяет жесткие ссылки) | false |
| BUILDCACHE_COMPRESS_FORMAT | compress_format | Формат сжатия кеша (см. Ниже) | DEFAULT |
| BUILDCACHE_COMPRESS_LEVEL | compress_level | Уровень сжатия кеша (см. Ниже) | -1 |
| BUILDCACHE_DEBUG | debug | Уровень отладки | None |
| BUILDCACHE_DISABLE | disable | Отключить кеширование (обходить Buildcache) | false |
| BUILDCACHE_HARD_LINKS | hard_links | Разрешить использование жестких ссылок при кешировании | false |
| BUILDCACHE_HASH_EXTRA_FILES | hash_extra_files | Дополнительные файлы, содержимое которых нужно добавить в хеш. | None |
| BUILDCACHE_IMPERSONATE | impersonate | Explicitly set the executable to wrap | None |
| BUILDCACHE_LOG_FILE | log_file | Путь к файлу журнала (пустой для стандартного вывода) | None |
| BUILDCACHE_LUA_PATH | lua_paths | Extra path(s) to Lua wrappers | None |
| BUILDCACHE_MAX_CACHE_SIZE | max_cache_size | Ограничение размера кеша в байтах | 5368709120 |
| BUILDCACHE_MAX_LOCAL_ENTRY_SIZE | max_local_entry_size | Ограничение размера записи локального кэша в байтах (без сжатия) | 134217728 |
| BUILDCACHE_MAX_REMOTE_ENTRY_SIZE | max_remote_entry_size | Ограничение размера записи удаленного кэша в байтах (без сжатия) | 134217728 |
| BUILDCACHE_PERF | perf | Enable performance logging | false |
| BUILDCACHE_READ_ONLY | read_only | Только читать и использовать кеш, не обновляя его | false |
| BUILDCACHE_READ_ONLY_REMOTE | read_only_remote | Только чтение и использование удаленного кеша без его обновления (подразумевается BUILDCACHE_READ_ONLY) | false |
| BUILDCACHE_REMOTE_LOCKS | remote_locks | Использовать (потенциально более медленный) механизм блокировки файлов, который безопасен, если локальный кеш находится на общей папке. | false |
| BUILDCACHE_S3_ACCESS | s3_access | S3 access key | None |
| BUILDCACHE_S3_SECRET | s3_secret | S3 secret key | None |
| BUILDCACHE_TERMINATE_ON_MISS | terminate_on_miss | Прекратить сборку, если запись в кеше не найдена | false |
Примечание. В настоящее время только серверная часть TI C6x поддерживает параметр cache_link_commands.
Пример файла конфигурации:
{
"max_cache_size": 10000000000,
"prefix": "icecc",
"remote": "redis://my-server:6379",
"debug": 3,
"lua_paths": [
"/home/myname/buildcache-lua",
"/opt/buildcache-lua"
],
"compress": true
}
Чтобы увидеть действующие параметры конфигурации, выполните:
$ buildcache --show-config
Отладка
Чтобы получить отладочную информацию, установите для переменной BUILDCACHE_DEBUG значение нужного вам уровня отладки (по умолчанию вывод отладочной информации отключен):
| BUILDCACHE_DEBUG | Level | Комментарий |
|---|---|---|
| 1 | DEBUG | Максимум информации |
| 2 | INFO | |
| 3 | ERROR | |
| 4 | FATAL | |
| -1 | - | Отключить вывод отладочной информации |
Также можно перенаправить вывод лога в файл с помощью параметра BUILDCACHE_LOG_FILE.
Точность кеширования
С помощью параметра BUILDCACHE_ACCURACY можно контролировать, насколько строгим является Buildcache при проверке попаданий в кеш. Это дает возможность менять точность на производительность.
| BUILDCACHE_ACCURACY | Комментарий |
|---|---|
| STRICT | Максимальная корректность |
| DEFAULT | Баланс между производительностью и точностью |
| SLOPPY | Оптимизация для максимального коэффициента попадания в кеш |
Режим точности по умолчанию - DEFAULT.
STRICT
В режиме STRICT поиск в кэше будет учитывать абсолютные пути к файлам и номера строк всякий раз, когда генерируются отладочные символы или информация о покрытии. Это означает, что когда ваша сборка включает символы отладки или информацию о покрытии, вы получите промах в кеше, если изменился абсолютный путь к файлу или любой номер строки. Этот режим подходит, если вы собираетесь использовать финальный исполняемый файл для запуска тестов покрытия кода или для отладки. Обратной стороной является то, что вы часто можете получить промахи кеша, особенно в общем централизованном кэше, который содержит объекты с разных машин с разными путями сборки.
DEFAULT
Режим DEFAULT аналогичен режиму STRICT, за исключением того, что он игнорирует информацию о пути к файлу и номере строки для отладочных сборок. Обратите внимание, что во многих ситуациях все еще можно использовать сгенерированные исполняемые файлы для отладки. Например, с помощью GDB вы можете указать собственный путь к исходному коду во время сеанса отладки. Двоичные файлы, созданные в этом режиме, можно использовать для генерации покрытия кода.
SLOPPY
В режиме SLOPPY абсолютные пути к файлам и информация о номерах строк всегда игнорируются во время поиска в кэше, что улучшает коэффициент попадания в кэш. Обратной стороной является то, что вы не сможете использовать двоичные файлы для покрытия кода.
Формат сжатия кеша
С помощью параметра BUILDCACHE_COMPRESS_FORMAT можно управлять тем, как сжимаются созданные кеши. Примечание. Для использования этого параметра параметр «compress» должен иметь значение true.
| BUILDCACHE_COMPRESS_FORMAT | Комментарий |
|---|---|
| LZ4 | Более быстрое сжатие, больший размер кеша |
| ZSTD | Более медленное сжатие, меньший размер кеша |
| DEFAULT | LZ4 |
Формат сжатия по умолчанию - DEFAULT.
Уровень сжатия кеша
Установив уровень сжатия кэша, BUILDCACHE_COMPRESS_LEVEL, можно контролировать усилия, прилагаемые архиватором, чтобы создавать файлы кэша меньшего размера. См. Документацию на выбранный вами архиватор для получения дополнительной информации. Уровень сжатия по умолчанию -1, что значит использование уровня сжатия по умолчанию для архиватора. Примечание. Для использования этого параметра параметр «compress» должен иметь значение true.
BUILDCACHE_HASH_EXTRA_FILES
При вычислении хэша единицы трансляции buildcache пытается учесть все факторы, влияющие на вывод. Сюда входят такие вещи, как командная строка или исходный код препроцессора. Но иногда существуют дополнительные факторы, о которых buildcache не знает. Например, компилятор Clang имеет возможность читать список исключений для -fsanitize-blacklist. Это влияет на вывод компиляции, но buildcache не знает об этом. При передаче имени файла в параметре конфигурации BUILDCACHE_HASH_EXTRA_FILES его содержимое будет добавлено в хэш единицы трансляции и учтено при поиске в кэше. Другой вариант использования - это управление версиями содержимого кеша. Используя приведенный выше пример, вы могли испортить свой кеш, поскольку забыли о the sanitizer exception list при первом запуске. Одним из решений было бы удалить весь кеш. Но в случае общего удаленного кеша это может повлиять на другие инструменты кэширования, и вы даже не сможете заблокировать удаленный кеш. Создание текстового файла с простым номером версии и добавление его к BUILDCACHE_HASH_EXTRA_FILES приведет к тому, что предыдущий вывод кэша будет отменен.
Перевод далёк от идеала. Особенно последний параграф. В случае необходимости обратитесь к первоисточнику: https://github.com/mbitsnbites/buildcache/blob/master/doc/configuration.md