Bug 11343

Summary: Непомерное время создания template
Product: Sisyphus Reporter: Anton Farygin <rider>
Component: ve-build-scriptsAssignee: inger <inger>
Status: CLOSED FIXED QA Contact: qa-sisyphus
Severity: major    
Priority: P2 CC: ldv, mike, vvk
Version: unstable   
Hardware: all   
OS: Linux   
Bug Depends on: 14235    
Bug Blocks: 14168    

Description Anton Farygin 2007-04-03 23:10:12 MSD
Довольно простой template (и контейнер на его базе) создаётся непомерно долго.
на PII400 это происходит в течении часа.

Вся проблема в tar|gzip и дальнейшем gzip|tar

Это очень критично. Ускорить явно можно отключив не нужный gzip -9
Comment 1 Konstantin A Lepikhov (L.A. Kostis) 2007-04-03 23:46:31 MSD
Операция создания контейнера - разовая. Поэтому, если время их создания не
устраивает, то их можно создавать и на более быстрой машине.
Comment 2 Konstantin A Lepikhov (L.A. Kostis) 2007-04-03 23:47:19 MSD
Точнее, не контейнера, а кэша пакетов для заготовок контейнеров.
Comment 3 Anton Farygin 2007-04-03 23:56:11 MSD
Эта разовая операция занимает настолько много времени, что продукт становится
неюзабельным.

Использовать для этого другую машину предлагать нельзя - в WEB интерфейсе нет
возможности загрузить темплейт с другой машины.

Я собственно не вижу причин для того, что бы избавится от gzip -9. Или жалко
свободное место на диске ? Так сделай галочку - сжимать контейнер или нет.
Comment 4 Michael Shigorin 2007-04-04 14:31:00 MSD
Кстати, да -- галка-сжималка позволила бы не идти на компромисс между диском и
процессором заранее.  Но вообще час не должен смущать владельца PII в наши дни.

2 rider: я порой тестирую на 3000+ с подсунутым ноутбучным 1.6Gb ;-)
Comment 5 Anton Farygin 2007-04-04 15:10:05 MSD
В серверном дистрибутиве - смущает безусловно. 

К тому же понятно как это можно значительно ускорить (на мой взгляд - раза в четыре)
Comment 6 Anton Farygin 2007-04-06 15:40:10 MSD
Что с этой ошибкой ?
Будет исправляться ?
Comment 7 Dmitry V. Levin 2007-04-07 03:43:53 MSD
Ускорить можно в двух местах:
+ перевести сборку на tmpfs (alterator-ovz)
+ выключить сжатие template cache (vzctl,alterator-ovz)

В скобках указаны пакеты, которые нужно для этого модифицировать.
Comment 8 Anton Farygin 2007-04-07 04:13:34 MSD
На tmpfs желательно опционально - не на всех серверах много памяти. А
использование swop ускорит незначительно (если не замедлит).

Достаточно просто отключить сжатие - это самый болезненный участок.
Comment 9 Michael Shigorin 2007-04-07 17:04:10 MSD
Может, экспортировать (регулируемую) переменную среды GZIP?  GZIP=-0 как раз и
сделает "без сжатия", а -1 должно и пожать быстро, и всё-таки хоть несколько
размер снизить.
Comment 10 Dmitry V. Levin 2007-04-21 04:40:48 MSD
На стороне alterator-ovz приём несжатых gzip'ом тарболов была добавлена в
0.4-alt1.

Осталось реализовать приём несжатых gzip'ом тарболов в vzctl, после чего можно
будет отключать сжатие.
Comment 11 Anton Farygin 2007-05-07 13:09:42 MSD
Не надо понижать Severety.
Comment 12 Michael Shigorin 2008-01-29 16:20:07 MSK
(In reply to comment #10)
> Осталось реализовать приём несжатых gzip'ом тарболов в vzctl, после чего можно
> будет отключать сжатие.
Это сложно?  Если важно для Server 4.0.2 и никто не доберётся до vzctl, можно
хотя бы GZIP=-1 (-0 не работает -- откуда его взял...) всунуть в vecache из
ve-build-scripts.

Только прямщас это не сработает -- в spt гвоздями прибито -f9.
Comment 13 Dmitry V. Levin 2008-01-29 16:27:17 MSK
(In reply to comment #12)
> (In reply to comment #10)
> > Осталось реализовать приём несжатых gzip'ом тарболов в vzctl, после чего можно
> > будет отключать сжатие.
> Это сложно?

Это реализовано в vzctl-3.0.18-44-g241736e
Comment 14 Michael Shigorin 2008-01-29 16:41:32 MSK
(In reply to comment #13)
> Это реализовано в vzctl-3.0.18-44-g241736e
Тогда можно NMU/ACL на ve-build-scripts?

(spt можно оставить как есть, хотя хранение с небольшой степенью сжатия IMHO
полезно -- "единичка" достаточно быстрая и на PII, но всё равно место экономит;
если это желательно, то нужно ещё NMU на spt)
Comment 15 Michael Shigorin 2008-01-29 16:45:02 MSK
для сравнения: .tar 56M/1:47, .tar.gz 24M/1:43 (-1)
Comment 16 Michael Shigorin 2008-01-29 18:33:19 MSK
у меня в git (mike/11343):

* Tue Jan 29 2008 Michael Shigorin <mike@altlinux> 0.0.2-alt1.1
- implemented compression level support (requires spt >= 0.6.0-alt10.2.1),
  image type choice (requires spt >= 0.6.0-alt10); fixes #11343
- default gzip compression level set to 6 (gzip default overridden in spt)

Проверено, работает.
Comment 17 Michael Shigorin 2008-01-29 21:02:45 MSK
Также задействовано в alterator-ovz-0.4-alt6.1 (у меня в git, mike/11343).

Зависимости расставлены так, чтобы добавленную ручку обеспечить поддержкой;
заливать надо сразу:

spt-0.6.0-alt10.2.1 (lakostis)
ve-build-scripts-0.0.2-alt1.2 (lakostis inger)
alterator-ovz-0.4-alt6.1 (lakostis inger mike)

Таким образом, предлагаю либо разобрать соответствующие ветки у меня в git тем,
кто может влить, или выдать NMU.

Хорошо бы alterator-ovz посмотрел Стас, а то я мержил его alt6 поверх своего
alt5.1.1, потом добавлял в пакет выпавший из него после переноса
ovz/html-messages.scm и опять make update-po; всё равно пока починить частично
отъехавшую локализацию не выходит.
Comment 18 Michael Shigorin 2008-03-10 23:07:07 MSK
fixed in 0.0.2-alt2, хотя в моих тестах разница получалась в пределах ~10%.  По
умолчанию куда лучше GZIP=-1: и поджимает, и почти так же быстро, как просто tar.