virtualbox

Alex Korchmar написал(а) к Eugene Grosbein в May 18 11:57:57 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> я говорил о том, что ее невозможно использовать в качестве гипервизора.
EG> https://bugs.freebsd.org/bugzilla/sh....cgi?id=168298
ну, и это не пц?

причем корни п-ца где-то в самом vbox - линукс хотя и не роняет его машины,
но верещит в логи на каждом обращении к aio, что те делают это через жопу,
совершенно неэффективным образом.

В отличие от вас, линуксеры не поленились открыть баг в оракле. Ну, чо, висит
себе. Лет десять уже.

в помойку. Это трупик, который уже даже почти не воняет, ибо высох в мумию.

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в May 18 07:40:16 по местному времени:

13 мая 2018, воскресенье, в 09:57 NOVT, Alex Korchmar написал(а):

AK> в помойку. Это трупик, который уже даже почти не воняет, ибо высох в мумию.

А у меня работает. Видимо, потому что я его использую по назначению -
либо на десктопе, либо в headless-режиме с околонулевой нагрузкой
для подключения исключительно по RDP внутрь виндового гостя,
чтобы порулить оптическими SDН-железяками виндософтом от производителя.

На декстопе, кстати сказать, aio в ядре есть, никак не тюненный
(FreeBSD 11) и на эти проблемы ни разу за уже скоро десять лет
как не нарывался.

А про vmware я тоже могу страшных рассказок порассказать.
Попробуй погонять через свеженькие релизы сетевой трафик
гостя, который он прячет в фрагментированные пакеты ESP -
сильно удивишься. Ну и там ещё есть историй.

Eugene
--
Все любят естественный наркотик
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в May 18 10:47:39 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> в помойку. Это трупик, который уже даже почти не воняет, ибо высох в
AK>> мумию.
EG> А у меня работает. Видимо, потому что я его использую по назначению -
EG> либо на десктопе, либо в headless-режиме с околонулевой нагрузкой
ну вот. А мне нужно совсем другое.
Как раз на десктопе у меня прекрасно работает краденый workstation, ее
еще на десять лет хватит, а там на hyper-v и докер перейду.

EG> На декстопе, кстати сказать, aio в ядре есть, никак не тюненный
EG> (FreeBSD 11) и на эти проблемы ни разу за уже скоро десять лет
как ты цитировал - достаточно активно погрызть диск, нарвешься.
а зачем тебе вообще aio при околонулевой нагрузке - загадка.

EG> А про vmware я тоже могу страшных рассказок порассказать.
EG> Попробуй погонять через свеженькие релизы сетевой трафик
EG> гостя, который он прячет в фрагментированные пакеты ESP -
offload выключить забыл? Свеженькое предание, да, с esx4 тянется.
2007й, что-ли.

EG> сильно удивишься. Ну и там ещё есть историй.
внимательно слушаю, я ее еще не поставил, есть время меня убедить что
опенотсосная поделка лучше.

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в May 18 18:16:04 по местному времени:

14 мая 2018, понедельник, в 08:47 NOVT, Alex Korchmar написал(а):

EG>> На декстопе, кстати сказать, aio в ядре есть, никак не тюненный
EG>> (FreeBSD 11) и на эти проблемы ни разу за уже скоро десять лет
AK> как ты цитировал - достаточно активно погрызть диск, нарвешься.
AK> а зачем тебе вообще aio при околонулевой нагрузке - загадка.

На десктопе вовсе не нулевая нагрузка и на диск в том числе.
Околонулевая на сервере с vbox-headless, куда по RDP ходят,
там сервер по CPU нагружен, не по диску.

EG>> А про vmware я тоже могу страшных рассказок порассказать.
EG>> Попробуй погонять через свеженькие релизы сетевой трафик
EG>> гостя, который он прячет в фрагментированные пакеты ESP -
AK> offload выключить забыл? Свеженькое предание, да, с esx4 тянется.
AK> 2007й, что-ли.

Не знаю, offload или нет, я на том сервере только внутри гостя был,
на 5.0 работало, новее сломано. Пришлось переходить на L2TP over UDP.

EG>> сильно удивишься. Ну и там ещё есть историй.
AK> внимательно слушаю, я ее еще не поставил, есть время меня убедить что
AK> опенотсосная поделка лучше.

Этим я заниматься не буду. А история была така, цитирую:

> виртуалка на esxi, оно, блядь!!!!, копирует 30Мб/с
> с двух дисков на два диска. Там гиг данных,
> до морковкина заговенья ждать.
> systat -vm 3 показывает 15Мб/с и 100% бизи
> http://vmind.ru/forum/viewtopic.php?t=449
> у меня свежеобновленный, хотя и 5.5 ~
> esxcli software vib list | grep ahci sata-ahci
> 3.0-22vmw.550.3.89.4179633 VMware VMwareCertified 2018-03-08
> Пробую на старой esxi5.1 на плюс-минус
> таком же железе, венда синкает зерк тома со скоростью 130Мб/с. Т.е.
> скорость диска. Точно косяк какой-то с фермой - драйвера/чипсет.
eg> а на новой ферме винда тоже страдает?
> да, там когда зеркало делали, оно так же тормозило 40М/с
> Т.е. это свойство не фришки, а esxi, увы.

В итоге страдалец чё-то подшаманил ESXi и проблема ушла.
Что конкретно, история не сохранила - или драйвера его,
или тип дисков для гостя.

Eugene
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в May 18 14:44:16 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> offload выключить забыл? Свеженькое предание, да, с esx4 тянется.
AK>> 2007й, что-ли.
EG> Не знаю, offload или нет, я на том сервере только внутри гостя был,
EG> на 5.0 работало, новее сломано. Пришлось переходить на L2TP over UDP.
или при апгрейде кто-то забыл/не знал. Оно еще и тормозит при этом.

EG> В итоге страдалец чё-то подшаманил ESXi и проблема ушла.
вероятно ровно что написано - vmwahci нах, sataahci на его место.
Китайцы... все к чему прикасаются, превращается в говно, рано или поздно.
Но лет пять у меня еще есть.

но, заметим, про это хотя бы есть готовые ответы в гугле.
Про proxmox ответов нет, одни вопросы.


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Oct 18 20:02:53 по местному времени:

11 мая 2018, пятница, в 21:54 NOVT, Alex Korchmar написал(а):

EG>> Кто говорил про единственно-возможное использование FreeBSD
EG>> в качестве гипервизора-то? У меня тащем-то нет привычки
AK> я говорил о том, что ее невозможно использовать в качестве гипервизора.

хыхы, нашелся примерчик, контора из трех сотен сотрудников,

CPU: Intel(R) Xeon(R) CPU E5-2670 v3 @ 2.30GНz (2300.05-MНz K8-class CPU)
FreeBSD/SMP: Multiprocessor System Detected: 24 CPUs
FreeBSD/SMP: 1 package(s) x 12 core(s) x 2 hardware threads
real memory = 274869518336 (262136 MB)
avail memory = 267232808960 (254853 MB)

# sysctl kern.disks
kern.disks: ada7 ada6 ada5 ada4 ada3 ada2 ada1 ada0

Из них ada1 и ada2 это загрузочное зеркало graid из пары SSD
с MBR, bsdlabel, рутом на UFS в r0s1a, свопом в r0s1b
и ZFS Intention Log (ZIL) в r0s1d

ada3 это ZFS Cache Device, а все остальные пять дисков
это 8-терабайтники, каждый из которых пошифрован по-отдельности GELI
и затем уже в пять шифроконтейнеров собраны в единственый на этой
машине пул RAIDZ1 с упомянутыми выше отдельными ZIL и Cache.

На пуле нет файловых систем ZFS, а только пачка zvol с volmode=dev
(в отличие от дефолтного volmode=geom) и каждый такой девайс
отдан гипервизору bhyve под ту или другую виндовую виртуалку
и там крутятся разные серверные редакции Windows в качестве
AD, серверов приложений, SQL-серверов, терминальных серверов,
виндофайлопомоек и прочего барахла.

last pid: 60067; load averages: 1.16, 1.89, 2.00 up 35+06:43:16 14:54:58
127 processes: 1 running, 124 sleeping, 1 stopped, 1 zombie
CPU: 0.0% user, 0.0% nice, 2.5% system, 0.1% interrupt, 97.4% idle
Mem: 87G Active, 10G Inact, 26G Laundry, 123G Wired, 924M Buf, 2778M Free
ARC: 77G Total, 15G MFU, 48G MRU, 48M Anon, 9565M Нeader, 5164M Other
60G Compressed, 231G Uncompressed, 3.82:1 Ratio
Swap: 64G Total, 15G Used, 49G Free, 23% Inuse

PID USERNAME TНR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
65519 root 38 20 0 11328M 8780M kqread 21 84.1Н 20.12% bhyve
60172 root 42 20 0 83008M 71521M kqread 19 342.0Н 14.35% bhyve
61624 root 30 20 0 9279M 5096M kqread 4 28.7Н 8.32% bhyve
60972 root 30 20 0 9279M 7799M kqread 5 210.2Н 7.98% bhyve
61298 root 30 20 0 9279M 8043M kqread 18 172.4Н 6.84% bhyve
59621 root 28 20 0 6222M 4334M kqread 11 21.3Н 4.51% bhyve
58728 root 20 20 0 5179M 3358M kqread 8 74.3Н 4.15% bhyve
58420 root 20 20 0 2107M 1749M kqread 3 53.5Н 3.73% bhyve
61950 root 22 20 0 7230M 2334M kqread 1 81.8Н 2.32% bhyve
66898 root 20 20 0 5179M 2461M kqread 13 31.0Н 0.97% bhyve

На самом хосте FreeBSD крутится L2TP/IPSEC концентратор, через которые
виндоюзера попадают в сеть, маршрутизируемую в виртуалки.

И ещё там есть парочка обычных jail с серверами Zabbix, Bareos и
зачем-то самбой.

И таких гипервизоров несколько в каком-то виде кластера и миграцией виртуалок,
FreeBSD 11.1-RELEASE-pX.

Мопед не мой.

Eugene
--- slrn/1.0.3 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в Oct 18 21:57:23 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

> это 8-терабайтники, каждый из которых пошифрован по-отдельности GELI
> и затем уже в пять шифроконтейнеров собраны в единственый на этой
> машине пул RAIDZ1 с упомянутыми выше отдельными ZIL и Cache.
bhyve, windows... в общем, собраны все чудеса в один флакон.
нет покоя долбанутым... по-моему, им не очень дороги их данные, да?

интересно, что они там делают на всех этих суперсекретных виндовых виртуалках?
И чем их не устроила винда в качестве сервера. Шифровать она умеет.

> last pid: 60067; load averages: 1.16, 1.89, 2.00 up 35+06:43:16 14:54:58
то есть практически ничего и не делают, понятно. Середина рабочего дня, la 1,
да?

> И таких гипервизоров несколько в каком-то виде кластера и миграцией виртуалок,
у bhyve есть миграция? надо же...

нет, ну я верю что для таких странных ребят оно как раз подходит, вполне
возможно, весь сервер для отвода глаз, а место в остальных стойках занято
коноплей. https://www.bloomberg.com/news/artic...-pot-portfolio
П-ц. Я, конечно, давно подозревал...

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Oct 18 21:28:04 по местному времени:

15 окт. 2018, понедельник, в 19:57 NOVT, Alex Korchmar написал(а):

>> это 8-терабайтники, каждый из которых пошифрован по-отдельности GELI
>> и затем уже в пять шифроконтейнеров собраны в единственый на этой
>> машине пул RAIDZ1 с упомянутыми выше отдельными ZIL и Cache.
AK> bhyve, windows... в общем, собраны все чудеса в один флакон.
AK> нет покоя долбанутым... по-моему, им не очень дороги их данные, да?

Там всё зарезервирование, кластер.

AK> интересно, что они там делают на всех этих суперсекретных виндовых виртуалках?

Торговля обувью.

AK> И чем их не устроила винда в качестве сервера. Шифровать она умеет.

Без понятия, мопед не мой.

>> last pid: 60067; load averages: 1.16, 1.89, 2.00 up 35+06:43:16 14:54:58
AK> то есть практически ничего и не делают, понятно. Середина рабочего дня, la 1,
AK> да?

Ну там "суммарно" одно ядро из 12 таки загружено полностью, и даже чуток больше.
Что-то делают.

>> И таких гипервизоров несколько в каком-то виде кластера и миграцией
AK> виртуалок,
AK> у bhyve есть миграция? надо же...

Есть.

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.3 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в Oct 18 14:09:56 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

> AK> bhyve, windows... в общем, собраны все чудеса в один флакон.
> AK> нет покоя долбанутым... по-моему, им не очень дороги их данные, да?
> Там всё зарезервирование, кластер.
от тихой порчи данных такой кластер вряд ли поможет, скорее усугубит.

> Торговля обувью.
чорный нал, надо думать. Надо же, я думал, давно уже немодно.
Ну оооок, область применимости есть, хорошо, правда, что не у меня.


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Oct 18 19:46:41 по местному времени:

17 окт. 2018, среда, в 12:09 NOVT, Alex Korchmar написал(а):

AK>> bhyve, windows... в общем, собраны все чудеса в один флакон.
AK>> нет покоя долбанутым... по-моему, им не очень дороги их данные, да?
>> Там всё зарезервирование, кластер.
AK> от тихой порчи данных такой кластер вряд ли поможет, скорее усугубит.

Тихо испортить данные в случае с ZFS over GELI вряд ли получится,
только громко.

>> Торговля обувью.
AK> чорный нал, надо думать. Надо же, я думал, давно уже немодно.
AK> Ну оооок, область применимости есть, хорошо, правда, что не у меня.

Сервера в датацентре хостера, защита от рейдерского захвата.

Eugene
--
И у священных источников живут алчные монахи. (Дхарма)
--- slrn/1.0.3 (FreeBSD)