Главная » Форум » Gentoo Linux » Ядро Linux и поддержка оборудования

И снова kworker

NWhisper 11 Августа, 2013 - 14:21

Всем привет!

Есть компьютер на базе материнки Intel DX79TO, используется в качестве web-сервера (nginx, apache, mysql, php).
Очень часто в iotop появляется процесс kworker/u24, который занимает 99% IO. Никак не могу найти подходящее решение :(

Ядро установлено 3.10.4.

Может, у кого-нибудь будут какие идеи?

Конфиг ядра: http://pastebin.com/uUkrMgcz
kworker в iotop: http://picpaste.com/pics/iotop-Zv4hXvUr.1376216304.png
/proc/interrupts: http://pastebin.com/HNKW3Bma

‹ [SOLVED] Atheros AR9462 wireles + bluetooth Программы диагностики и тестирования железа ›
»

И чем тебе помешал один из

Автор Tzar, дата создания 12 Августа, 2013 - 07:24.

И чем тебе помешал один из процессов ядра (конкретно - рабочий процесс, обслуживающий запросы на ввод-вывод)? Он и должен как раз занимать столько по IO. Или ты хочешь, чтобы твоя система не пукала вообще никак в плане расходования ресурсов компа? Кроме того - процент использования ввода-вывода - это не цифра, показывающая, сколько процесс откушал от максимально возможного, а сколько от ныне используемого откушал процесс. Тебе интереснее цифры Total disk READ/Actual Disk READ должны быть, также как и WRITE. А там у тебя нет ничего солидного. На запись наиболее активен на скрине - индеец.

И да - поставь уже irqbalance

—

Пользуясь моментом, хочу передать привет друзьям, которые также пользуются "Моментом"

»

Этот процесс помешал своим

Автор NWhisper, дата создания 12 Августа, 2013 - 10:08.

Этот процесс помешал своим периодичным (раз в 30-40 секунд) появлением и поеданием всего ввода вывода на секунд 10-15. Так не должно быть, это неправильно. irqbalance вопрос никак не решает, ибо дело не в распределении прерываний.
Можешь попробовать еще поумничать с выпендрежем, только уже очевидно, ты ответа не знаешь.

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Ну тогда дай-ка мне

Автор Tzar, дата создания 12 Августа, 2013 - 11:13.

Ну тогда дай-ка мне обоснование формулировки "всего ввода-вывода". И также вывод iostat -x -d 5 в течение минут двух. Процесс сей кстати никуда и не пропадает - это поток.

—

Пользуясь моментом, хочу передать привет друзьям, которые также пользуются "Моментом"

»

Оно понятно, что процесс

Автор NWhisper, дата создания 12 Августа, 2013 - 14:09.

Оно понятно, что процесс никуда не пропадает...

cкрин iotop -Pao в течение минуты, примерно: http://picpaste.com/screen-sIQoOKL0.png
iostat -xd 5: http://pastebin.com/LwjKxXCv

sda - это ssd диск
sdb, sdc - обычный hdd sata 7200 3Tb

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Как массив собран? С какой

Автор Tzar, дата создания 12 Августа, 2013 - 21:03.

Как массив собран? С какой версией метаданных? Поподробнее с этого момента.

—

Пользуясь моментом, хочу передать привет друзьям, которые также пользуются "Моментом"

»

Personalities : [raid0]

Автор NWhisper, дата создания 13 Августа, 2013 - 09:59.
Personalities : [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath] [faulty] 
md2 : active raid1 sdb4[0] sdc4[1]
      2824879391 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sdc3[1] sdb3[0]
      104857536 blocks [2/2] [UU]
      
md0 : active raid1 sdb2[0] sdc2[1]
      524224 blocks [2/2] [UU]

md0 - /boot
md1 - /
md2 - LVM, на нем находятся несколько томов, в том числе и том с базами данных

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Странный распил диска

Автор Tzar, дата создания 13 Августа, 2013 - 12:34.

Странный распил диска конечно. Не проще было все кроме /boot положить в LVM и пилить уже там? Ну да ладно.

Сделано mdadm или ядерно? если не ядром - то как собран mdadm (emerge -pv mdadm)?
dmesg что пишет по поводу sdb/sdc?
А что пишет /sys/block/md<тут номер MD-тома>/md/stripe_cache_size? Рекомендую там иметь 8192, больше не стоит - только память будешь кушать.

—

Пользуясь моментом, хочу передать привет друзьям, которые также пользуются "Моментом"

»

mdadm ядерный, конфиг ядра

Автор NWhisper, дата создания 13 Августа, 2013 - 13:19.

mdadm ядерный, конфиг ядра можно заценить по ссылке http://pastebin.com/uUkrMgcz
mdadm собран так:

[ebuild   R    ] sys-fs/mdadm-3.1.4  USE="static" 0 kB

# dmesg | grep -P "sd[bc]"
[    0.000000] Command line: BOOT_IMAGE=/kernel-3.10-1 root=/dev/md1 ro md=1,/dev/sdb3,/dev/sdc3 rootfstype=ext4 vga=0x305 quiet panic=30
[    0.000000] Kernel command line: BOOT_IMAGE=/kernel-3.10-1 root=/dev/md1 ro md=1,/dev/sdb3,/dev/sdc3 rootfstype=ext4 vga=0x305 quiet panic=30
[    0.000000] md: Will configure md1 (super-block) from /dev/sdb3,/dev/sdc3, below.
[    0.985640] sd 2:0:0:0: [sdb] 5860533168 512-byte logical blocks: (3.00 TB/2.72 TiB)
[    0.985642] sd 2:0:0:0: [sdb] 4096-byte physical blocks
[    0.985728] sd 2:0:0:0: [sdb] Write Protect is off
[    0.985730] sd 2:0:0:0: [sdb] Mode Sense: 00 3a 00 00
[    0.985767] sd 2:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    0.986089] sd 3:0:0:0: [sdc] 5860533168 512-byte logical blocks: (3.00 TB/2.72 TiB)
[    0.986090] sd 3:0:0:0: [sdc] 4096-byte physical blocks
[    0.986170] sd 3:0:0:0: [sdc] Write Protect is off
[    0.986172] sd 3:0:0:0: [sdc] Mode Sense: 00 3a 00 00
[    0.986208] sd 3:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    1.029743]  sdb: sdb1 sdb2 sdb3 sdb4
[    1.030329]  sdc: sdc1 sdc2 sdc3 sdc4
[    1.030535] sd 2:0:0:0: [sdb] Attached SCSI disk
[    1.030931] sd 3:0:0:0: [sdc] Attached SCSI disk
[    1.031153] md: Loading md1: /dev/sdb3
[    1.053430] md: bind<sdb3>
[    1.078824] md: bind<sdc3>
[    2.747331] md: bind<sdc2>
[    2.749004] md: bind<sdc4>
[    2.769676] md: bind<sdb2>
[    2.782370] md: bind<sdb4>

Параметр stripe_cache_size бывает только у raid5/6, у меня raid1.

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

read-ahead у дисков каков?

Автор Tzar, дата создания 13 Августа, 2013 - 16:47.

read-ahead у дисков каков? Устройства оба идентичны? В случае программного raid1 его скорость чтения будет равна скорости чтения самого медленного из двух устройств.

Посмотри например http://paste.org/27454
И в свое время мне помог сей линк: http://blog.vpsville.ru/tag/linux%20md%20mdadm%20raid1%20parallel%20read/

—

Пользуясь моментом, хочу передать привет друзьям, которые также пользуются "Моментом"

»

read-ahead менял для md и для

Автор NWhisper, дата создания 13 Августа, 2013 - 17:49.

read-ahead менял для md и для sdb, sdc (эту статью находил) - не помогает, к сожалению.

Zabbix показывает такой график iowait: http://picpaste.com/graph-MoR3O1OY.png

Может быть wi прав (ниже его посты), говоря о несправляющейся оборудке... Или баг...

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Закончились идеи?

Автор NWhisper, дата создания 19 Августа, 2013 - 19:24.

Закончились идеи?

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

При данной формулировке

Автор slepnoga, дата создания 19 Августа, 2013 - 21:51.

При данной формулировке вопроса ( звучащего как "Хочу !" ) у меня лично была только идея пропустить данный топик.

Вот, забрел случайно.

—

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

»

Это никак не поможет решить

Автор NWhisper, дата создания 3 сентября, 2013 - 09:50.

Это никак не поможет решить мой вопрос.
Любой "проблемный" топик рождается от "Хочу". А вот оффтоп рождается от "Не знаю"/"Не могу"/"Не умею". Я не имею в виду лично Вас.

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Уважаемый, когда "Хочу" но не

Автор slepnoga, дата создания 3 сентября, 2013 - 17:37.

Уважаемый, когда "Хочу" но не "Могу" - это импотенция.
А вот когда "Хочу" , но "сам не знаю чего и зачем" - то это ментальный секс.

От первого обычно страдают, но это лечится.
Вторым наслаждаются ,и это уже никак не лечится никогда и совсем.

—

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

»

Намек, очевидно, не понят.

Автор NWhisper, дата создания 4 сентября, 2013 - 12:21.

Намек, очевидно, не понят...
Скажу прямо: уважаемый, прекратите оффтопить!

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Хм...

Автор NWhisper, дата создания 4 сентября, 2013 - 12:23.

Хм.. почему бы не сделать удаление постов для авторов...? чтобы свои посты можно стереть было, не нашел такой кнопки :(

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Потому что , сюрприз, кнопка

Автор slepnoga, дата создания 4 сентября, 2013 - 16:44.

Потому что , сюрприз, кнопка "Удалить все " есть у меня.

—

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

»

nginx, apache, mysql,

Автор slepnoga, дата создания 12 Августа, 2013 - 11:18.
nginx, apache, mysql, php

здесь явно что то лишнее :)

—

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

»

Нет, ничего лишнего, все

Автор NWhisper, дата создания 12 Августа, 2013 - 12:49.

Нет, ничего лишнего, все нужно :)
Но это разговор не по делу...

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Подозрительно свежее ядро.

Автор wi, дата создания 13 Августа, 2013 - 11:20.

Подозрительно свежее ядро. Возможны заботливо разложенные грабли от разработчиков. Есть смысл выбрать версию поскромнее, для начала.

»

В ядрах поскромнее

Автор NWhisper, дата создания 13 Августа, 2013 - 11:54.

В ядрах поскромнее присутствует проблема с алгоритмом jbd2, там много локов и других косяков, что приводит к тормозам. После перехода на 3.10 среднее значение iowait на сервере, о котором идет речь, уменьшилось в 2 раза.

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

>>В ядрах поскромнее

Автор wi, дата создания 13 Августа, 2013 - 17:32.

>>В ядрах поскромнее присутствует проблема с алгоритмом jbd2, там много локов и других косяков
Тоесть до этого великого момента все ядра - шлак. А тут вдруг - раз, и никаких косяков.

>>После перехода на 3.10 среднее значение iowait на сервере, о котором идет речь, уменьшилось в 2 раза
Возможно ваша проблема это плата за снижение иовэйтов?
В любом случае при проблемах с новым ядром ( это ведь ядерный процесс вас так смущает?) даунгрейд ядра до заведомо рабочего весьма логичен.

ИМХО вы выжали свою железяку досуха. Ставьте аппаратный рейд..

»

Достаточно открыть ченжлог

Автор NWhisper, дата создания 13 Августа, 2013 - 17:46.

Достаточно открыть ченжлог ядер 3.8, 3.9, 3.10 и загрепать по jbd2. Вообще, каждый раз смотря список багфиксов я задаюсь вопросом: "Как же оно раньше-то работало?" :)

Возможно это плата за снижение iowait, только снизился именно средний показатель iowait, причем не на 2-5%, а в 2 раза, сие (ИМХО) говорит о решении неких проблем, имевших место в предыдущих версиях ядер. До перехода на 3.10 пробовал разные варианты со стабильными по версии Gentoo ядрами, улучшение появилось на 3.10. Думаю, на 3.9 тоже был бы приход, так как масса патчей заявлена в 3.9.

Я тоже подозреваю оборудку, хотя, вроде жестаки стоят SATA3, подключенные к такой же шине. Странно все это...

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Вчера у файловика батарейка

Автор wi, дата создания 14 Августа, 2013 - 09:36.

Вчера у файловика батарейка на рейде сдохла. Понятно что кэш записи отрубился. Иовейтов, как ни странно не появилось, зато sy в top попер процентов под 40. Сдается мне, все в методах подсчета. Программер тормоза с записью может на sy кинуть ибо ядро , а может и на wa ибо ввод-вывод.Сегодня батарейку поменял - sy упало до нормы. У вас, к тому же, рейд софтовый, куда они тики софтрейда кидают - Линус его знает.

По оборудованию можно спецификаццию поднять. Интересна пропускная шины. В спецификации харда часто указывают максимальную скорость записи - чтения. Погонять тупых тестов (типа записи сурсов ядра в /dev/null), сравнить. Ежели удасться процентов 80-90 выжать от заявленного - смысла ковырять софт нет.

»

Батарейки на рейде все время

Автор NWhisper, дата создания 14 Августа, 2013 - 14:32.

Батарейки на рейде все время любят подыхать когда не надо :)

System time у меня средний 0.44. Интересно вот что: пока kworker "спокоен", iowait плавает от 0 до 1.5 в пиках, средний 0.3-0.5, но как только kworker решает, что ему надо потрудиться, сразу картина меняется. Решает трудиться он периодично (выше есть скриншот графика iowait).
В доках ядра пишут, что такая ситуация возможна и нужно юзать debug ядра (описание в файле Documentation/workqueue.txt). Но, блин, сервер боевой и удаленный, ядро собрал без дебага :(

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

выводы из топика: 1)

Автор slepnoga, дата создания 3 сентября, 2013 - 21:48.

выводы из топика:
1) хардварный раид - зло , SAS HBA zfs/lvm рулит :)
2) "сервачок на и7" был есть и будет есть десктопом, че на ем не гоняй.
3) если у вас нжинкс, апач пхп mysql и мемкешед с какой нибудь редиской в придачу на одной машине класса "серачок на и7" стоит уже год - сидите ровно на попе, проект уже не спасти.
4) если у вас на одной машине стоят нжинкс и апача, и сервак не класса "в конторе я и моя кошка" для просмотра австата - то что то не ладно в консерватории.
универсально:

быстро, дешево , качественно - можно основременно только 2 параметра :)

—

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

»

Исходя из чего получился

Автор NWhisper, дата создания 4 сентября, 2013 - 12:32.

1 - так и не понял исходя из чего получился этот вывод
2 - многие хостеры вполне себе успешно предлагают "сервачки на и7" и они вполне себе пользуются спросом, задачи разные бывают
3,4 - у Вас слишком завышено самомнение и Вы слишком переоцениваете свои возможности и знания, подумайте над этим на досуге

Не пишите сюда больше, пожалуста, так как по сути помощи от Вас нет, за-то сплошная оффтоп-болтовня.

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

кто хотел вам помочь

Автор slepnoga, дата создания 4 сентября, 2013 - 16:45.

кто хотел вам помочь технически - сделал это в первую неделю от старта поста.

Но, очевидно, после 

Можешь попробовать еще поумничать с выпендрежем, только уже очевидно, ты ответа не знаешь.

нам стоило упасть на колени и вознести тебе хвалу.

К сожалению,или к счастью, мы видали тут всех и всяких - белых, черный , серобуромалиновых, красноглазых , эмо , "хацкеров" и гиков ... и нас уже не удивить.
Вобщем то после таких ответов народ обычно думает "о, еще один" , и идет спать.

Подумай над этим мыслепотоком.

—

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

»

Твои мыслепотоки не

Автор NWhisper, дата создания 4 сентября, 2013 - 19:50.

Твои мыслепотоки и детские потуги самоутвердиться не интересуют. Уже который раз повторяю: пожалуйста, не оффтопь, утомил. Неужели это так трудно - просто не засорять эфир своими мыслепотоками в этом треде?

—

Секта Черных Пингвинов
http://blackpenguins.ru

»

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".