Полностью повисает ядро при копировании больших файлов на другой раздел внутри RAID5.
Здравствуйте уважаемые!
Столкнулся с такой проблемой. Есть RAID5 собранный средствами mdadm (/dev/md127), который разбит на 2 раздела (md127p1 и md127p2). На обоих разделах reiserfs. Второй раздел помимо прочего экспортируется по NFS. Всё работает, массив не повреждён и полностью синхронизирован. SMART говорит диски в порядке. И даже всё копируется, но при копировании файла около 700 Мб зависает всё колом, даже мышь, где-то на 80 процентах и спасает только reset. При этом в логах полная тишина. После сброса естественно запускается fsck, а затем синхронизация массива. С hdparm не игрался, поэтому всё по-умолчанию. Кто-нибудь сталкивался с подобной проблемой? В какую сторону копать?
Спасибо.
Вот некоторая информация о системе:
# emerge --info
Portage 2.1.10.19 (default/linux/amd64/10.0/desktop/kde, gcc-4.5.3, glibc-2.13-r4, 3.0.4-gentoo x86_64) ================================================================= System uname: Linux-3.0.4-gentoo-x86_64-AMD_Phenom-tm-_II_X6_1090T_Processor-with-gentoo-2.0.3 Timestamp of tree: Fri, 23 Sep 2011 00:45:01 +0000 distcc 3.1 x86_64-pc-linux-gnu [enabled] ccache version 3.1.6 [disabled] app-shells/bash: 4.2_p10 dev-java/java-config: 2.1.11-r3 dev-lang/python: 2.7.2-r3, 3.2.2 dev-util/ccache: 3.1.6 dev-util/cmake: 2.8.5-r2 dev-util/pkgconfig: 0.26 sys-apps/baselayout: 2.0.3 sys-apps/openrc: 0.9.3-r1 sys-apps/sandbox: 2.5 sys-devel/autoconf: 2.13, 2.68 sys-devel/automake: 1.9.6-r3, 1.10.3, 1.11.1-r1 sys-devel/binutils: 2.21.1-r1 sys-devel/gcc: 4.5.3-r1 sys-devel/gcc-config: 1.4.1-r1 sys-devel/libtool: 2.4-r1 sys-devel/make: 3.82-r3 sys-kernel/linux-headers: 2.6.39 (virtual/os-headers) sys-libs/glibc: 2.13-r4 Repositories: gentoo sunrise gamerlay-stable calculate ACCEPT_KEYWORDS="amd64 ~amd64 ~x86" ACCEPT_LICENSE="*" CBUILD="x86_64-pc-linux-gnu" CFLAGS="-march=amdfam10 -O2 -pipe" CHOST="x86_64-pc-linux-gnu" CONFIG_PROTECT="/etc /usr/share/config /usr/share/gnupg/qualified.txt /var/lib/hsqldb" CONFIG_PROTECT_MASK="/etc/ca-certificates.conf /etc/env.d /etc/env.d/java/ /etc/fonts/fonts.conf /etc/gconf /etc/gentoo-release /etc/php/apache2-php5.3/ext-active/ /etc/php/cgi-php5.3/ext-active/ /etc/php/cli-php5.3/ext-active/ /etc/revdep-rebuild /etc/sandbox.d /etc/splash /etc/terminfo" CXXFLAGS="-march=amdfam10 -O2 -pipe" DISTDIR="/usr/portage/distfiles" EMERGE_DEFAULT_OPTS="--jobs=3 --autounmask=y" FEATURES="assume-digests binpkg-logs distcc distlocks ebuild-locks fixlafiles fixpackages metadata-transfer news parallel-fetch protect-owned sandbox sfperms strict unknown-features-warn unmerge-logs unmerge-orphans userfetch" FFLAGS="" GENTOO_MIRRORS="http://distfiles.gentoo.org" LANG="ru_RU.utf8" LDFLAGS="-Wl,-O1 -Wl,--as-needed" LINGUAS="ru" MAKEOPTS="-j9" PKGDIR="/usr/portage/packages" PORTAGE_CONFIGROOT="/" PORTAGE_RSYNC_OPTS="--recursive --links --safe-links --perms --times --compress --force --whole-file --delete --stats --timeout=180 --exclude=/distfiles --exclude=/local --exclude=/packages" PORTAGE_TMPDIR="/var/tmp" PORTDIR="/usr/portage" PORTDIR_OVERLAY="/var/lib/layman/sunrise /var/lib/layman/gamerlay /var/lib/layman/calculate" SYNC="rsync://rsync.gentoo.org/gentoo-portage" USE="3dnow 3dnowext 7zip S3TC X Xaw3d a52 aac acl acpi aim akode alsa amarok amd64 amr amrnb amrr amrwb animgif ao apache2 apng aspell async audiofile audit automount barcode bash-completion berkdb bittorrent bl blas bluetooth boost branding bzip2 c++ cairo caps ccache cdda cdio cdr chardet chm cli clisp consolekit cpudetection cracklib crypt cups cupsddk curl cursors cvs cxx dbus declarative deflate designer-plugin device-mapper devil dhcp dialup divx djvu dmi dri dssi dts dv dvd dvdr dvdread editor elf embedded emboss enca encode examples exif expat extra-algorithms extra-cardsets extras fam fat fbcon fbcondecor fbsplash ffmpeg fftw firefox fits flac float fltk fluidsynth flv fontconfig fontforge foomaticdb fortran fpx ftp fts3 fuse fusion gammu gd gdbm gdu gecko geoip gif gimp git glib glibc-omitfp glitz glut gnuplot gnutella gnutls gphoto2 gpm graphviz grub gs gsm gstreamer gtk guile gzip hddtemp hpcups icons iconv icq icu id3tag ieee1394 imap imlib ipv6 irc jabber jack jad java javascript jbig joystick jpeg kde kdm kig-scripting kipi ladspa lame lash lcms ldap libnotify libsamplerate libssh2 libwww lirc lm_sensors logitech-mouse logrotate logviewer logwatch lua lzma lzo mad mdadm midi mikmod mime minizip mktemp mmap mmx mmxext mng modplug modules motif mozilla mp3 mp4 mpeg mplayer mppe-mppc mudflap multilib musepack music musicbrainz mysql mysqli ncurses nemesi network networking nls nova nptl nptlonly nsplugin nspluginwrapper ntfs ntp nvidia obex ocr odbc ogg ogg123 openal openexr opengl openmp oss pam pango pascal pcre pdf pdo perl phonon pixmaps plasma png policykit posix postgres ppds pppd pptp print private-headers python qt3 qt3support qt4 quicktime rar rdesktop readline reiser4 reiserfs rss rtc rtsp ruby samba sbig scanner sdl secure-delete semantic-desktop sensord session sid skins sms sndfile sockets sound soundtouch speex spell sql sqlite sqlite3 sse sse2 ssh ssl startup-notification stream subversion svg sysfs syslog sysvipc tcl tcpd themes theora threads tiff tk tordns truetype tunepimp udev unicode usb userlocales utils v4l v4l2 valgrind vcd vhosts videos visualization vlc vnc voice vorbis wav wavpack weather webinterface webkit winbind wireshark wma wmf wxwindows x264 xanim xcb xcomposite xine xinerama xinetd xml xmlrpc xorg xosd xpm xscreensaver xsl xterm xulrunner xv xvid zip zlib" ALSA_CARDS="intel8x0 ice1724" ALSA_PCM_PLUGINS="adpcm alaw asym copy dmix dshare dsnoop empty extplug file hooks iec958 ioplug ladspa lfloat linear meter mmap_emul mulaw multi null plug rate route share shm softvol" APACHE2_MODULES="actions alias auth_basic authn_alias authn_anon authn_dbm authn_default authn_file authz_dbm authz_default authz_groupfile authz_host authz_owner authz_user autoindex cache cgi cgid dav dav_fs dav_lock deflate dir disk_cache env expires ext_filter file_cache filter headers include info log_config logio mem_cache mime mime_magic negotiation rewrite setenvif speling status unique_id userdir usertrack vhost_alias" CALLIGRA_FEATURES="kexi words flow plan stage tables krita karbon braindump" CAMERAS="ptp2" COLLECTD_PLUGINS="df interface irq load memory rrdtool swap syslog" ELIBC="glibc" FOO2ZJS_DEVICES="hp1020" GPSD_PROTOCOLS="ashtech aivdm earthmate evermore fv18 garmin garmintxt gpsclock itrax mtk3301 nmea ntrip navcom oceanserver oldstyle oncore rtcm104v2 rtcm104v3 sirf superstar2 timing tsip tripmate tnt ubx" INPUT_DEVICES="keyboard mouse evdev" KERNEL="linux" LCD_DEVICES="bayrad cfontz cfontz633 glk hd44780 lb216 lcdm001 mtxorb ncurses text" LINGUAS="ru" LIRC_DEVICES="devinput" PHP_TARGETS="php5-3" RUBY_TARGETS="ruby18" USERLAND="GNU" VIDEO_CARDS="nvidia" XTABLES_ADDONS="quota2 psd pknock lscan length2 ipv4options ipset ipp2p iface geoip fuzzy condition tee tarpit sysrq steal rawnat logmark ipmark dhcpmac delude chaos account" Unset: CPPFLAGS, CTARGET, INSTALL_MASK, LC_ALL, PORTAGE_BUNZIP2_COMMAND, PORTAGE_COMPRESS, PORTAGE_COMPRESS_FLAGS, PORTAGE_RSYNC_EXTRA_OPTS
# cat /etc/fstab
.. # RAID 5 /dev/md127p1 /home reiserfs defaults,auto,noatime,nodiratime,notail 0 0 /dev/md127p2 /mnt/mainstorage reiserfs defaults,auto,noatime,nodiratime,notail 0 0 ..
# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [multipath] [faulty] md127 : active raid5 sdb1[0] sdd1[3] sdc1[1] 1465146368 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU] unused devices: <none>
# lspci
00:00.0 Host bridge: ATI Technologies Inc RX780/RX790 Chipset Host Bridge 00:02.0 PCI bridge: ATI Technologies Inc RD790 PCI to PCI bridge (external gfx0 port A) 00:06.0 PCI bridge: ATI Technologies Inc RD790 PCI to PCI bridge (PCI express gpp port C) 00:09.0 PCI bridge: ATI Technologies Inc RD790 PCI to PCI bridge (PCI express gpp port E) 00:11.0 SATA controller: ATI Technologies Inc SB700/SB800 SATA Controller [AHCI mode] (rev 40) 00:12.0 USB Controller: ATI Technologies Inc SB700/SB800 USB OHCI0 Controller 00:12.2 USB Controller: ATI Technologies Inc SB700/SB800 USB EHCI Controller 00:13.0 USB Controller: ATI Technologies Inc SB700/SB800 USB OHCI0 Controller 00:13.2 USB Controller: ATI Technologies Inc SB700/SB800 USB EHCI Controller 00:14.0 SMBus: ATI Technologies Inc SBx00 SMBus Controller (rev 42) 00:14.2 Audio device: ATI Technologies Inc SBx00 Azalia (Intel HDA) (rev 40) 00:14.3 ISA bridge: ATI Technologies Inc SB700/SB800 LPC host controller (rev 40) 00:14.4 PCI bridge: ATI Technologies Inc SBx00 PCI to PCI Bridge (rev 40) 00:14.5 USB Controller: ATI Technologies Inc SB700/SB800 USB OHCI2 Controller 00:15.0 PCI bridge: ATI Technologies Inc Device 43a0 00:15.1 PCI bridge: ATI Technologies Inc Device 43a1 00:16.0 USB Controller: ATI Technologies Inc SB700/SB800 USB OHCI0 Controller 00:16.2 USB Controller: ATI Technologies Inc SB700/SB800 USB EHCI Controller 00:18.0 Host bridge: Advanced Micro Devices [AMD] K10 [Opteron, Athlon64, Sempron] HyperTransport Configuration 00:18.1 Host bridge: Advanced Micro Devices [AMD] K10 [Opteron, Athlon64, Sempron] Address Map 00:18.2 Host bridge: Advanced Micro Devices [AMD] K10 [Opteron, Athlon64, Sempron] DRAM Controller 00:18.3 Host bridge: Advanced Micro Devices [AMD] K10 [Opteron, Athlon64, Sempron] Miscellaneous Control 00:18.4 Host bridge: Advanced Micro Devices [AMD] K10 [Opteron, Athlon64, Sempron] Link Control 01:00.0 VGA compatible controller: nVidia Corporation Device 1040 (rev a1) 01:00.1 Audio device: nVidia Corporation Device 0e08 (rev a1) 02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 01) 03:00.0 USB Controller: NEC Corporation Device 0194 (rev 04) 04:07.0 Multimedia controller: Philips Semiconductors SAA7134/SAA7135HL Video Broadcast Decoder (rev 01) 04:08.0 Multimedia audio controller: VIA Technologies Inc. VT1720/24 [Envy24PT/HT] PCI Multi-Channel Audio Controller (rev 01) 04:0e.0 FireWire (IEEE 1394): Texas Instruments TSB43AB23 IEEE-1394a-2000 Controller (PHY/Link) 05:00.0 SATA controller: JMicron Technology Corp. JMB362/JMB363 Serial ATA Controller (rev 02) 05:00.1 IDE interface: JMicron Technology Corp. JMB362/JMB363 Serial ATA Controller (rev 02) 06:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 06)
- Для комментирования войдите или зарегистрируйтесь
может места свободного нет)
может места свободного нет) df -h
исключено :)
исключено :)
До боли знакомая ситуация
До боли знакомая ситуация (((
Склонен винить reiserfs.
Я тоже про райзер подумал, и
Я тоже про райзер подумал, и почему-то про буферизацию. Вы как-то уже решили проблему?
Заменить reiserfs на XFS и не
Заменить reiserfs на XFS и не мучиться.
Вы уверены, что проблема в
Вы уверены, что проблема в reiserfs? Как-то не очень хочется переезд устраивать 8( Может можно настройками обойтись?
Пока никак. Машина работает,
Пока никак. Машина работает, переехать на другую ФС пока нет возможности. Правда проблема месяца два как не проявлялась...
Короче запостил я это дело на
Короче запостил я это дело на bugs.gentoo.org :)
Вы скажите, что меняли незадолго до того, как проблема исчезла?
Может опции монтирования какие крутили, hdparm, mdadm?
Да ничего не меняли. На этой
Да ничего не меняли. На этой машине у меня ПО собирается (билд-сервер это). Проблема возникала когда одновременно запускали несколько задач сборки. При этом система начинала лезть в своп и процессы просто уходили в "defunc". При этом, если предварительно в какой-нибудь консоли оставить включенным htop, или какой нибудь процесс, не требующий обращения к ЖД, они продолжают работают. Сервер на пинги отвечает. То есть само ядро работает. Но залогиниться уже невозможно. Сейчас я более или менее слежу за сервером, и расписание сборок настроил, чтоб одновременно много сборок не запускалось, и проблемы нет. Но, говорят, когда я в отпуске был проблема опять возникала.
/
ИМХО дело не столько в файловой системе.
Тут ещё как минимум RAID...
С рейдами не баловался.
Проблем с большими (от гига) файлами не баловался.
Исторически тьак сложилось, что отдаю предпочтение reiser3.
Стабильная ветка (на машине для которой справедливы высказанные утверждения
mad64
).:wq
--
Live free or die
+1 тоже была мутная проблема
+1
тоже была мутная проблема с reiserfs, на большом разделе(900Гб)(на маленьких с проблемами не сталкивался) Спонтанный переход фс в ro.
Топикастеру советую запустить проверку раздела, может быть даже с rebuild tree.
Раздел, на который копирую,
Раздел, на который копирую, как раз большой. 1,4 Тб. Есть ещё на рабочем сервере та же конфигурация (люблю reiserfs). Сегодня проверю как юзеры разбегутся по домам.
Проверку на домашнем сервере сначала сделаю, потом отпишусь.
Мгм.. А вот почему у меня
Мгм.. А вот почему у меня тупняков нет на reiser3 и mdraid (RAID5 4 диска) хотя у меня хома на reiserfs и размер там больше 2T
___________________________________________
Working on Gentoo for iPAQ hx4700 and Openmoko Neo Freerunner :-)
Если у вас компьютер с Windows, есть два выхода: выбросить компьютер в форточку или выбросить форточки с компьютера
.
Ядро какое?
Файлики 2-4+ гигабайта гоняешь?
:wq
--
Live free or die
Ядро 3.0 и 3.1 файлы есть и
Ядро 3.0 и 3.1 файлы есть и по 200+G
___________________________________________
Working on Gentoo for iPAQ hx4700 and Openmoko Neo Freerunner :-)
Если у вас компьютер с Windows, есть два выхода: выбросить компьютер в форточку или выбросить форточки с компьютера
Потому что не раздаёшь по
Потому что не раздаёшь по сети, или число пользователей работающих одновременно невелико.
Кстати да. У меня там
Кстати да. У меня там NFS-сервер...
Вот и у меня NFS сервер. И
Вот и у меня NFS сервер. И торренты на клиенте по NFS сохраняют на главное хранилище. Вот не пробовал ещё с погашеным NFS копировать. Да, кстати, у меня ещё tmpfs примонтирована в папку на одном из райзеров, который участвует в копировании.
Вчера после проверки reiserfsck попробовал снова скопировать - таже песня. Но --rebuild-tree пока не делал. Решил на бэды прокатить. Сейчас идёт проверка дисков из уровня запуска 1 с помощью badblocks -nvs /dev/sdX. RAID естественно погашен. Осталось 20 часов 8)
.
fsck
плюсую.Размер раздела файла вряд ли играет роль.
Помнится в процессе проверки автомонтирования тоже удивился тому, что втыкаемая в кард-ридер SD-карта монтируется в ro.
Последующая проверка показала, что файловая система битая.
:wq
--
Live free or die
про размер -
про размер - согласен(статистики нет), это был единственный раз когда у меня под линухом фс заглючила, но с тех пор не юзаю reiserfs для больших разделов, а на мелких(до 10Гб ни разу проблем не было)
Странные дела. Отмонтировал
Странные дела.
Отмонтировал раздел и запустил проверку, в результате которой обнаружилась ошибка. Почему fsck при загрузке после сброса это не исправляет?
reiserfsck --check /dev/md127p2
reiserfsck --fix-fixable /dev/md127p2
да-да. Раздел как раз 928G. А
да-да. Раздел как раз 928G. А ссылочки имеются, где про это прочитать можно?
man reiserfsck перед
man reiserfsck
перед rebuildtree на всякий случай сделайте карту бэдблоков с помощью reiserfstune
в моем случае я этого не сделал и получил цикл: rebuildtree не может завершиться из-за бэдболков, а их поиск через reiserfstune, пока не будет завершен rebuildtree . Инфу востановил(критичного там ничего не было) вроде без повреждений. Форматнул в xfs и стех пор живу без проблем и бэдблоков )
Что-то я не догнал как эту
Что-то я не догнал как эту карту сделать. Там нужно список бэдов подсовывать, но где его взять? Сейчас идёт проверка с помощью badblocks -nvs из runlevel 1.
упс, толи я за давностью лет
упс, толи я за давностью лет не правильно помню, то ли изменилось что. Сейчас я тоже не нашел.
Думаю, что проверки с помощью
Думаю, что проверки с помощью badblocks будет достаточно перед использованием rebuild-tree. Если rebuild-tree не поможет, придётся пересобирать ядро с дебагом и полными логами.
НЕ ПОМОГЛО!
Короче, проверил диски с помощью badblocks -nvs - сбойных секторов нет. Проверил партиции с --rebuild-tree и исправил ошибки.
НЕ ПОМОГЛО!
Более того, обнаружил, что если копировать файлы по 5-10Мб (мрз) штук по 10-20, то всё ок, но если зарядить копирование 100 таких файлов, то через некоторое время зависает, не успев докопировать. NFS была опущена.
Что дальше? Я так понимаю нужно дебаг в ядре включить и подробный вывод?
# reiserfsck --rebuild-tree /dev/md0p2