HP-UNIX系统宕机
发布时间：2014-09-05 15:26:24作者：知识屋
HP-UNIX系统宕机
早上进行db例行巡检的时候发现一个节点2宕机。
首先检查检点2的alter，没有任何发现，而且crs各项资源也offline状态，可以判断应该
是系统宕机导致没有任何记录。 www.zhishiwu.com
是系统宕机导致没有任何记录。 www.zhishiwu.com
通过查看系统登录日志发现有过重启记录：
# last | grep Dec
root pts/1 Mon Dec 17 10:08 still logged in
root pts/0 Mon Dec 17 09:33 still logged in
reboot system boot Sun Dec 16 08:16 still logged in
reboot system boot Sat Dec 15 23:59 - 08:16 (08:16)
但是就是不知道系统重新信息会不会也记录到这里，而且看第3条记录，还still logged in这个
只能交给HP工程师来处理了。
只能交给HP工程师来处理了。
检查/etc/shutdownlog发现如下新：
00:03 Sun Dec 16 2012. Reboot after panic: MCA, IIP:0xe0000000008a1a40 IFA:0xc000000006dae000
08:18 Sun Dec 16 2012. Reboot after panic: MCA, IIP:0xe000000000d650a0 IFA:0x20000000777db0cc
www.zhishiwu.com
检查节点1的alter日志发现如下信息：
Sat Dec 15 23:55:30 2012
Errors in file /opt/oracle/product/admin/xxx/udump/xxx1_ora_4074.trc:
Sat Dec 15 23:55:31 2012
Errors in file /opt/oracle/product/admin/xxx/udump/xxx1_ora_4074.trc:
Sat Dec 15 23:55:34 2012
Reconfiguration started (old inc 100, new inc 102)
List of nodes:
0
检查crs日志如下：
2012-12-15 23:55:16.183
[cssd(4229)]CRS-1612:node xxx2 (0) at 50% heartbeat fatal, eviction in 0.000 seconds
2012-12-15 23:55:23.183
[cssd(4229)]CRS-1611:node xxx2 (0) at 75% heartbeat fatal, eviction in 0.000 seconds
2012-12-15 23:55:24.181
[cssd(4229)]CRS-1611:node xxx2 (0) at 75% heartbeat fatal, eviction in 0.000 seconds
2012-12-15 23:55:28.183
[cssd(4229)]CRS-1610:node xxx2 (0) at 90% heartbeat fatal, eviction in 0.000 seconds
2012-12-15 23:55:29.180
[cssd(4229)]CRS-1610:node xxx2 (0) at 90% heartbeat fatal, eviction in 0.000 seconds
2012-12-15 23:55:30.183
[cssd(4229)]CRS-1610:node xxx2 (0) at 90% heartbeat fatal, eviction in 0.000 seconds
2012-12-15 23:55:30.682
[cssd(4229)]CRS-1607:CSSD evicting node xxx2. Details in /opt/oracle/product/crs/log/xxx1/cssd/ocssd.log.
[cssd(4229)]CRS-1601:CSSD Reconfiguration complete. Active nodes are xxx1 .
检查cssd日志如下：
[ CSSD]2012-12-15 23:55:16.183 [18] >WARNING: clssnmPollingThread: node xxx2 (2) at 50 2.000000e+00artbeat fatal, eviction in 14.489 seconds
[ CSSD]2012-12-15 23:55:16.183 [18] >TRACE: clssnmPollingThread: node xxx2 (2) is impending reconfig, flag 1037, misstime 15511
[ CSSD]2012-12-15 23:55:16.183 [18] >TRACE: clssnmPollingThread: diskTimeout set to (27000)ms impending reconfig status(1)
[ CSSD]2012-12-15 23:55:23.183 [18] >WARNING: clssnmPollingThread: node xxx2 (2) at 75 2.000000e+00artbeat fatal, eviction in 7.489 seconds
[ CSSD]2012-12-15 23:55:24.181 [18] >WARNING: clssnmPollingThread: node xxx2 (2) at 75 2.000000e+00artbeat fatal, eviction in 6.490 seconds
[ CSSD]2012-12-15 23:55:28.183 [18] >WARNING: clssnmPollingThread: node xxx2 (2) at 90 2.000000e+00artbeat fatal, eviction in 2.489 seconds
[ CSSD]2012-12-15 23:55:29.180 [18] >WARNING: clssnmPollingThread: node xxx2 (2) at 90 2.000000e+00artbeat fatal, eviction in 1.491 seconds
[ CSSD]2012-12-15 23:55:30.183 [18] >WARNING: clssnmPollingThread: node xxx2 (2) at 90 2.000000e+00artbeat fatal, eviction in 0.489 seconds
可以获知节点2在这个时刻已经在重新配置集群了，将节点2剔除了集群。
在通过将存储active之后，集群自动在节点2启动并恢复正常生产。
通过/var/adm/syslog/syslog.log 和old日志发现节点系统重启了，奇怪的是竟然没有重启之前的日志信息，只能打包/var/adm/crash目录下的系统crash(可以通过 q4 crash文件大概查看一下)日志信息给HP支持人员。
-The End-
（免责声明：文章内容如涉及作品内容、版权和其它问题，请及时与我们联系，我们将在第一时间删除内容，文章内容仅供参考）
相关知识
-
linux一键安装web环境全攻略 在linux系统中怎么一键安装web环境方法
-
Linux网络基本网络配置方法介绍 如何配置Linux系统的网络方法
-
Linux下DNS服务器搭建详解 Linux下搭建DNS服务器和配置文件
-
对Linux进行详细的性能监控的方法 Linux 系统性能监控命令详解
-
linux系统root密码忘了怎么办 linux忘记root密码后找回密码的方法
-
Linux基本命令有哪些 Linux系统常用操作命令有哪些
-
Linux必学的网络操作命令 linux网络操作相关命令汇总
-
linux系统从入侵到提权的详细过程 linux入侵提权服务器方法技巧
-
linux系统怎么用命令切换用户登录 Linux切换用户的命令是什么
-
在linux中添加普通新用户登录 如何在Linux中添加一个新的用户
软件推荐
更多 >
-
1
专为国人订制！Linux Deepin新版发布2012-07-10
-
2
CentOS 6.3安装(详细图解教程)
-
3
Linux怎么查看网卡驱动?Linux下查看网卡的驱动程序
-
4
centos修改主机名命令
-
5
Ubuntu或UbuntuKyKin14.04Unity桌面风格与Gnome桌面风格的切换
-
6
FEDORA 17中设置TIGERVNC远程访问
-
7
StartOS 5.0相关介绍，新型的Linux系统！
-
8
解决vSphere Client登录linux版vCenter失败
-
9
LINUX最新提权 Exploits Linux Kernel <= 2.6.37
-
10
nginx在网站中的7层转发功能
