HowtoForge Forums | HowtoForge - Linux Howtos and Tutorials

HowtoForge Forums | HowtoForge - Linux Howtos and Tutorials (http://www.howtoforge.com/forums/index.php)
-   Server Operation (http://www.howtoforge.com/forums/forumdisplay.php?f=5)
-   -   Server Randomly Kills ALL Internet Connectivity for ALL Devices (http://www.howtoforge.com/forums/showthread.php?t=36128)

giganet 8th June 2009 21:39
Server Randomly Kills ALL Internet Connectivity for ALL Devices
 
Hello group...

I have been for some time now trying to get to the bottom of this situation and at this point am pulling my hair out.

The problem seems to be on Monday' but will occur on other days of the week too, but mostly on Monday!

I have replaced server hardware, NIC cards and even completely re-worked this server with Ubuntu Server 9.04 as this box was compromised at one point.

At times though I have to completely disconnect this server from the network as it brings down the T1 connection causing the CSU router to indicate a hard down with a red LED.
To fix it (temporarily) I disconnect the Ethernet cable to this server then a couple moments later I can re-connect it and all is fine again until the next time.

*I have also tried new Ethernet cables alike.

*During the outage if I run 'ifconfig' no collision or errors are shown.

*I have no secondary firewalls am only using the one in ISPC3

*Have run 'iptables -F' that way IPTables is not even doing anything either.

Can anyone help to shed some light on possible scenarios and possible solutions?

I would very much appreciate your help.

Thanking you in advance for your time.

Best Regards

falko 9th June 2009 16:47
Did you check with rkhunter or chkrootkit if the server has been compromised?

giganet 9th June 2009 17:43
Hi Falko and thank you for the reply..


I have just completed this server with the new ISPC3.

Below are the RKHunter results for today Tuesday June 9, 2009
All appears to be fine.
Code:
[ Rootkit Hunter version 1.3.2 ]

Checking rkhunter data files...
  Checking file mirrors.dat                                  [ No update ]
  Checking file programs_bad.dat                            [ No update ]
  Checking file backdoorports.dat                            [ No update ]
  Checking file suspscan.dat                                [ No update ]
  Checking file i18n/cn                                      [ No update ]
  Checking file i18n/en                                      [ No update ]
  Checking file i18n/zh                                      [ No update ]
  Checking file i18n/zh.utf8                                [ No update ]

Checking system commands...

  Performing 'strings' command checks
    Checking 'strings' command                              [ OK ]

  Performing 'shared libraries' checks
    Checking for preloading variables                        [ None found ]
    Checking for preload file                                [ Not found ]
    Checking LD_LIBRARY_PATH variable                        [ Not found ]

  Performing file properties checks
    Checking for prerequisites                              [ OK ]
    /bin/bash                                                [ OK ]
    /bin/cat                                                [ OK ]
    /bin/chmod                                              [ OK ]
    /bin/chown                                              [ OK ]
    /bin/cp                                                  [ OK ]
    /bin/date                                                [ OK ]
    /bin/df                                                  [ OK ]
    /bin/dmesg                                              [ OK ]
    /bin/echo                                                [ OK ]
    /bin/ed                                                  [ OK ]
    /bin/egrep                                              [ OK ]
    /bin/fgrep                                              [ OK ]
    /bin/fuser                                              [ OK ]
    /bin/grep                                                [ OK ]
    /bin/ip                                                  [ OK ]
    /bin/kill                                                [ OK ]
    /bin/login                                              [ OK ]
    /bin/ls                                                  [ OK ]
    /bin/lsmod                                              [ OK ]
    /bin/mktemp                                              [ OK ]
    /bin/more                                                [ OK ]
    /bin/mount                                              [ OK ]
    /bin/mv                                                  [ OK ]
    /bin/netstat                                            [ OK ]
    /bin/ps                                                  [ OK ]
    /bin/pwd                                                [ OK ]
    /bin/readlink                                            [ OK ]
    /bin/sed                                                [ OK ]
    /bin/sh                                                  [ OK ]
    /bin/su                                                  [ OK ]
    /bin/touch                                              [ OK ]
    /bin/uname                                              [ OK ]
    /bin/which                                              [ OK ]
    /usr/bin/awk                                            [ Warning ]
    /usr/bin/basename                                        [ OK ]
    /usr/bin/chattr                                          [ OK ]
    /usr/bin/cut                                            [ OK ]
    /usr/bin/diff                                            [ OK ]
    /usr/bin/dirname                                        [ OK ]
    /usr/bin/dpkg                                            [ OK ]
    /usr/bin/dpkg-query                                      [ OK ]
    /usr/bin/du                                              [ OK ]
    /usr/bin/env                                            [ OK ]
    /usr/bin/file                                            [ OK ]
    /usr/bin/find                                            [ OK ]
    /usr/bin/GET                                            [ OK ]
    /usr/bin/groups                                          [ OK ]
    /usr/bin/head                                            [ OK ]
    /usr/bin/id                                              [ OK ]
    /usr/bin/killall                                        [ OK ]
    /usr/bin/last                                            [ OK ]
    /usr/bin/lastlog                                        [ OK ]
    /usr/bin/ldd                                            [ OK ]
    /usr/bin/less                                            [ OK ]
    /usr/bin/locate                                          [ OK ]
    /usr/bin/logger                                          [ OK ]
    /usr/bin/lsattr                                          [ OK ]
    /usr/bin/lsof                                            [ OK ]
    /usr/bin/md5sum                                          [ OK ]
    /usr/bin/mlocate                                        [ OK ]
    /usr/bin/newgrp                                          [ OK ]
    /usr/bin/passwd                                          [ OK ]
    /usr/bin/perl                                            [ OK ]
    /usr/bin/pstree                                          [ OK ]
    /usr/bin/rkhunter                                        [ OK ]
    /usr/bin/runcon                                          [ OK ]
    /usr/bin/sha1sum                                        [ OK ]
    /usr/bin/size                                            [ OK ]
    /usr/bin/sort                                            [ OK ]
    /usr/bin/stat                                            [ OK ]
    /usr/bin/strace                                          [ OK ]
    /usr/bin/strings                                        [ OK ]
    /usr/bin/sudo                                            [ OK ]
    /usr/bin/tail                                            [ OK ]
    /usr/bin/test                                            [ OK ]
    /usr/bin/top                                            [ OK ]
    /usr/bin/touch                                          [ OK ]
    /usr/bin/tr                                              [ OK ]
    /usr/bin/uniq                                            [ OK ]
    /usr/bin/users                                          [ OK ]
    /usr/bin/vmstat                                          [ OK ]
    /usr/bin/w                                              [ OK ]
    /usr/bin/watch                                          [ OK ]
    /usr/bin/wc                                              [ OK ]
    /usr/bin/wget                                            [ OK ]
    /usr/bin/whatis                                          [ OK ]
    /usr/bin/whereis                                        [ OK ]
    /usr/bin/which                                          [ OK ]
    /usr/bin/who                                            [ OK ]
    /usr/bin/whoami                                          [ OK ]
    /usr/bin/gawk                                            [ Warning ]
    /usr/bin/lwp-request                                    [ OK ]
    /usr/bin/w.procps                                        [ OK ]
    /sbin/depmod                                            [ OK ]
    /sbin/ifconfig                                          [ OK ]
    /sbin/ifdown                                            [ OK ]
    /sbin/ifup                                              [ OK ]
    /sbin/init                                              [ OK ]
    /sbin/insmod                                            [ OK ]
    /sbin/ip                                                [ OK ]
    /sbin/lsmod                                              [ OK ]
    /sbin/modinfo                                            [ OK ]
    /sbin/modprobe                                          [ OK ]
    /sbin/rmmod                                              [ OK ]
    /sbin/runlevel                                          [ OK ]
    /sbin/sulogin                                            [ OK ]
    /sbin/sysctl                                            [ OK ]
    /sbin/syslogd                                            [ OK ]
    /usr/sbin/adduser                                        [ OK ]
    /usr/sbin/chroot                                        [ OK ]
    /usr/sbin/cron                                          [ OK ]
    /usr/sbin/groupadd                                      [ OK ]
    /usr/sbin/groupdel                                      [ OK ]
    /usr/sbin/groupmod                                      [ OK ]
    /usr/sbin/grpck                                          [ OK ]
    /usr/sbin/nologin                                        [ OK ]
    /usr/sbin/pwck                                          [ OK ]
    /usr/sbin/tcpd                                          [ OK ]
    /usr/sbin/unhide                                        [ Warning ]
    /usr/sbin/useradd                                        [ OK ]
    /usr/sbin/userdel                                        [ OK ]
    /usr/sbin/usermod                                        [ OK ]
    /usr/sbin/vipw                                          [ OK ]
    /usr/sbin/unhide-linux26                                [ Warning ]

Checking for rootkits...

  Performing check of known rootkit files and directories
    55808 Trojan - Variant A                                [ Not found ]
    ADM Worm                                                [ Not found ]
    AjaKit Rootkit                                          [ Not found ]
    aPa Kit                                                  [ Not found ]
    Apache Worm                                              [ Not found ]
    Ambient (ark) Rootkit                                    [ Not found ]
    Balaur Rootkit                                          [ Not found ]
    BeastKit Rootkit                                        [ Not found ]
    beX2 Rootkit                                            [ Not found ]
    BOBKit Rootkit                                          [ Not found ]
    CiNIK Worm (Slapper.B variant)                          [ Not found ]
    Danny-Boy's Abuse Kit                                    [ Not found ]
    Devil RootKit                                            [ Not found ]
    Dica-Kit Rootkit                                        [ Not found ]
    Dreams Rootkit                                          [ Not found ]
    Duarawkz Rootkit                                        [ Not found ]
    Enye LKM                                                [ Not found ]
    Flea Linux Rootkit                                      [ Not found ]
    FreeBSD Rootkit                                          [ Not found ]
    Fuck`it Rootkit                                          [ Not found ]
    GasKit Rootkit                                          [ Not found ]
    Heroin LKM                                              [ Not found ]
    HjC Kit                                                  [ Not found ]
    ignoKit Rootkit                                          [ Not found ]
    ImperalsS-FBRK Rootkit                                  [ Not found ]
    Irix Rootkit                                            [ Not found ]
    Kitko Rootkit                                            [ Not found ]
    Knark Rootkit                                            [ Not found ]
    Li0n Worm                                                [ Not found ]
    Lockit / LJK2 Rootkit                                    [ Not found ]
    Mood-NT Rootkit                                          [ Not found ]
    MRK Rootkit                                              [ Not found ]
    Ni0 Rootkit                                              [ Not found ]
    Ohhara Rootkit                                          [ Not found ]
    Optic Kit (Tux) Worm                                    [ Not found ]
    Oz Rootkit                                              [ Not found ]
    Phalanx Rootkit                                          [ Not found ]
    Phalanx Rootkit (strings)                                [ Not found ]
    Portacelo Rootkit                                        [ Not found ]
    R3dstorm Toolkit                                        [ Not found ]
    RH-Sharpe's Rootkit                                      [ Not found ]
    RSHA's Rootkit                                          [ Not found ]
    Scalper Worm                                            [ Not found ]
    Sebek LKM                                                [ Not found ]
    Shutdown Rootkit                                        [ Not found ]
    SHV4 Rootkit                                            [ Not found ]
    SHV5 Rootkit                                            [ Not found ]
    Sin Rootkit                                              [ Not found ]
    Slapper Worm                                            [ Not found ]
    Sneakin Rootkit                                          [ Not found ]
    Suckit Rootkit                                          [ Not found ]
    SunOS Rootkit                                            [ Not found ]
    SunOS / NSDAP Rootkit                                    [ Not found ]
    Superkit Rootkit                                        [ Not found ]
    TBD (Telnet BackDoor)                                    [ Not found ]
    TeLeKiT Rootkit                                          [ Not found ]
    T0rn Rootkit                                            [ Not found ]
    Trojanit Kit                                            [ Not found ]
    Tuxtendo Rootkit                                        [ Not found ]
    URK Rootkit                                              [ Not found ]
    VcKit Rootkit                                            [ Not found ]
    Volc Rootkit                                            [ Not found ]
    X-Org SunOS Rootkit                                      [ Not found ]
    zaRwT.KiT Rootkit                                        [ Not found ]

  Performing additional rootkit checks
    Suckit Rookit additional checks                          [ OK ]
    Checking for possible rootkit files and directories      [ None found ]
    Checking for possible rootkit strings                    [ None found ]

  Performing malware checks
    Checking running processes for suspicious files          [ None found ]
    Checking for login backdoors                            [ None found ]
    Checking for suspicious directories                      [ None found ]
    Checking for sniffer log files                          [ None found ]
    Checking for Apache backdoor                            [ Not found ]

  Performing Linux specific checks
    Checking kernel module commands                          [ OK ]
    Checking kernel module names                            [ OK ]

Checking the network...

  Performing check for backdoor ports
    Checking for UDP port 2001                              [ Not found ]
    Checking for TCP port 2006                              [ Not found ]
    Checking for TCP port 2128                              [ Not found ]
    Checking for TCP port 14856                              [ Not found ]
    Checking for TCP port 47107                              [ Not found ]
    Checking for TCP port 60922                              [ Not found ]

  Performing checks on the network interfaces
    Checking for promiscuous interfaces                      [ None found ]

Checking the local host...

  Performing system boot checks
    Checking for local host name                            [ Found ]
    Checking for local startup files                        [ Found ]
    Checking local startup files for malware                [ None found ]
    Checking system startup files for malware                [ None found ]

  Performing group and account checks
    Checking for passwd file                                [ Found ]
    Checking for root equivalent (UID 0) accounts            [ None found ]
    Checking for passwordless accounts                      [ None found ]
    Checking for passwd file changes                        [ None found ]
    Checking for group file changes                          [ None found ]
    Checking root account shell history files                [ OK ]

  Performing system configuration file checks
    Checking for SSH configuration file                      [ Found ]
    Checking if SSH root access is allowed                  [ Not allowed ]
    Checking if SSH protocol v1 is allowed                  [ Not allowed ]
    Checking for running syslog daemon                      [ Found ]
    Checking for syslog configuration file                  [ Found ]
    Checking if syslog remote logging is allowed            [ Not allowed ]

  Performing filesystem checks
    Checking /dev for suspicious file types                  [ None found ]
    Checking for hidden files and directories                [ None found ]

Checking application versions...

    Checking version of GnuPG                                [ OK ]
    Checking version of OpenSSL                              [ OK ]
    Checking version of PHP                                  [ OK ]
    Checking version of OpenSSH                              [ OK ]


System checks summary
=====================

File properties checks...
    Files checked: 124
    Suspect files: 4

Rootkit checks...
    Rootkits checked : 110
    Possible rootkits: 0

Applications checks...
    Applications checked: 4
    Suspect applications: 0

The system checks took: 1 minute and 36 seconds

All results have been written to the logfile (/var/log/rkhunter.log)

One or more warnings have been found while checking the system.
Please check the log file (/var/log/rkhunter.log)

Thank you Falko

Best Regards

falko 10th June 2009 16:30
What's in /var/log/rkhunter.log?

giganet 10th June 2009 17:25
Hi Falko thank you for the reply...

I have looked through rkhunter.log and I am not exactly sure what to look for however I find these things to be questioned:

I purposely separated log lines which were not in relation to one another within the log file.

Code:
[07:00:28] /usr/bin/awk                                      [ Warning ]
[07:00:28] Warning: The file properties have changed:
[07:00:28]          File: /usr/bin/awk
[07:00:28]          Current hash: 90e423697f359d68af6e375aa48dd40a7ed21d13
[07:00:28]          Stored hash : 5a62d856b17933d8e8930ab4a6f20d6a90053c79
 
 
[07:00:31] Info: Found file '/usr/bin/groups': it is whitelisted for the 'script replacement' check.
 
[07:00:32] Info: Found file '/usr/bin/ldd': it is whitelisted for the 'script replacement' check.
 
 
[07:00:40] /usr/bin/gawk                                    [ Warning ]
[07:00:40] Warning: The file '/usr/bin/gawk' exists on the system, but it is not present in the rkhunter.dat file.
 
 
[07:00:40] Info: Found file '/usr/bin/lwp-request': it is whitelisted for the 'script replacement' check.
 
[07:00:45] Info: Found file '/usr/sbin/adduser': it is whitelisted for the 'script replacement' check.
 
[07:00:48] /usr/sbin/unhide                                  [ Warning ]
[07:00:48] Warning: The file '/usr/sbin/unhide' exists on the system, but it is not present in the rkhunter.dat file.
 
[07:00:49] /usr/sbin/unhide-linux26                          [ Warning ]
[07:00:49] Warning: The file '/usr/sbin/unhide-linux26' exists on the system, but it is not present in the rkhunter.dat file.
[07:01:39] Info: Test 'deleted_files' disabled at users request.
[07:01:39] Info: Starting test name 'running_procs'
[07:01:40]  Checking running processes for suspicious files [ None found ]
[07:01:40]
[07:01:40] Info: Test 'hidden_procs' disabled at users request.
[07:01:40]
[07:01:40] Info: Test 'suspscan' disabled at users request.
 
[07:01:50] System checks summary
[07:01:50] =====================
[07:01:50]
[07:01:50] File properties checks...
[07:01:50] Files checked: 124
[07:01:50] Suspect files: 4
[07:01:50]
[07:01:50] Rootkit checks...
[07:01:50] Rootkits checked : 110
[07:01:51] Possible rootkits: 0
[07:01:51]
[07:01:51] Applications checks...
[07:01:51] Applications checked: 4
[07:01:51] Suspect applications: 0
[07:01:51]
[07:01:51] The system checks took: 1 minute and 36 seconds
[07:01:51]
[07:01:51] Info: End date is Wed Jun 10 07:01:51 PDT 2009
Are some of the files which are not defined in need of definition within rkhunter setup file?

Thank you Falko

Best Regards

falko 11th June 2009 17:33
I guess this is nothing serious. Seems as if there's no malware on your system. :) But I have no idea why your system is losing its Internet connection...


All times are GMT +2. The time now is 23:33.

Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2013, vBulletin Solutions, Inc.