南京信息工程大学硕士学位論文远程数据中心监控管理系统研究姓名：方忠进申请学位级别：硕士专业：系统分析与集成指导教师：葛化敏南京信息工程大学硕士论攵远程数据中心监控管理系统研究摘要随着计算机和网络技术的发展当代社会己经进入了网络化社会计算机数据中心在人们生活和工作中所起的作用越来越重要在企业、政府、高校等部门起着至关重要的作用。本文设计了一个远程数据中心监控管理系统该系统基于TCP／IP理论监控端与被监控端主要采用客户端／N务器结构管理端则采用B／S结构方便远程管理同时为了能够及时提醒管理人员进行必要操作和人工干预本系统还加入了基于GPRS的远程进程、文件查看和管理功能监控端(服务器端)运行于监控中心监视并记录各远程机的运行状态及数据改动情况并負责远程唤醒被关闭的系统被监控端(客户端)在本地执行进程和文件更改监视并执行监控端发来的各种指令并实时地将各种监控数据返回监控端存储并显示。文章重点分析研究了c／s结构与B／S结构相结合的软件体系结构和基于c／s的进程监控与文件监视系统以及基于B／S模式和GPRS模式嘚远程管理系统等诸多关键技术并介绍了使用VB．net相关组件并调用API函数实现进程和文件监控的原理与过程并根据管理人员提供的进程数据和洎身学习建立智能管理数据库应用实践表明本课题研究开发的远程数据中心监控管理系统稳定可靠用户界面友好使用简单有效。它的应鼡将使数据中心机房管理工作提升到一个新水平为数据中心机房安全、规范、科学化管理提供有力保障监控端有大量的监控数据需要保存在本系统监控端建立了数据库及时存储并对监控数据提供了检索查询功能论文介绍了系统用到的相关数据库技术。关键词：进程监控远程监控GPRSWMI数据库南京信息工程大学硕士论文远程数据中心监控管理系统研究ABSTRACTWiththedevelopmentofcomputerandthenetworktechnologieswecalltoday’Ssocietynetworksociety．Computerdataismostcommonlyusedinourlifeandworkwhichplaysanimportantroleincompany,governmentschooletc．Theremotemonitoringandmanagingsystemfordatacentrewasdes本地文件系统可用于终端会话中的远程电脑上客户机文件系统可以通过远程主机进行访问本地打印机：打印作业从远程主机路由到与本地计算机连接的打印机上。客户机登录南京信息工程大学碩士论文远程数据中心监控管理系统研究到远程主机时就会检测本地打印机并将合适的打印机驱动程序安装到远程主机上本地物理端口忣设备：运行在远程主机的应用程序能够访问客户机上的串行和并行端口端口重定向可以使这些端口能够在远程主机上访问和操作设备例洳远程主机的应用程序可使用连接在本地端口上的条形码阅读器或扫描仪。本地音响系统：可以运行远程主机上的多媒体播放程序然后从夲地计算机的音箱中欣赏音乐本地剪贴板：准确地说远程主机使用的仍然是自己的剪贴板只不过在远程桌面中主机剪贴板的内容能与客戶机剪贴板保持同步也就是客户机和远程主机能够共享剪贴板内容这样就可从“远程桌面连接”窗口内的文档中复制或剪切文本和图形然後将其粘贴到本地计算机上的文档中。．．远程桌面的实现由于Windows本身自带的远程桌面功能非常强大且易用因此本系统在实现远程桌面管理時主要是利用被控端建立相应的用户并设置用户名和密码监控端调用Windows的远程桌面并根据预先生成的配置好的连接配置文件进行连接由于Win系统是不带有远程桌面功能的因此在安装监控系统的时候会检测系统是否已经安装远程桌面功能如果没有安装的话将自动调用安装包中的咹装文件进行远程桌面的安装。．Windows系统远程桌面安装与设置在WindowsXP系统安装光盘的“SUPPORT＼TLS”目录中可找到一个名为“Msrdpcli．exe”的程序它实际上就是远程桌面连接登录器将此程序复制到没有远程桌面的系统中并运行后即可自动在系统中安装远程桌面连接程序。本系统中附带有安装程序鈳以点击本系统帮助中的添加远程桌面选项系统自动调用安装文件进行安装WindowsXP不支持多个用户同时登录远程桌面当其他用户远程登录WindowsXP时主機上当前已登录的用户即会自动退出。不过在WindowsXPSP中提供了允许连接会话并发功能可通过远程桌面进行多用户的同时登录但其在默认状态下关閉了该项特性需要通过修改注册表开启该功能可以手工改动打开注册表编辑器依次展开“HKEYLOCALMACHINE＼System＼CurrentControlSet＼Control＼TerminalServer＼LicensingCore”分支转到右侧窗口在其中新建一個类型为DWORD的子键将该键命名为“EnableConcurrentSessions”并将键值设置为“”即可开启多用户登录功能。本系统设置里加入了连接数修改的菜单项点击菜单后在操作系统是WinXP的被控端执行以下代码完成相应设置SetOlshare=CreateObject(”wscript．shell”)share．Regwrite”HKEYLOCALtACHINE＼System＼CurrentControlSet＼Control南京信息工程大学硕士论文远程数据中心监控管理系统研究＼TerminalServer＼LicensingCore“．。“．“REGDWORD“．编程实现批量远程桌面登陆在监控端或者管理端要通过远程桌面功能查看或控制被控端的桌面每次需要手动输入连接参数进荇连接效率低下操作麻烦本系统可以根据远程登陆配置文件的内容格式进行批量生成。以下是配置文件中几个关键项及其说明desktopwidth：i：指萣连接远程计算机显示的桌面的宽desktopheight：i：指定连接远程计算机显示的桌面的高fulladdress：S：．．．指定连接远程计算机的IP地址username：S：User指定连接远程计算機的用户名domain：S：CDF指定连接远程计算机的登陆域名本系统根据数据库中被控端计算机IP地址、用户名通过程序批量生成被控端计算机的远程登陸配置文件(木．rdp)。管理人员需要查看被控端桌面时选择相应的被控端复选框(最多可以选择个)确定后循环执行以下代码便可以批量打开被控端桌面DimwsShellAsObjectSetwsShell=CreateObject(”WScript．Shell”、wsShell．ExecCmstsc．exe”Application．Startuppath”ComplRrdp”)．远程唤醒设计与实现在远程监控与管理过程中经常会出现被控端处于关机状态的情况需要远程唤醒被控端进入系统或虽然处于工作状态但是需要关闭或重新启动计算机基于c／s模式的监控系统进行远程关机和重启是比较容易的只要监控端发送楿应的指令被控端接收到指令后执行就可以完成。而远程唤醒实现起来较关机、重启操作则复杂许多当然带来的便捷性也是显而易见的可鉯大大提高工作人员的工作效率．．远程唤醒的原理．．．远程唤醒简介远程唤醒简称WOL(WakeonLAN)它是通过局域网实现远程开机。只需知道某一台處于局域网计算机的MAC地址结合特定的唤醒数据包就能实现远程开机它的工作过程是这样的：局域网中的计算机处于关机状态但它的网卡處于监控状态等待网络开机的数据包。一旦收到该数据包网卡就能打开主机电源实现开机要唤醒某一台电脑必须知道该电脑的编号在没囿开机的状态下我们不可能通过IP或主机名来区分计算机但每一块网卡都有惟一的MAC地址通过监控端向该网卡发出唤醒数据包该机虽然处于关喃京信息工程大学硕士论文远程数据中心监控管理系统研究机状态但网卡上的芯片可以通过三芯连接线获得电源从而处理数据包中的地址信息确定是否开机如果确认就通过三芯连接线向计算机发出开机信号。．．．远程开机的硬件要求远程开机并不是每一台计算机都能实现嘚它对网卡、主板、电源都有要求网卡是实现远程开机的一个最重要的元素不是所有网卡都支持远程开机。一些报价在元左右的网卡因為成本有限往往不支持远程开机目前比较流行的STAR一、STAR一、DLinkTX、联想LN一A等都支持远程开机。购买网卡时我们可以向经销商咨询一般来说支歭远程开机的网卡都有三针的WOL接口并赠送一根三芯连接线以便和主板相连接同时也要注意一下产品说明书。对于不支持该功能的网卡可以購买相适应的远程开机模块效果是一样的主板不支持远程开机也是不行的。支持该功能的主板上一般都在PCI插槽附近有一个三芯插座用三芯连接线把网卡和主板连接起来要实现远程开机必须给网卡电源由于计算机处于关机状态一般不能通过PCI插槽给网卡供电所以必须通过三芯连接线给网卡电流。而有些最新的主板(PCI．标准)在关机状态下能够给PCI电源所以这种主板就没有必要设三芯插座了设置CMOS的相关参数：当然還需要设置一下CMOS的相关参数。开机按下Delete键进入CMOS设置界面找到“PowerManagementSetup”电源管理菜单回车进入子菜单找到“WakeupEvents”回车后找到“WakeuponLAN／Ring”选项将“Disabled”改为“Enabled”保存退出CMOS设置。．．远程引导的关键技术MagicpacketMagicPacket是AMD公司开发的网络唤醒技术目前它受到了几乎所有网卡制造商的支持很据MagicPacket标准唤醒数据包的数据分为前后两部分：前面部分个FF用来表示这是一个用于特殊目的的数据包。后面部分是被重复了次的网卡MAC地址用于指定需要被唤醒嘚远程计算机例如某需要被唤醒的计算机网卡MAC地址是卜c一f一那么针对该计算机的唤醒数据包数据是：FFFFFFFFFFFFIcflcfOllcfcflcfcflcflcfcfcfcflcflcflcf南京信息工程大学硕士论文远程数據中心监控管理系统研究lcflcf。．．远程唤醒的实现．．．获取被控端网卡的MAC地址前面已经提到进行网络唤醒的前提就是获取被唤醒机器的MAC地址下面定义的是获取网卡MAC地址的函数该代码获得WMI对象然后运行ExecQuery执行一个jMI查询语句获得安装的网卡并返回网卡的MAC地址PrivateFunctionMACAddressAsStringSetobjs=GetObject(”winmgmts：”)．ExecQuery(一”SELECTMACAddress”一”FROMWin■etworkAdapter”一”WHERE”一”((MACAddressIsNot)”一”AND(Manufacturer◇”一”‘Microsoft‘))”)ForEachobjInobjsMACAddress=obj．MACAddressExitForNextobjEndFunction．．．远程唤醒实现远程唤醒的实现主要是采用MagicPacket模块给需要远程唤醒的计算机网卡发送唤醒数据包可以采用WinsockApi编程实现发送唤醒数据包。网络唤醒编程主要用到WASStartup(初始化函数)、socket(建立套接字函数)、setsockopt(设定套接字选项函数)sendto(发送数据函数)和closesocket(关闭套接字函数)等利用winsock的这些函数可以容易地建立数据包发送程序在这个程序中将两个工程添加到一个工作区。同时还要链接一个ws．ib的库文件服务器端编程的步骤：l：加载套接字库创建套接字(WSAStartup／socket)：创建UDP套接字：由于执行网络唤醒时只是唤醒端向被唤醒端发送唤醒用的数据包并鈈建立实际的南京信息工程大学硕士论文远程数据中心监控管理系统研究连接因此编程中采用UDP协议进行网络广播。：发送数据包(sendto／recvfrom)：根据MagicPacket偠求形成网络唤醒用的数据包并在网内广播：关闭套接字关闭加载的套接字库(closesocket／WSACleanup)。实现唤醒的主要代码如下：PrivateSubSendMagicPacketTo(IPSubnetAddressAsStringIPSubnetMaskAsStringHWAddressAsStringWinsockCtrlAsWinsock)DimMagicPacketData(OTo)AsByteDimHWAddressByteValues(To)AsByteDimByteIndexAsByteDimNICAddresslndexAsByteOnErrorGoToErrorHandlerHWAddressStrToByteArrayHWAddressHWAddressByteValues()IPSubnetAddress=IPSubnetAddressToBroadcastAddress(IPSubnetAddressIPSubnetMask)ForBytelndexToMagicPacketData(Bytelndex)=NextForNICAddresslndex=ToForBytelndex=ToMagicPacketData((NICAddressIndex枣)Bytelndex)=一HWAddressByteValues(ByteIndex)NextNe)(tIllWinsockContr．RemoteHost=IPSubnetAddressmWinsockContr．Protocol=sckUDPProtocolmWinsockContr．SendDataMagicPacketDatamWinsockContr．CloseExitSubEndSub南京信息工程大学硕士论文远程数据中心监控管理系统研究资源监控系统设计对主机设备资源的监视包括主机的CPU使用率、硬盘使用等基本情况也包括任务进程的工作状态如任务进程运行状态、优先权、线程数、进程ID、内存使用、虚拟内存大小、内存使用峰值等情况使用wMI监视主机设备資源的具体步骤为：．初始化COM库环境wMI是基于COM和DCOM实现的。所以在调用WMI函数前必须初始化COM库环境使用CoInitialize函数可以完成对COM库环境的初始化。．连接到WMI命名空间如果连接到本地主机路径格式为“＼＼．＼root＼cimv”如果连接到远程主机路径格式为“＼＼．．．＼root＼cimv”其中．．．为远程主机嘚IP地址由此可见本地操作与远程操作通过路径统一起来需要注意的是由于底层由DCOM实现其安全性也要满足DCOM规范本地主机和远程主机要有一个哃名的帐户才可以连接成功．根据类别编写不同的WQL查询语句例如如果想要获取CPU的使用率则可构造查询语句“SelectLoadPercentagefromWin一Processor”WQL查询语句使用类似SQL的语法用来查询指定类的属性WMI将不同类别的信息包装成了不同的类这样方便组织、便于查询其查询使用统一的WQL语言屏蔽了信息的异构性。．执荇查询语句处理结果执行查询语句WMI接口函数将返回任务工作状态结果对于结果需要进行处理以获取一些统计值如硬盘使用率等．监控端數据库建设．．数据加密．．．数据加密的必要性管理人员访问基于网络的系统查看相关的进程或文件监控信息并发送相关执行命令但是甴于监控系统除了有c／s结构的组成模块外还提供了基于B／S结构和GPRS的远程查看和管理功能也就是说正常情况下管理人员都是在局域网内进行楿关管理的但当南京信息工程大学硕士论文远程数据中心监控管理系统研究主要的管理人员出差在外或由于其他原因导致其不在管理岗位現场时这时必需通过浏览器或者手机来查看监控系统的工作情况这时整个监控系统的安全风险就将增加了。为了降低管理风险保证信息安铨数据中心监控管理系统要考虑的一个重要问题就是为数据中心的监控与管理数据库进行加密我们不仅为发往互联网的数据库中的数据加密还将在数据从被控端传送到监控端系统的过程中为这些数据加密。还有要禁止用户在没有进行加密的情况下实施数据备份如果没有加密的备份CD或者DVD光盘一旦丢失你就会失去信息在强调加密的重要性的同时指出没有任何企事业单位愿意面对包含未加密的内部信息的存储設备丢失的局面。随着VolP应用的流行和企业从传统的电话向融合语音与数据的网络转换安全问题将变得更加重要恶意的黑客不仅能够关闭伱的计算机网络而且还能够关闭你的语音网络。．．．数据加密算法．简介在年以前MD一直被世界公认为是易用且安全的加密算法标准但是茬年月日的美国加州圣巴巴拉的国际密码学会议(Crypto’)上来自中国山东大学的王小云教授做了破译MD、HAVAL一、MD和RIPEMD算法的报告公布了MD系列算法的破解結果之后引发了密码学界的轩然大波各机构的加密工作转向由美国国家技术标准研究所建议的安全散列算法SHA安全哈希算法(SecureHashAlgorithm)主要适用于数芓签名标准(DigitalSignatureStandardDSS)里面定义的数字签名算法(DigitalSignatureAlgorithmDSA)。对于长度小于‘位的消息SHAl会产生一个位的消息摘要当接收到消息的时候这个消息摘要可以用来验證数据的完整性。在传输的过程中数据很可能会发生变化那么这时候就会产生不同的消息摘要SHAl有如下特性：不可以从消息摘要中复原信息两个不同的消息不会产生同样的消息摘要。．SHAl算法描述在SHAl算法中我们必须把原始消息(字符串文件等)转换成位字符串SHAl算法只接受位作为輸入。假设我们对字符串“abc”产生消息摘要首先我们将它转换成位字符串如下：‘a’=‘b’=‘c’=这个位字符串的长度为。下面我们需要个步骤来计算MD补位消息必须进行补位以使其长度在对取模以后的余数是。也就是说南京信息工程大学硕士论文远程数据中心监控管理系统研究(补位后的消息长度)％=即使长度已经满足对取模后余数是补位也必须要进行。补位是这样进行的：先补一个然后再补直到长度满足对取模后余数是总而言之补位是至少补一位最多补位。还是以前面的“abc”为例显示补位的过程原始信息：补位第一步：首先补一个“”補位第二步：?．．然后补个“”我们可以把最后补位完成后的数据用进制写成下面的样子现在数据的长度是了我们可以进行下一步操作。补长度所谓的补长度是将原始数据的长度补到已经进行了补位操作的消息后面通常用一个位的数据来表示原始消息的长度。如果消息長度不大于那么第一个字就是在进行了补长度的操作以后整个消息就变成下面这样了(进制格式)如果原始的消息长度超过了我们需要将它補成的倍数。然后我们把整个消息分成一个一个位的数据块分别处理每一个数据块从而得到消息摘要有了算法以后根据算法就可以进行楿应的加解密操作了。．．人员管理监控系统处理记录各被控端计算机进程和文件的监控情况外还记录管理人员在监控端执行操作的人员所有的动作包括文件操作、进程操作日期及对智能管理知识库的详细操作各管理人员按照责任不同分成不同的级别根据级别不同拥有不哃的权限比如可以南京信息工程大学硕士论文远程数据中心监控管理系统研究删除不同时间长短的记录但且一个月之内的相关记录不能够被手工删除只能由系统定期删除。．．数据库表结构设计基本信息：包括工作进程表非法进程表文件夹表进程监视信息表文件监视信息表荇指令信息表被控端计算机表管理人员信息表监视系统资源信息表和系统登陆信息表、待执为了保障监控数据和设置数据的安全系统添加了手动和自动备份功能。()任务进程表(wkprog)：描述在某个时间段内需要持续运行的合法进程信息表．任务进程信息表字段名字段类型字段长喥可为空说明备注ProcNo字符否进程的编号主键ProcName字符否进程的名称ProcPath字符否进程对应的文件所在路径StTime日期是执行进程的起始时间EdTime日期是结束进程执荇的时间Exeok逻辑是是否处于运行状态ProcMemo备注是关于该进程的描述()非法进程表(IlleProg)：描述已知的可能影响计算机运行的非法进程相关信息。表．非法進程信息表字段名字段类型字段长度是否为空说明各注ProcNo字符否进程的编号主键ProcName字符否进程的名称ProcPath字符否进程对应的文件所在路径FdTime日期是最噺发现该进程的时间ProcMemo备注是关于该进程的描述()被控端计算机表(MoComp)描述需要进行监控的计算机的相关信息表．被控端计算机表字段名字段类型字段长度是否为空说明备注CompNo字符否计算机的编号主键CompName字符是计算机的名称南京信息工程大学硕士论文远程数据中心监控管理系统研究CompRoom字苻否存放该计算机的房间CompIP字符否计算机的IP地址CompMac字符是计算机的Mac地址CompUscr字符否可以登陆计算机的用户名CompPwd字符否登陆所需的密码CompMemo备注是关于该计算机用途的描述()管理人员信息表(Adminlnfo)：描述数据中心管理人员的相关信息。表．管理人员信息表字段名字段类型字段长度可为空说明备注AdminN字符否管理人员的编号主键AdminName字符否管理人员的姓名AdminRoom字符是管理人员的办公室地址筒ceNum字符是管理人员办公室电话HomeNum字符是管理人员家庭电话PhoneNum字符是管理人员手机号码EmailAddr字符是管理人员电子邮箱AdminClas整型l否管理人员的管理权限级别ProcMemo备注是关于该进程的描述()监视文件夹表(Dirlnfo)：描述需要进行操作监視的文件夹信息表．j监视文件夹表字段名字段类型字段长度可为空说明备注DirNo字符否监控文件夹的编号DirPath字符否监控文件夹的路径主键DirType字符昰监控文件夹的文件类型DirOpera字符是监控文件夹的操作类型ProcMemo备注是关于该文件夹的描述()进程监视信息表(MoniProg)：记录非法或未定义进程出现的相关信息。南京信息工程大学硕士论文远程数据中心监控管理系统研究表．进程监视信息表字段名字段类型字段长度可为空说明备注MopNo字符否出现進程的编号主键MopName字符否出现进程的名称MopPath字符否出现进程对应的文件所在路径MoplD字符否出现进程的ID号MopsTime日期否该进程出现的起始时间MopeTime日期是该进程结束的时间MopPeop字符否执行进程结束操作的人员MopMemo各注是关于该进程的描述()文件监视信息表(Fileslnfo)：描述被监控文件夹出现文件操作的相关信息表．文件监视信息表字段名字段类型字段长度可为空说明备注FilesNo字符否被操作文件的编号主键FilesName字符否被操作文件的文件名FilesPath字符否描述被操作文件的相对路径FilesTime日期否被操作文件的操作时间FilesOpera日期否被操作文件的操作类型FilesPeop字符否被操作文件的操作执行者MopMemo备注是关于该进程的描述()系统资源信息表(Sysreslnfo)：描述被监控计算机的系统资源信息。表．系统资源信息表字段名字段类字段长度可为空说明备注型SysresNo字符否系统所柏i计算机的编號同监控主键计算机表中的计算机编号SysresCpu字符是计算机CPU的信息RamTotal字符是计算机内存总容量RamUsed字符是计算机内存使用量DiskNum整型是计算机磁盘分区数Disklnfo字苻是计算机磁盘使用信息VisRamTotal字符是计算机虚拟内存总量南京信息工程大学硕士论文远程数据中心监控管理系统研究VisRamUsed字符是计算机虚拟内存使鼡量MopMemo备注是关于该系统资源的描述()系统登陆信息表(SysOpera)：描述管理人员登陆的相关信息表．系统登陆信息表字段名字段类型字段长度可为空說明备注SysOperaNo字符否登陆编号主键SysOperalD字符否登陆人员的编号OperasTime日期否登陆时间OperaeTime日期否退出时间MopMemo备注是关于该登陆的备注()待执行指令信息表(PreOpera)·描述浏览器管理端管理人员发送的而由B／S模式无法执行的操作的相关信息。表．待执行指令信息表字段名字段类型字段长度可为空说明各注SysOperaNo字符否登陆编号主键SysOperalD字符否登陆人员的编号OperasTime日期否登陆时间OperaeTime日期否退j土j时间MopMemo备注是关于该登陆的备注信息()最新工作中进程表：描述最近一次監控端获取的各被控端正在运行的各个进程表．l最新工作进程信息表字段名字段类型字段长度可为空说明备注NProclD字符否进程的ID主键NProcName字符否进程的名称NProcPath字符否进程对应的文件所在路径．GPRS远程管理的设计与实现．．GPRS通信的基本原理GPRS管理方式是一种以传统网络模式为基础并对部分功能上进行了补充和加强。GPRS系统终端庄tGPRS模块和计算机组成模块与计算机的RS串口相连系统以公用的GSM／GPRS网作为信息发送的通道在使用过程中通過SIld卡识别。系统基本架构南京信息工程大学硕士论文远程数据中心监控管理系统研究如图所示图．GPRS系统架构图计算机通过RS一口与GSM／GPRS模块通信并将所要发送的信息编成PDU格式的代码通过GSM／GPRS公众网络将数据信息传送到指定的其它终端或手机。同时也可以接受其它终端通过GSM／GPRS网络傳来的消息．．GPRS远程管理的具体实现①监控目标机器状态获取(包括进程、数据文件修改时间、程序版本更新时间等)在对数据中心的监控Φ进程的监控是最重要的内容进程监控实际就是管理系统客户端运行后定时检查系统中运行的进程一旦发现知识库中的进程没有运行则自動运行该程序如发现知识库中没有非法进程存在则自动执行关闭操作并且把进程情况发送给服务器端。由于数据中心一般采用Win或WinSERVER操作系统洇此显示本地进程的方法一般采用API函数的方法进行前面已经进行了详细介绍②参数传递及存储在各主机与监控服务器之间进行数据和命令嘚传递主要采用c／s的方式使用面向连接的TCP协议进行通信客户端定时监测主机的进程情况并发送给服务器端。服务器端将接收到各客户端發送过来的信息存入数据库并进行详细分析并发出相应命令(比如开启或关闭进程的命令)传送给客户端客户端接收到命令后执行相应的操莋。由于数据中心进程管理数据量较大所以数据存储采用SQLServer数据库软件主要的数据库包括智能管理知识库、客户端进程状态库和服务器端发送命令日志等(至)GPRS管理指令库设计指令库是进行GPRS远程管理数据中心的一个非常重要的组成部分。主要有进程指令库和文件监视指令及人员管理库组成进程指令库中主要包含有：指令名称、指令代码、指令解释、指令格式其中指令名称和指令代码态主要用来查看进程状态和對进程执行相关操作进程解释是该指令对应的南京信息工程大学硕士论文远程数据中心监控管理系统研究可有Shell调用的命令详细路径或其他函数指令格式主要指管理人员发送指令时需要遵循的规则。数据文件库设计主要是针对于部分用于资料接收的主机判断其资料接收是否正瑺(比如有些情况下接收机各进程均工作正常而却无法接收到数据)其中包括和欲接收数据的详细信息：数据文件名、正常接收时间、允许浮动时间、操作命令和命令连续发送次数等。以上数据库内的内容由不同的数据中心管理人员根据各自不同目的自行输入并可进行数据导叺和导出操作④安全措施管理系统采用何种安全措施是非常重要的这里主要用于确认本地或远程的管理人员是否合法以及保障传送信息嘚安全性两方面内容。本地管理人员合法性确认采用用户名和密码及循环安全问题三者结合的方式进行而远程GPRS管理用户合法性确认采用用戶名和密码及SIM卡绑定方式进行万一管理者丢失或更换SIM卡可利用事先设定的安全问题进行绑定SIM卡的更换南京信息工程大学硕士论文远程数據中心监控管理系统研究．．GPRS远程管理图．无线管理数据流图从图．可以看出GPRS管理模式将有线网络替换成了无线网络并在数据库服务器里增加了网络智能管理知识库管理终端也在原有单一的计算机基础上增加了最常用的无线接收设备手机。GPRS模块负责接收和发送数据管理员可鉯通过终端(有模块的PC或手机)向数据中心接收端模块发送指令管理系统根据指令转换到相应的工作状态(自动或被动发送各主机工作信息)并可設置自动发送信息的频率或只有当检测到数据中心主机故障时进行信息发送南京信息工程大学硕士论文远程数据中心监控管理系统研究．B／S架构远程管理设计B／S远程管理主要采用基于VB脚本的ASP代码实现和GPRS一样利用B／S模式(浏览器／服务器模式)可以给管理人员的远程管理带来很夶的便利是对C／S模式的一种改进。在这种结构下客户机上只要安装有浏览器(Browser)如Firefox或InternetExplorer服务器上安装Oracle、Sybase、Informix或SQLServer等数据库和管理信息系统软件浏览器就可以通过WebServer经由管理软件同数据库进行数据交互。用户界面完全通过www浏览器实现一部分事物逻辑在前端实现基于安全和性能的考虑管理軟件还可以同数据库进行物理上的分离管理人员可以远程查看各服务器进程情况并能够执行关闭与启动操作、能够进行文件的上传与下載、查看进程监控记录查看、文件监控记录查看监控属性设置等。上面关于在监控端进程管理、文件监控的功能是以VB．net平台开发实现的因此相应的将其转换为ASP．net实现起来比较容易在B／S模式下无法实现或者实现起来比较困难的部分比如在浏览器端关闭被控端进程采用在数据庫中存储指令的方法待监控端查询后执行。南京信息工程大学硕士论文远程数据中心监控管理系统研究．测试背景第五章系统性能测试本論文设计的远程数据中心监控管理系统希望能够对目前企事业单位的数据中心机房运行的计算机进行管理主要功能包括进程监控、系统资源、重要文件和文件夹进行操作监视远程监视工作机器的桌面隋况并远程唤醒已经关闭的计算机进入工作状态为了能够使系统达到或接菦于能够实际使用的状态需要对系统的数据库、界面、功能、性能及兼容性进行测试。．测试介绍．．测试环境系统测试工作主要在气象類数据中心机房进行机房拥有IBMX和IBM服务器及IBMM系列微机服务器和微机上运行有Windows／和WindowsXP操作系统并安装有SQLServer标准版数据库服务器比较适合进行本系統的测试工作。数据库服务器配置表．数据库服务器配置表配置项配置信息CPUIntel(R)Xeon(TM)CPU．GHz内存lGB硬盘GB操作系统WindowsServer应用软件SQLServer机器网络名QXTSQL局域网地址l．．．监控服务器配置表．监控服务器配置表配置项配置信息CPUIntel(R)Xeon(TMlCPU．GHz内存lGB硬盘GB南京信息工程大学硕士论文远程数据中心监控管理系统研究操作系统WindowsServer应用軟件常规办公软件机器网络名MicServer局域网地址．．O．被控端配置表．被控端置表配置项配置信息CPUP．GHZ内存MB硬盘约GB操作系统WindowsServer和WindowsXP应用软件卡巴斯基金屾词霸Micaps等机器网络名MicapsServerlQxtlSTU等局域网地址．．．一．．O．．测试过程．．数据库测试主要采用手工查询的方式进行包括以不同用户登陆后进行添加记录、修改记录、删除记录等操作和数据的导入导出操作等因实际条件的影响没有做并发量大的操作测试(由于被控端数量的限制实际數据中心监控过程中并发数并不是很大)。．．界面及功能测试本项测试主要测试系统界面问题及发生变化时是否产生错误、功能能否正常笁作各主要子系统界面运行结果如下(监控端除了拥有监控功能外还兼有管理端的功能)：．进程管理显示窗口在管理端执行进程管理功能並点击被控端图标后出现如图．所示的界面在这个管理界面可以对该被控端的进程执行刷新、关闭和设为非法等操作。南京信息工程大学碩士论文远程数据中心监控管理系统研究藿滋孚缝邈毯磷镒鬈誊蘩鬣淄溉继滋激溢漱凌浚嚣滋滋鬣篓!蕊貔盔噩绻㈣激溢滋戮编超缮黼进{進程名i路径。^oSvstem工dlePrCes=System∞=s．exeC、WINDOWS＼System＼smssexoc=r=sexe?winlogonexeC．ⅦrND甘S、zyztem＼winlogonexeizervicesexeC",rIHDOWS＼system＼servicesexeIszzsexeC：＼WrNDOWS＼zystem＼lskE$exe?svchostexeC＼rIITDOXS、svstem＼Evchostexezvchost．exesvchost．exeC：、W姗WS、Svstem、svcho$texezvcho=t．exezvcho￡texespoolsvexeC：、W工NDOrS、system、spoohvexeSCards竹exeavPexeC＼ProFamFiles＼KazperskyLab、Kazper=yInternetSecurlinetinfoexe亡：＼rlNDOrS＼zyztem＼inetzrv＼inetinfoexe。v、j?．’～‘fⅢ≯j||届新I结束进程{设为非法图．进程管理显示窗口图．文件监视显示窗口在管理端执行文件监控记录查看功能并点击被控端图标后出现洳图．所示的界面在这个管理界面可以对该被控端的文件监控方式进行设置可以选手工监控和自动监控。图．文件监视显示窗口图．系统資源监视显示窗口在管理端执行系统资源监视查看功能并点击被控端图标后出现如图．所示的界面在这个管理界面可以通过刷新及时了解被控端的系统资源使用状况比如硬盘空间、内存空间的使用状况等进而可以采用相应的解决措施南京信息工程人学硕士论文远程数据中惢i监控管理系统研究图．系统资源监视显示窗口图．远程桌面配置文件批量生成显示在管理端可以手工输入需要利用远程桌面功能进行查看的计算机IP地址并输入屏幕的显示分辨率和用户名后点击批量生成即可生成所需的幸．rdp文件如图．所示。名二薹二二二血l：掣：埘二蠢嘴婦基二盎：毫盏苞芸五二曲二乏叫三盘五磊二二矗五五五壶三茹五五乏乏五矗矗磁矗近薹矗乏象菇§ii＆螽盖出￡菇薹笾。幺i＆≤矗耋五磊￡。批薹j埔苴自"丁驰·元{呈i毒端【=}j上川旧亭直：．F。=I■‘明幔HiB屏蔼垮㈣jj高‘i,liG一{宽】．?l’{'‘：‘II：二：一一l■IF．r)II’二{C··‘)■】F．一=}【==：‘j!】E二：LjlE蔫㈦：K喇尸名：j蔓：一‘JCj：一{：)’?“一一‘】‘j,】r．iin‘‘。J∑lB卜ii嚣㈤■i：lI兰!{∽晕生成砸T自‘d：二】B·：．二¨·甲二亡m·H忏I‘CI’tg■F：=厂三一’亡忙．|二E。’jf’Cr一：三：二l‘一』F一i：)’j”：：LI：～|图．远程桌面配置文件批量生成窗口图．远程唤醒系统显示窗口在管理端或GPRS提醒发现某些需要正常工作的计算机处于关闭状态这时执行远程唤醒功能弹出如图．所示窗口可以根据计算机的MAC地址进行遠程开机南京信息工程大学硕士论文远程数据中心j|{}控管理系统研究图．远程唤醒窗口幽．浏览器端管理界面通过浏览器可以进行进程的管理和监控信息的查看’r作图．显示的是在局域网内以监控端(IP是．．)作为信息服务器通过浏览器进行管理的界面。图．浏览器端进行远程管理界面南京信息工程大学硕士论文远程数据中心监控管理系统研究．．兼容性测试为了测试本系统的兼容性在被控端分别采用了不同的操作系统主要是Windows／Server和WindowsXP因为软件是在VB．netSQLserver开发环境下设计的因此系统无法在Unix和Linux系统下运行经过测试表明本系统(被控端)能够在WindowsServer版本及WindowsXP系统环境丅正常工作。．测试结论本远程数据中心监控管理系统通过在气象类数据中心机房中进行实际应用测试经过接近十几天的试用进行了进程數据采集和管理、文件系统监视、远程桌面及远程唤醒等功能的测试以及软件运行稳定性的评估测试证实数据中心监控远程管理中所需嘚功能本系统能够正确实现并且具有很好的稳定性。软件系统可靠性和有效性已经基本达到实际应用的要求南京信息工程大学硕士论文遠程数据中心监控管理系统研究．工作总结第六章总结与展望远程数据中心监控与管理系统是根据企事业部门信息化发展的实际需要而设計研究的应用软件系统主要是面向各企事业部门数据中心的综合监控管理系统。系统由监控系统和管理系统两部分组成采用开放式的系统構架易于扩充而且本系统更多地综合了数据中心机房的特点采用基于c／s结构与B／S结构相结合的混合模式并提供了基于GPRS的辅助管理方法使得監控功能强大且管理方便：数据中心监控管理系统还具有安全性高、界面友好、使用方便灵活、维护简单的特点数据中心监控与管理系統的设计过程是一项内容非常广、涉及细节非常多的工作。笔者主要完成了以下工作：)调查部分企业和气象部门数据中心的管理现状了解目前市场上有关数据中心管理的解决方案)研究进程监控与管理的实现方案、文件操作监视的实现方案。)研究进程智能管理知识库建设的實现方案)研究系统资源监视的实现方案。)研究远程桌面和远程唤醒的实现方案)在获得监控数据的情况下研究基于B／S和GPRS的远程查看管理。)系统开发完成后根据现有条件进行了一系列系统可靠性和有效性的测试．工作展望由于时间和技术的关系监视系统存在一些不足主要表现在没有对数据中心环境因素(比如温度、湿度等)进行监控被控端进程没有隐藏运行这导致监控系统有效性和安全性存在一些问题考虑采鼡基于串口的环境检测设备等技术和窗口Hook技术进行进一步工作。南京信息工程大学硕士论文远程数据中心监控管理系统研究参考文献【】李宏等WindowsAPI常用技巧汇编清华大学出版社．】黄超Windows网络编程人民邮电出版社．】美JeffreyRichter著王建华等译Windows核心编程北京机械工业出版社】陈艾东Intranet监管系統的设计与实现电子科技大学硕士论文．【】戴宗坤罗万伯等信息系统安全北京电子工业出版社．【】石志国计算机网络安全教程．北京茭大出版社．【】张振权罗新民数字签名算法MD和SHA的比较及其AVR优化实现加密技术()．【】李明庆计算机局域网及网络协议．电子工业出版社．【】辜川毅编计算机网络安全技术．机械工业出版社．【】MikeGunderloy,VisualBasic开发指南一ADO篇电工业出版社．】谢希仁计算机网络．第四版．大连理工出版社．【】苏贵洋等ASP．NET网络编程从基础到实践北京电子工业出版社】廖信彦ASP．net交互式Web数据库程序设计北京中国铁道出版社【郁红英等VisualBasic．NET语句与函数大全北京电子工业出版社【】梁普选等VisualBasic．NET数据库编程与应用北京电子工业出版社彭明柳VisualBasic．NET彻底研究北京中国铁道出版社【】李崴VisualBasic．NET编程宝典北京电子工业出版社【博嘉科技WindowsAPIfor／XP实例精解北京电子工业出版社张曜WindowsAPI函数实用手册北京冶金工业出版社【】萧秋水文娟WindowsShell编程指南与實例．电子工业出版社．【】陈松乔任胜兵王国军现代软件工程北京清华大学出版社．【】沈安董等基于校园网的《机房总管》系统软件的设计与实现。苏州大学学报】徐永新等利用Winsock通信实现远程控制计算机应用研究【】张友生远程控制编程技术北京电子工业出版社【】韓建宁等计算机远程控制系统的实现。西安石油学院学报．MANSFIELDNIALLPRACTICALTCP／IP,INDEPENDENTPUBGROUP,NationalInformmionStandardsOrganization．Understanding．Metadata．NISO南京信息工程大学硕士论文远程数据中心监控管理系统研究】PengYOhuraM．Remoteautomatedenvironmentalcontrolsystemforinsectproduction．AppliedEngineeringinagriculture．DAVIDA．SOLOMONMARKE．RUSSINOVICHINSIDEMICROSOFTWINDOWSTHIRDEDITION．【】DouglasE．Comer．InterNetworkingW．thTCP／IPVolIIIClinet／ServerProgramingAndApplicationJ】prenticeHallIne】MicrosoftMSDNLibrary,http：／／msdn．microsoft．com／zhcn／vbasic／default．aspx．【】Riehardstenvens．TCP／IPIllustratedVolumelTheProtocS．机械工业出版社】PaulNielsenMicrosoftSQLServerBible【】LIDXSuGCShenY．ProgrammingTechnologyofIPMultiCastandBroadeastBasedonSoeketJ．JournalofBeijingInstituteofTeehnology】GregStempDeanTsltasBolWellsWMIScriptingPrimer,http：／／msdn．www．microsoft．com．】StevenM．Bellovin．ALookBackatSeeurityProblemsintheTCP／IPProtocolSuite．thAnnualComputerSecurityAPPlicationsConference(ACSAC’)CarstenThomsenDatabaseProgrammingwithVisualBasic．net,．MarcoBellinasoKevinHoffmanAsp．netWebsiteProgrammingProblemdesignsolutionVisualBasic．netEdition【】LissoirAlainLeveragingWMIScriptingElsevierScienceLtd】McguigganPeterGPRSInPracticeJohnWileySonsINC南京信息工程大学硕士论文远程数据中心监控管理系统研究期作者在攻读硕士学位期间发表的论文．方忠进、周舒常规气象资料加工处悝系统的开发《农业网络信息》年第．方忠进葛化敏天气实验室管理中的问题研究及对策《农业网络信息》年第期南京信息工程大学硕士論文远程数据中心监控管理系统研究致谢首先衷心感谢我的导师葛化敏副教授他在我攻读硕士学位期间始终无微不至地关怀着我导师和蔼鈳亲、平易近人的作风令我终生难忘导师在学习、生活上给予的无微不至的关怀保证了我的论文能够顺利地完成。葛化敏副教授严谨的治学态度和忘我工作的精神给我留下了深刻的印象并将使我在以后的学习和研究工作中受益匪浅他是我工作、学习和做人的楷模在此我衷心感谢葛老师的无私教诲和真心的关怀。我还要衷心地感谢我的家人他们的理解和支持使我度过了一个个难关此外许多同事和同学在彡年的学习期间也给予了我极大的帮助在此我对他们表示衷心的感谢。远程数据中心监控管理系统研究作者：方忠进学位授予单位：南京信息工程大学相似文献(条)期刊论文亓传伟Windows远程进程监控电脑编程技巧与维护()本文通过VSNET下的C#语言创建一个用于远程监控客户机进程的Windows服务程序和Windows应用程序通过该服务和应用程序可以得到客户机上运行的进程,并可远程结束其不当进程,使网络系统便于管理且更加安全期刊论文杨尚琴罗省贤YangShangqinLuoShengxian进程动态行为监控的设计与实现电脑与电信()本文研究的进程监控系统使用DPSQL数据库作为跨平台通信的媒介,以Java提供的JFC为基础设计而成該系统可实时监测服务器上运行进程的状态,并将状态信息以图形化方式反馈给系统管理员,从而有助于系统核心进程状态的实时监测和进程嘚故障恢复与重启,实现了进程管理、运行状态监测、重启日志记录、系统参数配置等主要功能期刊论文孙焕良张研研刘鹏一种实时数据监控系统的设计与实现沈阳工业学院学报,()分析了原系统存在的问题,设计了一种远程实时监控系统,它通过对采集的实时数据进行远程监控,发现數据异常或所控进程异常可以通过语音卡、电话向值班人员报警,实现了无人值班介绍了系统的体系结构及各模块的组成,深入讨论了进程监控模块及报警模块的设计与实现机制学位论文黄信在MASSIVE网格环境中的集群计算与可视化面向多学科应用的模拟与可视化环境(MASSIVE,MultidisciplinaryApplicationsOrientedSimulationandVisualizationEnvironment)是一个应用于工程与科学计算的集成化了的网格环境MASSIVE环境中的网格平台是其一组成部分,它主要解决大规模数值模拟对计算能力、存储、网络的需求等问题這一网格平台的功能包括可视的资源发现、任务调度和结果处理,该平台建立在GlobusToolkit之上,包括图形客户端和网格服务器端两个部分该图形客户端包括三个子模块:任务管理、信息服务(MEMDS)、文件传输(MFTP)任务管理实现的功能是任务定义、资源调度、任务执行、任务监控和图形化界面等信息服務实现的功能是资源发现和图形化界面文件传输实现的功能是大数据的安全、高效传输和图形化界面本文提出并实践了扩展MPICHG的解决方法,此方法的实现包含三个方面:MPICHG源码的修改、一个代理程序的编码和任务管理的相应支持集群上的并行任务管理包括资源分配、进程启动和进程監控资源分配主要是实现集群计算节点的负载平衡进程启动主要是远程启动网格进程进程监控则是远程监控网格进程并行可视化是本文讨論的另一个重点,讨论的主要内容有:可视化的协同方法和一个可视化工具ParaViewParaView原不具有协同的功能,但是有实现其协同的潜力,我们对ParaView的两种协同形式进行了探讨并实现了其中的一种简单形式并在网格上实践了ParaView并行模式的运行本文链接：http:dgwanfangdatacomcnThesisYaspx下载时间：年月日?封面?文摘?英文文摘?声奣?第一章引言?研究背景?研究现状?研究目的与意义?论文主要工作?内容安排?第二章网络编程基本理论?通信协议选取?TCPIP协议?網络接口层?网络层?传输层?应用层?Winsocket套接字?Winsocket概述?面向连接的连接方式?Winsocket程序设计?Windows管理规范(WMI)?WMI基础?NET中的WMI编程?第三章系统总体結构设计?需求分析?系统运行环境与架构?建设原则?系统体系结构?CS结构?BS结构?系统网络设计?内部网络结构?BS远程管理?GPRS远程管悝?系统功能模块设计?CS部分模块图?BS部分模块图?GPRS部分模块图?系统模块设计?第四章系统设计与实现?进程监控系统设计?任务管理與进程监控的原理?进程监控的实现?进程智能管理?文件系统监视与文件传输?文件监视的设计与实现?远程文件管理?远程桌面监控設计?远程桌面监控原理?远程桌面的实现?远程唤醒设计与实现?远程唤醒的原理?远程引导的关键技术?远程唤醒的实现?资源监控系统设计?监控端数据库建设?数据加密?人员管理?数据库表结构设计?GPRS远程管理的设计与实现?GPRS通信的基本原理?GPRS远程管理的具体实現?GPRS远程管理?BS架构远程管理设计?第五章系统性能测试?测试背景?测试介绍?测试环境?测试过程?数据库测试?界面及功能测试?兼容性测试?测试结论?第六章总结与展望?工作总结?工作展望?参考文献?作者在攻读硕士学位期间发表的论文?致

本文转自微信号EAWorld扫描下方二维碼，关注成功后回复“普元方法+”，将会获得热门课堂免费学习机会！

随着Devops、云计算、微服务、容器等理念的逐步落地和大力发展机器越来越多，应用越来越多服务越来越微，应用运行基础环境越来多样化容器、虚拟机、物理机不一而足。面对动辄几百上千个虚拟機、容器数十种要监控的对象，现有的监控系统还能否支撑的住来自于容器、虚拟机、物理机、网络设备、中间件的指标数据如何采鼡同一套方案快速、完整的收集和分析告警？怎样的架构、技术方案才更适合如此庞大繁杂的监控需求呢

上篇文章《建设DevOps统一运维监控岼台，先从日志监控说起》主要从日志监控的方面进行了分享本篇文章则是重点在系统监控层面进行分享。
一、统一监控平台架构解析
伍、容器时代的监控利器： Prometheus

一、统一监控平台架构解析
先做一下回顾统一监控平台由七大角色构成：监控源、数据采集、数据存储、数據分析、数据展现、预警中心、CMDB(企业软硬件资产管理)。
从层次上来分大致可以分为三层，业务应用层、中间件层、基础设施层业务应鼡层主要包括应用软件、企业消息总线等，中间件层包括数据库、缓存、配置中心、等各种系统软件基础设施层主要有物理机、虚拟机、容器、网络设备、存储设备等等。
数据源如此多样数据采集的任务自然轻松不了。数据采集从指标上划分可以分为业务指标、应用指標、系统软件监控指标、系统指标应用监控指标如：可用性、异常、吞吐量、响应时间、当前等待笔数、资源占用率、请求量、日志大尛、性能、队列深度、线程数、服务调用次数、访问量、服务可用性等，业务监控指标如大额流水、流水区域、流水明细、请求笔数、响應时间、响应笔数等系统监控指标如：CPU负载、内存负载、磁盘负载、网络IO、磁盘IO、tcp连接数、进程数等。
从采集方式来说通常可以分为接ロ采集、客户端agent采集、通过网络协议主动抓取（http、snmp等）
采集到的数据一般都会存储到文件系统（如HDFS）、索引系统（如elasticsearch）、指标库（如influxdb）、消息队列（如kafka做消息临时存储或者缓冲）、数据库（如mysql）
针对采集到的数据，进行数据的处理处理分两类：实时处理和批处理。技术包括Map/Reduce计算、全日志检索、流式计算、指标计算等重点是根据不同的场景需求选择不同的计算方式。
将处理的结果进行图表展现在多屏時代，跨设备的支持必不可少
如果在数据处理过程发现了问题，则需要进行异常的分析、风险的预估以及事件的触发或告警
CMDB(企业软硬件资产管理):
CMDB在统一监控平台中是很重要的一环，监控源虽然种类繁多但是他们大都有着关系，如应用运行在运行环境中应用的正常运荇又依赖网络和存储设备，一个应用也会依赖于其他的应用（业务依赖）一旦其中任何一个环节出了问题，都会导致应用的不可用CMDB除叻存储软硬件资产外，还要存储这样一份资产间的关联关系一个资产发生了故障，要能根据这个关系迅速得知哪些其他的资产会被影响然后逐一解决问题。

OK回顾到此为止，进入正题系统监控。

系统监控的部分技术栈如下图所示监控技术众多，这里自然不可能列出所有的技术选择了部分比较经典、受欢迎的开源技术。
系统监控不同于日志监控有很多开源软件把数据库采集、数据存储、数据展现、事件告警的任务都完成了，所以对于系统监控的技术栈中将这些开源软件暂且排除，待后面章节再进行讲解此处主要关注于如何自建一个统一系统监控平台。
系统监控数据采集一般分为两种方式：主动采集、客户端采集主动采集一般是通过SNMP、SSH、Telnet、IPMI、JMX等手段进行远程采集，客户端采集则是需要在每一个要监控的主机中部署一个客户端进行数据采集并发送到远程服务端进行接收
和日志监控一样，在面臨海量监控时考虑到网络的压力和数据处理的瓶颈，可以在数据存储前先经过一层数据缓冲将采集到的数据先放置到消息队列中，然後再从分布式队列中读取数据并存储如果数据量不大的话，则可以不考虑此层
对于系统监控数据，通常采用时序数据库来存储时序數据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签（按照时间的顺序变化即时间序列化）的数据，带时间标签嘚数据也称为时间序列数据如influxdb和opentsdb，是其中翘楚
OpenTSDB是用hbase存储所有的时序（无须采样）来构建的一个分布式、可伸缩的时间序列数据库，可鉯从大规模的集群（包括集群中的网络设备、操作系统、应用程序）中获取相应的metrics并进行存储、索引以及服务从而使得这些数据更容易讓人理解，如web化图形化等。用JAVA语言实现对于JAVA系的同学们是一个福音,不过其依赖hbase也许会让一部分同学望而却步，毕竟还要先去维护hbase
Influxdb是噺兴的一个时序数据库，用go语言编写无需外部依赖，发展很快最新版本已经到了1.2。提供类sql的查询语法安装方便，单点即可使用虽嘫有集群的能力，不过该特性是非开源的（不过单点性能基本也都能满足企业需求了）提供Http API，便于调用和封装对于想基于influxdb自行进行数據处理和展现的同学们而言很是友好。
说到时序数据的图形化展现Grafana是一个不得不提的利器。Grafana是一个开源的时序数据的查询和展现软件提供了灵活丰富的图形化选项；可以混合多种风格，有着功能齐全的度量仪表盘和图形编辑器支持与Graphite、Elasticsearch、CloudWatch、Prometheus、InfluxdbDB等众多数据存储对接，进荇数据的查询和图表展现一些开源的监控软件如zabbix、Graphite、Prometheus也都有着自己的数据图形化展现能力，但是一般也都是建议使用
Grafana来代替它们的页面可想而知Grafana的优秀。
当然Grafana的数据源都是来自时序数据库，在实际场景中可能你想要查看的报表的一部分数据还来自于业务系统，这就昰Grafana或者其他的监控软件做不到的了去扩展是一种方式，另外一种方式就是结合自己的需求实现图表展现,通过对时序数据的计算分析以及結合业务数据使用如echarts等开源图表前端框架进行展现。这时候Influxdb的优势就体现出来了对外提供http api非常适合自主封装图形化页面。
在日志监控嘚分享中确实没有对告警进行说明。像Zabbix、Nagios、Open-Falcon、Prometheus等开源监控软件都是有些自己的告警能力的。如果你采用了他们作为监控平台实际上告警能力就已经有了。如果是纯自建统一监控平台的话也可以自己实现告警中心。我们自己的做法是在数据处理时，根据配置的事件觸发规则生成相应事件扔到kafka中，事件处理引擎监听kafka中的事件数据进行解析并根据事件处理策略进行告警通知等处理。

上面大致介绍了運维监控的技术栈但是实际上已经有些开源监控软件功能都很全面，从数据采集到数据展现都提供了支持如果是小团队，不想自建监控平台的话选择这些开源软件其实是一个很好的选择。
Zabbix是一个企业级的开源分布式监控解决方案支持实施从数以万计的服务器、虚拟機、网络设备等收集百万的指标数据，具备常见的商业监控软件所具备的功能（主机的性能监控、网络设备性能监控、数据库性能监控、FTP等通用协议监控、多种告警方式、详细的报表图表绘制）支持自动发现网络设备和服务器；支持分布式能集中展示、管理分布式的监控點；扩展性强，server提供通用接口可以自己开发完善各类监控。
Zabbix重要组件说明：
zabbix server：负责接收agent发送的报告信息的核心组件所有配置、统计数據及操作数据都由它组织进行；
proxy：可选组件，常用于监控节点很多的分布式环境中代理server收集部分数据转发到server，可以减轻server的压力；
agent：部署茬被监控的主机上负责收集主机本地数据如cpu、内存、数据库等数据发往server端或proxy端；
Server对宿主机性能要求很低。
自动发现服务器与网络设备
分咘式监控以及WEB集中管理功能
同时支持agent采集和无agent采集，主机通过agent 或者ipmi采集数据网络设备、存储设备等通过 SNMP 客户端采集数据，agent支持常用的UNIX囷Windows操作系统
功能全面数据采集、数据存储、数据展现、事件告警。
开放式接口扩展性强，插件编写容易
数据库瓶颈使用mysql作为底层存儲，大数据读写的时候对于数据库的压力非常大
需要在主机中安装agent
对容器监控支持不好，需要自己扩展
主机状态，交换机、路由器等網络设置等Nagios核心功能是监控报警，告警能力很不错但是图形展示效果很差。同时nagios更加灵活很多功能都要通过插件化来实现，对于技術能力没那么强的同学上手会有些困难。当然对于运维老手，上手会很快
Nagios 的功能特性如下：
监控主机资源（处理器负荷、磁盘利用率等）；
简单地插件设计使得用户可以方便地扩展自己服务的检测方法；
具备定义网络分层结构的能力，用”parent”主机定义来表达网络主机間的关系这种关系可被用来发现和明晰主机宕机或不可达状态；
当服务或主机问题产生与解决时将告警发送给联系人（通过EMail、短信、用戶定义方式）；
可以定义一些处理程序，使之能够在服务或者主机发生故障时起到预防作用；
可以支持并实现对主机的冗余监控；
可选的WEB堺面用于查看当前的网络状态、通知和故障历史、日志文件等；
Open-Falcon是小米运维部门开源出来的互联网企业级监控系统目前包括小米、金山雲、美团、京东金融、赶集网等都在使用Open-Falcon。Open-Falcon 整体可以分为两部分即绘图组件、告警组件。“绘图组件”负责数据的采集、收集、存储、歸档、采样、查询、展示（Dashboard/Screen）等功能可以单独工作，作为time-series data的一种存储展示方案“告警组件”负责告警策略配置（portal）、告警判定（judge）、告警处理（alarm/sender）、用户组管理（uic）等，可以单独工作架构如下：
数据采集免配置：agent自发现、支持Plugin、主动推送模式
容量水平扩展：生产环境烸秒50万次数据收集、告警、存储、绘图，可持续水平扩展
告警策略自发现：Web界面、支持策略模板、模板继承和覆盖、多种告警方式、支歭回调动作。
告警设置人性化：支持最大告警次数、告警级别设置、告警恢复通知、告警暂停、不同时段不同阈值、支持维护周期支持告警合并。
历史数据高效查询：秒级返回上百个指标一年的历史数据
Dashboard人性化：多维度的数据展示，用户自定义Dashboard等功能
架构设计高可用：整个系统无核心单点，易运维易部署。
支持的监控类型较少不支持常用应用服务器如tomcat、apache、jetty等的监控。
没有专门的运维支持代码更噺较少，没有一个较大的社区来维护后续想要有什么新的能力基本只能指望自己扩展。

上面介绍的都是比较传统的系统监控架构在容器时代到来后，对于容器的支持就显得差强人意了下面介绍下我们基于k8s容器云背景下的系统监控方案，首先还是介绍下我们的DevOps平台架构平台运行在由kubernetes+docker构建的容器云中，kubernetes、docker等服务运行在IaaS平台上（我们的生产环境是阿里云）
我们的统一监控平台，在系统监控上采用了cAdvisor+Heapster+Influxdb的方案。架构如下：
为什么采用这种方案呢先来了解下这三个工具。
cAdvisor 是谷歌公司用来分析运行中的Docker容器的资源占用以及性能特性的工具, cAdvisor部署为一个运行中的daemon它会收集、聚集、处理并导出运行中容器的信息。这些信息能够包含容器级别的资源隔离参数、资源的历史使用状况、反映资源使用和网络统计数据完整历史状况对docker的监控能力非常强大。同时还提供了自己的web页面用户可以通过web页面直接查看该宿主机仩所有容器的监控数据。cAdvior功能已经被集成到了kubelet组件中也就是说，安装好kubernetes后cAdvisor就已经安装到了每一个计算节点上。在每一个计算节点上都鈳以通过IP+端口（默认为4194）访问cAdvisor的页面了
api，kubelet会进行调用cAdvisor接口获取当前计算节点上的容器数据以及当前主机的性能数据返回给heapter。这样heapster就收集到了kubernetes集群的所有容器数据以及主机数据Heapster支持数据传输到Influxdb中进行存储。数据展现我们就是自己调用influxdb的api获取数据结合我们的业务相关数據进行计算，用echarts进行前端图表展现
可能有的同学会问，这样只是监控到了所有计算节点的容器数据和主机性能数据这样有些非计算节點的主机监控该怎么办？确实因为Heapster只是针对于kubernetes集群去监控，非kubelet节点确实是拿不到数据的而我们又不想再用另外一种方式去单独监控主機，那样得到的数据格式也不一样于是我们采取了折中的办法，在每个非k8s集群节点上也安装kubelet，并且加入到kubernetes集群中但是配置成不参与集群调度，也就是容器不会被部署到这些机器上这样，heapster就可以采集到这些主机的性能数据了

五、容器时代的监控利器： Prometheus

除了我们实践嘚cAdvisor+Heapster+Influxdb方案可以做到容器和主机性能数据同时监控外，其实还有一个相对而言更好的方案那就是Prometheus。Prometheus是一套开源的监控&报警&时间序列数据库的組合由社交音乐平台SoundCloud在2012年开发。随着发展越来越多公司和组织接受采用Prometheus，社区也十分活跃他们便将其独立成开源项目，并且不依赖於任何公司Prometheus最初是参照google内部监控系统BorgMon开发的，现在最常见的Kubernetes容器管理系统中通常会搭配Prometheus进行监控。
高效的时序数据存储能力
具体时序數据图形化展现的能力
提供丰富的客户端开发库
Exporters ： 数据采集探针支持包括数据库、主机、消息队列、存储、应用服务器、github等软件、其他監控系统等多种类的探针。
Prometheus 是google力捧的监控方案社区非常活跃，发展很是迅速功能在不断的飞速补充和完善。一个监控范围覆盖容器、主机、存储、数据库、各种中间件同时还具体完善的时序数据存储、告警中心等能力，发展又很迅速相信Prometheus会越来越火热。

系统监控的方案有很多甚至优秀的开源兼容软件也有很多，如果需求不高也许zabbix就很合适，如果想要带上容器监控那么Prometheus也许是个较好的方案。总の适合自己的才是最好的。

现任普元信息高级研发工程师毕业于华东师范大学，曾参与和负责银联Paas云平台项目、兴业银行CAP4J项目、交通銀行信用卡中心统一监控平台项目、神华灾备云平台、万达DevOps平台等项目

《建设DevOps统一运维监控平台，先从日志监控说起》

扫描下方二维码关注成功后，回复“普元方法+”将会获得热门课堂免费学习机会！

全新形态的PWorld2017盛大开启，首四场定于7月1日在北京、上海、广州、成都㈣城同步举行CSDN专项报名通道可获得现场伴手礼个性T恤一件！

大部分资料来源于网络,仅供大家參考学习,版权归原作者若有侵权，敬请留言告知本人会及时删除侵权文档,谢谢!