这几天协助处理了一个故障，觉得很有意思，就想着把这个故障讲出来，也是给从事这行业的工程师一个经验分享。
某医院新增一栋病房楼，网络建设完成后，这栋楼医生和护士一直反馈他们的医护系统使用比较卡顿。因为医院其他病房楼使用该医护系统没有卡顿现象，最后医院定位是新建网络问题。
医院运维工程师找当时负责调试的工程师协助处理，反反复复去了几次也没有找到故障原因，后来就推说是弱电井没有空调，设备温度比较高导致网络卡顿。
眼瞅着这天凉了下来，医护系统使用状况不但没有好转，反而向着“病危”的方向奔去，原来只是白天访问医护系统卡顿，现在晚上也频繁出现卡顿现象导，导致医嘱和护士输入数据丢失问题频发，信息科每日都背负医生和护士投诉的压力。
或许是信息科对于当时调试的工程师技术水平彻底失去信心，医院就找到了我们希望帮助他们排查下具体的问题原因。
网络结构和配置客户现场配置和网络架构很简单，典型的接入、汇聚、核心三层架构，网关在汇聚交换机上，汇聚交换机和核心SVI接口互联，启用动态OSPF路由协议。
拓扑图
医院简单网络架构图
配置（配置做了简化和修改）
汇聚区域交换机配置。
Vlan batch 11 to 14 64
lacp priority 100
interface Vlanif11
ip address 172.16.11.254 255.255.255.0
interface Vlanif22
ip address 172.16.12.254 255.255.255.0
interface Vlanif13
ip address 172.16.13.254 255.255.255.0
interface Vlanif14
ip address 172.16.14.254 255.255.255.0
interface Vlanif64
ip address 172.16.64.254 255.255.255.0
interface Eth-Trunk1
port link-type trunk
port trunk allow-pass vlan 2 to 4094
loopback-detect enable
mode lacp
max active-linknumber 2
interface Eth-Trunk2
port link-type trunk
port trunk allow-pass vlan 2 to 4094
loopback-detect enable
mode lacp
max active-linknumber 2
interface XGigabitEthernet0/0/1
eth-trunk 1
lacp priority 100
interface XGigabitEthernet0/0/2
eth-trunk 2
interface XGigabitEthernet1/0/1
eth-trunk 1
lacp priority 100
interface XGigabitEthernet1/0/2
eth-trunk 2
ospf 10 router-id 172.12.3.30
area 0.0.0.0
network 172.16.91.0 0.0.0.255
network 172.16.92.0 0.0.0.255
network 172.16.93.0 0.0.0.255
network 172.16.94.0 0.0.0.255
network 172.16.104.0 0.0.0.255
通过查看配置是中规中矩，并无配置遗失或不妥之处。
现在要做的是梳理整个排查思路。
排查思路及结果在故障范围已经确定：整栋楼都有访问业务系统卡顿。因为所有楼层交换机数据都先到达汇聚，所以确定先排查汇聚交换机信息。
- 查看汇聚交换机内存、cup、温度、风扇状态。即设备硬件状态。
- 汇聚交换机堆叠状态。
- 确定汇聚交换机上联核心和下联接入端口数据信息，即流量和报文信息。
- 确定用户终端访问网关是否有延迟和丢包。
- 查看交换机自身日志信息是否异常。
1、交换机内存、cup、温度和硬件状态正常。
2、汇聚交换机堆叠状态正常。
3、汇聚交换机上联核心、下联接入交换机流量未达到阈值，无异常单播、组播报文。
但是在上联核心交换机的接口下发现有CRC校验错误数据。
