生产环境中遇到的偶发问题如何定位?

现象：服务正常接口的执行时间是5ms内，偶尔出现一些执行超3秒的请求（重试是5ms内）。

下游timeout是3秒，直接504了，也看不出实际用了几秒。

出现概率：0.008% 超时：5100/64800000

1. mysql连接池配置：

    sqlDB.SetMaxIdleConns(100)
    sqlDB.SetMaxOpenConns(100)
    sqlDB.SetConnMaxLifetime(time.Hour) 

2. cpu/内存/负载 正常

3. 数据库慢无查询，负载正常

问题一般如何定位？用什么工具定位

1. mysql连接池问题？

2. goroutine的调度有关？qps250左右，应该还不到go的单机瓶径

3. 网络波动？