分享一次生产应用无法连接Oracle数据库故障

刺骨的言语ヽ痛彻心扉 2022-11-09 14:15 169阅读 0赞

# 故障简介 #

今天一个应用运维同事微信联系我，说有一个应用日志，显示连接Oracle数据库报错，我问了一下是什么应用，对方回答是报表应用，这下心里有谱了。  
第一：报表应用重要性不高  
第二：一般这种情况，都是因为程序写的烂，一堆慢sql语句，将连接数占满了，导致获取不到连接数。

# 日志分析 #

于是让应用运维同事，将应用报错日志发给我先看看，报错信息如下所示

java.sql.SQLException: Listener refused the connection with the following error:
    ORA-12519, TNS:no appropriate service handler found
    
            at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:458) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at oracle.jdbc.driver.PhysicalConnection.<init>(PhysicalConnection.java:546) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at oracle.jdbc.driver.T4CConnection.<init>(T4CConnection.java:236) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at oracle.jdbc.driver.T4CDriverExtension.getConnection(T4CDriverExtension.java:32) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at oracle.jdbc.driver.OracleDriver.connect(OracleDriver.java:521) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at java.sql.DriverManager.getConnection(DriverManager.java:582) ~[na:1.6.0_45]
            at java.sql.DriverManager.getConnection(DriverManager.java:185) ~[na:1.6.0_45]
            at com.umpay.jdbc.PooledConnection.makeRealConnection(PooledConnection.java:133) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.jdbc.PooledConnection.<init>(PooledConnection.java:118) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.jdbc.UmpayCP.getConnection(UmpayCP.java:307) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.jdbc.ConnectionFactory.getConnection(ConnectionFactory.java:125) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.jdbc.ConnectionFactory.getConnection(ConnectionFactory.java:113) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.backofc2.collate.CollateInfo.getNearest10Collates(CollateInfo.java:257) ~[collate-frame-20160908-mysql.jar:na]
            at com.umpay.backofc2.collate.CollateMain.startup(CollateMain.java:187) [collate-frame-20160908-mysql.jar:na]
            at com.umpay.backofc2.collate.CollateMain.main(CollateMain.java:310) [collate-frame-20160908-mysql.jar:na]
    Caused by: oracle.net.ns.NetException: Listener refused the connection with the following error:
    ORA-12519, TNS:no appropriate service handler found

我看了一下报错，竟然不是常见的无法获取连接数报错，就上网查询了一下ora-12519错误代码的含义，竟然是应用的连接数达到数据库连接数的上限了。

于是让应用同事把连接数据库的JDBC连接池配置文件发给我看看。

######################################################## 
    jdbc.driver = oracle.jdbc.driver.OracleDriver 
    jdbc.url=jdbc:oracle:thin:@XXXX:1521:XXX
    ######################################################## 
    jdbc.username= XXX
    jdbc.password= XXX
    jdbc.dbType=oracle 
    ######################################################## 
    jdbc.min_connections = 10 
    jdbc.max_connections = 100

什么鬼，最大连接数竟然设置成100个。

# 解决过程 #

先看看Oracle数据库的连接数上限

SQL> show parameter process; 
    
    NAME                                 TYPE        VALUE
    ------------------------------------ ----------- ------------------------------
    aq_tm_processes                      integer     0
    cell_offload_processing              boolean     TRUE
    db_writer_processes                  integer     2
    gcs_server_processes                 integer     0
    global_txn_processes                 integer     1
    job_queue_processes                  integer     1000
    log_archive_max_processes            integer     4
    processes                            integer     150

上限是150，启动几个应用，连接数很快就会被占用完，这个上限需要调整一下。

# 参数调整 #

修改最大连接数:

alter system set processes = 500 scope = spfile;

重启数据库:

shutdown immediate;
    startup;
    
    SQL> show parameter process; 
    
    NAME                                 TYPE        VALUE
    ------------------------------------ ----------- ------------------------------
    aq_tm_processes                      integer     0
    cell_offload_processing              boolean     TRUE
    db_writer_processes                  integer     2
    gcs_server_processes                 integer     0
    global_txn_processes                 integer     1
    job_queue_processes                  integer     1000
    log_archive_max_processes            integer     4
    processes                            integer     500

这里需要注意，调整连接上限，需要重启实例，如果不是很重要的数据库，修改完成参数，就可以立刻重启，如果是重要数据库，需要协调窗口时间重启。

# 建议 #

在这里有3个建议  
第一：数据库连接上限，可以根据业务需求进行调整，例如不太繁忙的系统，可以调整为500，繁忙的系统，可以调整为1000。如果要调整更高的上限，可以考虑进行垂直拆分业务了。  
第二：应用连接数据数，一定要按需设置，有条件，可以弄一个连接数据管理的配置中心，由数据库人员管理连接数。  
第三：定期优化线上慢sql，降低应用对连接数的需求。

分享一次生产应用无法连接Oracle数据库故障  
https://mp.weixin.qq.com/s/LNAr463OMYTxOobDyVh9Wg