中国领先的IT技术网站
51CTO旗下网站
MongoDB 查询超时异常的原因及解决办法
在对超过百万条记录的集合进行聚合操作时，偶尔会发生Read timed out 异常，本文分析了ConnectionTimeOut和SocketTimeOut的区别，并提出该问题的解决办法。
作者：忙碌的键盘来源：oschina博客| 15:41
在对超过百万条记录的集合进行聚合操作。
DBObject&match=(DBObject)JSON.parse(&{$match:{logType:{'$in':[5,9]}}}&);&DBObject&group=(DBObject)JSON.parse(&{$group:{'_id':'$domainUrl','count':{'$sum':1}}}&);&AggregationOutput&output&=&logCollection.aggregate(match,group);&
偶尔会发生Read timed out 异常。
com.mongodb.MongoException$Network:&Read&operation&to&server&/192.168.10.202:27017&failed&on&database&adLogTable&at&com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253)&at&com.mand(DB.java:261)&at&com.mand(DB.java:243)&...&Caused&by:&java.net.SocketTimeoutException:&Read&timed&out&at&java.net.SocketInputStream.socketRead0(Native&Method)&at&java.net.SocketInputStream.read(SocketInputStream.java:152)&
通过多次测试，发现执行一次聚合平均时间为5s，超过5s时就会报错！
然后查看MongoDB的配置信息：
socket-timeout=&5000&&&
socket-timeout的默认配置为0，也就是没有限制。
没有超时限制，系统出了问题也不容易发现，应该根据实际情况，给出合理的超时时间。
通过多次测试发现最长执行时间为6秒，就把超时时间设置成了10000。
socket-timeout=&10000&&&
注意：MongoDB在与Spring整合时，如果要配置多个MongDB源，只会启用最后一个&mongo:options&配置。
应该把参数配置信息存储在properties文件中。
&mongo:mongo&host=&${mongodb.ip}&&id=&mongo202&&port=&${mongodb.port}&&&&mongo:options&connections-per-host=&200&&threads-allowed-to-block-for-connection-multiplier=&100&&connect-timeout=&1000&&max-wait-time=&1000&&auto-connect-retry=&true&&socket-keep-alive=&true&&socket-timeout=&10000&&slave-ok=&true&&write-number=&1&&write-timeout=&0&&write-fsync=&true&&/&&&/mongo:mongo&&
通过Java API获取配置参数
DBCollection&logCollection&=&mongoTemplate.getCollection(collName);&MongoOptions&mongoOptions&=&logCollection.getDB().getMongo().getMongoOptions();&System.out.println(mongoOptions.getSocketTimeout());&
最后一点：
ConnectionTimeOut和SocketTimeOut的区别：
一次完整的请求包括三个阶段：
如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut，就会抛 ConnectionTimeOutException，即服务器连接超时，没有在规定的时间内建立连接。
如果与服务器连接成功，就开始数据传输了。
如果服务器处理数据用时过长，超过了SocketTimeOut，就会抛出SocketTimeOutExceptin，即服务器响应超时，服务器没有在规定的时间内返回给客户端数据。【编辑推荐】【责任编辑： TEL：（010）】
大家都在看猜你喜欢
热点头条热点头条头条
24H热文一周话题本月最赞
讲师：22人学习过
讲师：7人学习过
讲师：12人学习过
精选博文论坛热帖下载排行
本书共22章，包括操作符、控制执行流程、访问权限控制、复用类、多态、接口、通过异常处理错误、字符串、泛型、数组、容器深入研究、Java I...
订阅51CTO邮刊在对超过百万条记录的集合进行聚合操作。 DBObject match=(DBObject)JSON.parse(&{$match:{logType:{&$in&:[5,9]}}}&);
DBObject group=(DBObject)JSON.parse(&{$group:{&_id&:&$domainUrl&,&count&:{&$sum&:1}}}&);
AggregationOutput output = logCollection.aggregate(match,group); 偶尔会发生Read timed out...二次元同好交流新大陆
扫码下载App
汇聚2000万达人的兴趣社区下载即送20张免费照片冲印
扫码下载App
温馨提示！由于新浪微博认证机制调整，您的新浪微博帐号绑定已过期，请重新绑定！&&|&&
LOFTER精选
网易考拉推荐
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
阅读(8169)|
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
历史上的今天
在LOFTER的更多文章
loftPermalink:'',
id:'fks_',
blogTitle:'MongoDB的$where查询',
blogAbstract:'有时候，键值对的查询方式并不能满足我们的需求，我们有如下一个集合：',
blogTag:'mongodb使用,mongodb查询',
blogUrl:'blog/static/',
isPublished:1,
istop:false,
modifyTime:5,
publishTime:8,
permalink:'blog/static/',
commentCount:1,
mainCommentCount:1,
recommendCount:0,
bsrk:-100,
publisherId:0,
recomBlogHome:false,
currentRecomBlog:false,
attachmentsFileIds:[],
groupInfo:{},
friendstatus:'none',
followstatus:'unFollow',
pubSucc:'',
visitorProvince:'',
visitorCity:'',
visitorNewUser:false,
postAddInfo:{},
mset:'000',
remindgoodnightblog:false,
isBlackVisitor:false,
isShowYodaoAd:false,
hostIntro:'',
hmcon:'0',
selfRecomBlogCount:'0',
lofter_single:''
{list a as x}
{if x.moveFrom=='wap'}
{elseif x.moveFrom=='iphone'}
{elseif x.moveFrom=='android'}
{elseif x.moveFrom=='mobile'}
${a.selfIntro|escape}{if great260}${suplement}{/if}
{list a as x}
推荐过这篇日志的人：
{list a as x}
{if !!b&&b.length>0}
他们还推荐了：
{list b as y}
转载记录：
{list d as x}
{list a as x}
{list a as x}
{list a as x}
{list a as x}
{if x_index>4}{break}{/if}
${fn2(x.publishTime,'yyyy-MM-dd HH:mm:ss')}
{list a as x}
{if !!(blogDetail.preBlogPermalink)}
{if !!(blogDetail.nextBlogPermalink)}
{list a as x}
{if defined('newslist')&&newslist.length>0}
{list newslist as x}
{if x_index>7}{break}{/if}
{list a as x}
{var first_option =}
{list x.voteDetailList as voteToOption}
{if voteToOption==1}
{if first_option==false},{/if}&&“${b[voteToOption_index]}”&&
{if (x.role!="-1") },“我是${c[x.role]}”&&{/if}
&&&&&&&&${fn1(x.voteTime)}
{if x.userName==''}{/if}
网易公司版权所有&&
{list x.l as y}
{if defined('wl')}
{list wl as x}{/list}查了很久一直没找到解决办法的mongodb异常，求助_百度知道
查了很久一直没找到解决办法的mongodb异常，求助
提问者采纳
它的表现形式就是我们常说的BSON（Binary JSON ），文档是对数据的抽象。当Client端要将写入文档在MongoDB中，并将BSON作为数据的存储存放在磁盘中，它被使用在Client端和Server端的交互中。MongoDB能够使用BSON。同样，使用查询等等操作时，Server端的返回结果也是编码为BSON格式再放回给Client端的，需要将文档编码为BSON格式，然后再发送给Server端。所有的Client端（各种语言的Driver）都会使用这种抽象。BSON是一个轻量级的二进制数据格式
其他类似问题
为您推荐：
mongodb的相关知识
其他2条回答
具体什么异常，说明下啊
到解决办法
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁}