利志分享
fast_forward
view_headline
开发工具箱
go教程
clickhouse教程
kafka教程
python教程
shell教程
原创杂文
打赏
开发工具箱
go教程
clickhouse教程
kafka教程
python教程
shell教程
原创杂文
打赏
go基础知识
go的环境搭建
go变量
go常量
go字符串
go数组和切片
go的map和range的使用
go的struct的使用
go的函数使用
go的interface的使用
go channel使用
go的routine使用
go的panic和recover使用
go实现http请求
go 复杂的http请求
go实现表单提交
go实现表单验证
go上传附件
go实现mysql连接
go实现redis操作
go对xml操作
go的json操作
go的base64使用
go实现websocket功能
go的单元测试
go的文件操作
go的web服务基础
golang url解析和包介绍使用
go的正则表达式-MatchString,FindString等的使用
golang实现从byte和文件中读取csv格式数据
go进阶
go的类型转换
go的map的多维应用
go的多维数组和slice使用
go的select使用
go的原子性atomic类库使用
go给图片添加水印
go给图片添加文字
go实现http的rpc服务
go实现tcp的rpc服务
go实现json格式的rpc服务
多个defer的执行问题
golang的队列机制实现同步主线程接受子协程的结果
go的值传递和引用传递以及引用类型的问题
go中的make和new的使用问题
golang读文件分析1
golang读文件分析2
golang实现自然周计算
golang实现读写excel
go实战
beego的安装和使用
beego聊天室的基本配置
beego聊天室的生成
Go 写一个类似 cron 的定时任务管理器
Go 调度器 M, P 和 G
AES对称加密算法如何用golang语言实现?
非对称加密的RSA算法如何通过golang来实现?
golang实现http2.0服务端,客户端完整案例
go实战总结
go的日期操作类使用-日常使用类库no.1
go的字符串的连接讲解-日常实战总结no.1
golang实现队列服务-日常实战总结no.2
深入理解golang的channel的使用-日常实战总结no.3
go的sync.pool在实际应用中的讲解和性能分析比较-日常实战总结no.4
go语言中一个典型的引用类型的数据使用案例的注意点-日常实战总结no.5
go的sync包的使用详解1-日常实战总结6
go的sync包的使用详解2-日常实战总结7
深度学习go判断各个类型相等-日常实战总结8
go的排序类使用讲解-日常实战总结9
go的context使用讲解
golang 网络爬虫框架gocolly
golang实现桶排序
golang处理gb2312转utf-8编码的问题
golang实现单链的添加,删除以及翻转
golang的一个err不判断引起的血案(json.Marshal的error到底要不要判断?)
如何控制golang协程的并发数量问题-panic: too many concurrent operations on a single file or socket (max 1048575)
你所要知道的redis客户端返回值知识点
golang实现连续的时间,比如连续的天,月,年等。
go深入
由引用类型引发的概念的深入理解
sync.WaitGroup深入源码理解
golang如何创建动态的struct类型以及如何转换成slice类型
深入理解go的管道数据读写
关于go的只读管道只写管道以及单向管道的理解
深入理解go的slice深入,slice扩容机制
深入理解go的函数参数传递
golang实现动态调用不同struct中不同的方法
如何配置sqlx.DB的SetMaxOpenConns SetMaxIdleConns 和 SetConnMaxLifetime来保证更好的性能
深入理解go的select原理
深入理解golang的GPM模型
精通golang的项目管理go modules
深入理解golang的GC回收机制
超级肝文-深入剖析客户端出现connect reset by peer报错相关的技术知识
Golang源码深入-Go1.15.6发起http请求流程-1
Golang源码深入-Go1.15.6发起http请求流程-2
Golang源码深入-Go1.15.6发起http请求流程-3(http2)
go应用
需求整理-手把手带大家用go开发一个匿名在线聊天室
第二篇-手把手带大家用go开发一个匿名在线聊天室
第三篇-手把手带大家用go开发一个匿名在线聊天室
go面试
【建议收藏】吐血整理Golang面试干货21问-吊打面试官-1
【建议收藏】整理Golang面试第二篇干货13问
【建议收藏】Redis知识干货汇总
【建议收藏】Mysql知识干货(mysql八股文)汇总
目录
go基础知识
go的环境搭建
go变量
go常量
go字符串
go数组和切片
go的map和range的使用
go的struct的使用
go的函数使用
go的interface的使用
go channel使用
go的routine使用
go的panic和recover使用
go实现http请求
go 复杂的http请求
go实现表单提交
go实现表单验证
go上传附件
go实现mysql连接
go实现redis操作
go对xml操作
go的json操作
go的base64使用
go实现websocket功能
go的单元测试
go的文件操作
go的web服务基础
golang url解析和包介绍使用
go的正则表达式-MatchString,FindString等的使用
golang实现从byte和文件中读取csv格式数据
go进阶
go的类型转换
go的map的多维应用
go的多维数组和slice使用
go的select使用
go的原子性atomic类库使用
go给图片添加水印
go给图片添加文字
go实现http的rpc服务
go实现tcp的rpc服务
go实现json格式的rpc服务
多个defer的执行问题
golang的队列机制实现同步主线程接受子协程的结果
go的值传递和引用传递以及引用类型的问题
go中的make和new的使用问题
golang读文件分析1
golang读文件分析2
golang实现自然周计算
golang实现读写excel
go实战
beego的安装和使用
beego聊天室的基本配置
beego聊天室的生成
Go 写一个类似 cron 的定时任务管理器
Go 调度器 M, P 和 G
AES对称加密算法如何用golang语言实现?
非对称加密的RSA算法如何通过golang来实现?
golang实现http2.0服务端,客户端完整案例
go实战总结
go的日期操作类使用-日常使用类库no.1
go的字符串的连接讲解-日常实战总结no.1
golang实现队列服务-日常实战总结no.2
深入理解golang的channel的使用-日常实战总结no.3
go的sync.pool在实际应用中的讲解和性能分析比较-日常实战总结no.4
go语言中一个典型的引用类型的数据使用案例的注意点-日常实战总结no.5
go的sync包的使用详解1-日常实战总结6
go的sync包的使用详解2-日常实战总结7
深度学习go判断各个类型相等-日常实战总结8
go的排序类使用讲解-日常实战总结9
go的context使用讲解
golang 网络爬虫框架gocolly
golang实现桶排序
golang处理gb2312转utf-8编码的问题
golang实现单链的添加,删除以及翻转
golang的一个err不判断引起的血案(json.Marshal的error到底要不要判断?)
如何控制golang协程的并发数量问题-panic: too many concurrent operations on a single file or socket (max 1048575)
你所要知道的redis客户端返回值知识点
golang实现连续的时间,比如连续的天,月,年等。
go深入
由引用类型引发的概念的深入理解
sync.WaitGroup深入源码理解
golang如何创建动态的struct类型以及如何转换成slice类型
深入理解go的管道数据读写
关于go的只读管道只写管道以及单向管道的理解
深入理解go的slice深入,slice扩容机制
深入理解go的函数参数传递
golang实现动态调用不同struct中不同的方法
如何配置sqlx.DB的SetMaxOpenConns SetMaxIdleConns 和 SetConnMaxLifetime来保证更好的性能
深入理解go的select原理
深入理解golang的GPM模型
精通golang的项目管理go modules
深入理解golang的GC回收机制
超级肝文-深入剖析客户端出现connect reset by peer报错相关的技术知识
Golang源码深入-Go1.15.6发起http请求流程-1
Golang源码深入-Go1.15.6发起http请求流程-2
Golang源码深入-Go1.15.6发起http请求流程-3(http2)
go应用
需求整理-手把手带大家用go开发一个匿名在线聊天室
第二篇-手把手带大家用go开发一个匿名在线聊天室
第三篇-手把手带大家用go开发一个匿名在线聊天室
go面试
【建议收藏】吐血整理Golang面试干货21问-吊打面试官-1
【建议收藏】整理Golang面试第二篇干货13问
【建议收藏】Redis知识干货汇总
【建议收藏】Mysql知识干货(mysql八股文)汇总
如何配置sqlx.DB的SetMaxOpenConns SetMaxIdleConns 和 SetConnMaxLifetime来保证更好的性能
阅读:632
分享次数:0
最近业务上大量使用clickhouse,当我们压测的时候发现,clickhouse并发写入性能支持的不是很好,这个是由于clickhouse实现并行查询机制,造成了我们对clickhouse的连接需要控制。最开始的时候我们的思路是想针对于clickhouse写一个专用的全局连接网关服务,后面发现实现这个全局连接网关需要处理其他服务和这个连接网关服务之间的各种连接状态,各种连接异常情况,发现实现起来问题会比较多,而且这个开发的时间是比较长的。后面我们深入研究了一下sqlx.DB,当然sql.DB也是可以连接clickhouse的,但是他没有select和get的方法,用起来是比较麻烦。最后我们决定用sqlx.DB,深入研究一下sqlx.DB,sqlx.DB不是一个连接,这个而是一个连接池,它可以通过sqlx.Open来创建一个对接对象。 SetMaxOpenConns 方法 ------------ 默认情况下,同时打开的连接数 (使用中 + 空闲) 没有限制。但是您可以通过 SetMaxOpenConns 方法实现对连接数的限制,如下所示: //初始化一个新的连接池 db, err := sqlx.Open("clickhouse", "tcp://127.0.0.1:9000") if err != nil { log.Fatal(err) } //设置同时打开的连接数(使用中+空闲) //设为5。将此值设置为小于或等于0表示没有限制 //最大限制(这也是默认设置)。 db.SetMaxOpenConns(5) 在此示例代码中,连接池现在最大限制为 5 个并发打开的连接。如果 5 个连接全部都已标记为使用中,并且需要另一个新连接,则应用程序将被迫等待,直到 5 个连接的其中一个被释放并变为空闲状态。 SetMaxIdleConns 方法 ------------ 默认情况下 sql.DB 会在链接池中最多保留 2 个空闲链接。可以通过 SetMaxIdleConns() 方法更改此方法,如下所示: // 初始化一个新的链接池 db, err := sqlx.Open("clickhouse", "tcp://127.0.0.1:9000") if err != nil { log.Fatal(err) } // 将最大并发空闲链接数设置为 5. // 小于或等于 0 表示不保留任何空闲链接. db.SetMaxIdleConns(5) 理论上来说,在链接池中允许更多数量的空闲链接将提高性能,因为它使从头开始建立新链接的可能性降低了,因此有助于节省资源. SetConnMaxLifetime 方法 ------------ 现在让我们看一下 SetConnMaxLifetime() 方法,该方法设置了可重用链接得最大时间长度。如果你得 SQL 数据还实现了最大链接得生命周期,或者如果你希望方便得再负载均衡器之后轻松得交换数据库得话这将非常有用. 您可以这样使用它: //初始化一个新的连接池 db, err := sqlx.Open("clickhouse", "tcp://127.0.0.1:9000") if err != nil { log.Fatal(err) } // 设置最大生存时间为1小时 // 设置为0,表示没有最大生存期,并且连接会被重用 // forever (这是默认配置). db.SetConnMaxLifetime(time.Hour) 在此示例中,我们所有的连接将在首次创建后一个小时 "过期",并且过期后无法重用。但请注意: 这不能保证连接将在连接池中存在一个小时;连接很有可能由于某种原因而变得无法使用,并在此之前被自动关闭。 建立连接后仍可以使用超过一小时 - 在那之后它就无法 启动 重用。 这不是空闲超时。连接将在第一次创建后 1 个小时到期,而不是在上一次空闲后 1 个小时到期。 每秒自动执行一次清除操作,从连接池中删除 “过期” 的连接。 理论上, ConnMaxLifetime 越短,连接过期的次数就会越频繁 — 因此 — 需要从头开始创建连接的次数也就越多。 总结:关于开头我们说了连接数问题,最后我们通过控制每个服务的最大连接数来解决这个clickhouse的并发问题。 1. 根据经验,应该显示的设置一个MaxOpenConns的值,这应该低于数据库和基础结构所施加的对链接数的任何硬限制。 2. 通常较高的MaxOpenConns和MaxIdleConns值会有更好的性能。但收益却在下降,应该意识到空闲的链接池过大实际上会导致性能下降 (链接没有被重用最终变为坏链)。 3. MaxIdleConns 应该始终小于或等于 MaxOpenConns 参考文档: https://www.alexedwards.net/blog/configuring-sqldb http://jmoiron.github.io/sqlx/
感觉本站内容不错,读后有收获?
attach_money
我要小额打赏,鼓励作者写出更好的教程
扫码关注公众号:talk_lizhi