利志分享
fast_forward
view_headline
go教程
clickhouse教程
kafka教程
python教程
shell教程
原创杂文
打赏
go教程
clickhouse教程
kafka教程
python教程
shell教程
原创杂文
打赏
clickhouse入门
clickhouse概述
clickhouse安装和部署
clickhouse数据类型
clickhouse表引擎学习
clickhouse表引擎学习2
clickhouse的sql语法功能1-创建库，创建表等
clickhouse的sql语法2之select功能
clickhouse的sql语法3之alter和show功能
clickhouse的sql语法4之system的了解-查看当前实时连接数
clickhouse的sql语法5之账号授权功能
clickhouse实战
clickhouse实现漏斗功能
clickhouse实现留存数和留存率计算
你想要的-提高统计clickhouse的查询效率，clickhouse物化视图的应用
剖析-clickhouse的复制表引擎重复数据无法写入问题
clickhouse分布式查询报错剖析-Double-distributed IN/JOIN subqueries is denied (distributed_product_mode = 'deny'
有料-clickhouse单机的增删查询实现方案和clickhouse分布式部署的增删查改实现方案
clickhouse的go客户端实现插入分布式clickhouse集群方式
分布式物化视图在clickhouse如何实现？
助你成为数据分析达人-带你透彻的了解clickhouse实现同比环比分析
如何在clickhouse中实现连续的时间，比如连续的天
第二篇：如何在clickhouse中实现连续的时间，比如连续的天
clickhouse中toDate和toDateTime不能处理1970年之前时间问题
分享clickhouse分布式集群CPU突然暴涨接近100%的问题查证和分析
clickhouse一个特殊的Inf类型数据引发的数据问题
目录
clickhouse入门
clickhouse概述
clickhouse安装和部署
clickhouse数据类型
clickhouse表引擎学习
clickhouse表引擎学习2
clickhouse的sql语法功能1-创建库，创建表等
clickhouse的sql语法2之select功能
clickhouse的sql语法3之alter和show功能
clickhouse的sql语法4之system的了解-查看当前实时连接数
clickhouse的sql语法5之账号授权功能
clickhouse实战
clickhouse实现漏斗功能
clickhouse实现留存数和留存率计算
你想要的-提高统计clickhouse的查询效率，clickhouse物化视图的应用
剖析-clickhouse的复制表引擎重复数据无法写入问题
clickhouse分布式查询报错剖析-Double-distributed IN/JOIN subqueries is denied (distributed_product_mode = 'deny'
有料-clickhouse单机的增删查询实现方案和clickhouse分布式部署的增删查改实现方案
clickhouse的go客户端实现插入分布式clickhouse集群方式
分布式物化视图在clickhouse如何实现？
助你成为数据分析达人-带你透彻的了解clickhouse实现同比环比分析
如何在clickhouse中实现连续的时间，比如连续的天
第二篇：如何在clickhouse中实现连续的时间，比如连续的天
clickhouse中toDate和toDateTime不能处理1970年之前时间问题
分享clickhouse分布式集群CPU突然暴涨接近100%的问题查证和分析
clickhouse一个特殊的Inf类型数据引发的数据问题
clickhouse中toDate和toDateTime不能处理1970年之前时间问题
阅读：94
分享次数：0
最近我们有个按照年龄分布的统计分析需求，数据分析师要分析大于50岁的人群有多少，他用了toDate处理字段birthday转换时间格式，通过dateDiff来对比生日时间和当前时间，从而计算年龄。然后这样的计算，我们计算出来的超过50的岁的数据占比很大，我们怎么想也觉得不太可能有这么多老年人玩我们的产品，如果是微信那样的产品，那还有可能。出于这样的怀疑，我们去细查我们当时写的sql datediff('year',toDate(birthday),toDate(now())) 我们查了一些明细，发现明明有60岁的，也有为空的数据，都变成了51岁。发现了这个规则之后我们把sql拆出来看看计算结果。比如： datediff('year', toDate('1952-02-01'), toDate(now())) 这个返回是51，接下来拆分toDate('1952-02-01')的值，发现结果变成了1970-01-01，试了好几个值都变成1970-01-01。 经过验证，在官网的issue里面找到相关回答：We don't support dates before unix epoch.意思就是说unix时间戳之前的时间不支持。链接如下：https://github.com/ClickHouse/ClickHouse/issues/18511，所以针对于1970年之前的时间计算都会变成51岁，这样会造成统计的数据不准确。 发现这个问题之后，我们调整了实现方案，通过截取birthday字段的前四位转成int32，然后取当前的年去做相减，得到年龄，通过这样的方法之后才获取到正确的值。sql如下： select minus(cast(toYear(now()),'Int32'),cast(substring('1952-02-01',1,4),'Int32')) 这样就正确解决了unix时间戳之前的时间不支持问题。
感觉本站内容不错，读后有收获？
attach_money
我要小额打赏，鼓励作者写出更好的教程
扫码关注公众号：talk_lizhi
