我想收集1960到2018年各大洲2018经济总量量,请问在哪里有数据方便查询,不想一个个国家加和。谢谢

日常一提数据分析和可视化就想到这个工具操作要多简单易用,图表要多美多炫然而总是忽略背后的数据支撑。

excel 几十万行数据就卡死崩谈何数据透视表、可视化?

菦千万行的数据订单提交数据库,sql sever处理要5分多钟如果频繁入库/取数的话.....

要知道,为了支撑起业务人员的数据分析以及日常不考虑计算逻辑和技术难度,IT人员也是要花费很大的心血和精力啊(心疼运维人员n秒)

随着公司业务的发展,数据量变大是必然的事实那么,數据部门要做分析业务部门要看报表,要跑数据要用BI,大数据量(千万级及以上)的分析性能该如何优化?

这里借某公司的真实案唎来阐述一下方案。

作为公司的科技部门人员经常听到业务部门对自己使用的数据库各种吐槽:

竟然存放在mongoDB中啊,震惊(ΩДΩ)

数据库慢慢熟悉了还好啊,但是现在每天的数据量越来越大而且还在增加啊,增加大家很开心然而数据库并不开心啊,简单的查询统计10多分鍾还出不来结果更不用说有稍微复杂点的统计分析了。

我天天找DBA优化啊然而并没有什么水花。

数据量还在不断增长到现在都上亿啦,全量查询统计根本出不来结果啊

最终业务人员找到科技部门提需求要弄个BI系统给处理下。

对mongodb瞄了一大通这就是个业务库。那直接对接mongodb自然不行速度慢不说,mongodb挂了分析系统也瘫了。自然就想到了使用中间库emm mysql oracle 倒是有,可以跑调度抽过来但是速度依旧不快呢,还要婲功夫优化性价比不高。公司有自己的hadoop平台将数据抽过来再对接倒是可以,但是要花很大精力跑调度而且这个数据库不能随意给这個业务部门提供,万一玩挂了可就得不偿失假设有个具备离线数据存储功能的BI工具,岂不美哉

于是将市面上有离线数据存储功能的BI工具翻了个遍。期望找到个性能好可以支持大数据量数据分析的BI工具。

Tableau的hyper功能看起来OK经不起实际使用,数据量过了亿等了好久数据抽鈈好,pass;

其他某BI工具有mpp离线存储看起来很棒,还能横向扩展不错。抱有最大期望的用结果数据量一上亿,直接崩了崩了,pass;

另一個BI工具去看了看咦,数据是放在vertica里面的......

后来找到了FineBI的分布式计算引擎方案,拿的『定制的 Alluxio』作为分布式内存存储框架内存存储有数據安全性的担心,所以持久化层存储用了HDFS为了数据分析嘛,自然是列式存储的计算核心则以熟知的Spark,加上自研算法来处理的使用熟知的zookeeper整合框架,并用于调度通信

分布式嘛,横向扩展自然不在话下而列式存储、并行内存计算、计算本地化加上高性能算法,在FineBI中数據展示速度超快有意思的是其计算本地化的操作,能减少不必要的shuffle节省数据传输的消耗,提升数据计算速度

  • --db 是要生成DRDL的数据库实例洺
  • --out 是DRDL输出文件定义。值使用.drdl的文件即可

第三步:启动连接器,连接上monogdb

启动连接器的主命令服务是mongosqld由于mongodb开启用户认证了(auth=true)。从官方文檔上可知连接器的启动需要使用-auth参数,再使用auth参数的情况下mysql驱动来取数就需要SSLl加密认证。

所以第一步需要配置mongosqld的SSL认证;才能启动连接器来取数!!!!!!!!!!这一步神坑也是踩了多少坑,才找到的解决办法

此处认证关系是FineBi端的mysql连接与mongosqld的连接之间的SSL认证。在认證时只需要配置单向SSL的认证即可(mongosqld认证FineBI的连接)。

(1)生成SSL认证文件

SSL认证文件通常采用openSSL来生成先看看是否***了openSSL;执行命令:

如***叻会返回信息,未***需要自行***OpenSSL

采用以下命令来生成***:(由于是测试,就直接自己生成***密钥)

命令返回会让填写一些值,在后面填写即可

一般情况下,文件会生成到你所使用的linux用户的要根目录下:比如我用的root用户就到/root下面查找。

再使用以下命令将key合箌.pem的文件里。

将该文件移动/etc/ssl下面用于验证使用:

再来看官方文档从所有的参数命令里面,找一找需要的参数;得出以下的范式在bin目录丅启动即可。

  • --auth 是开启用户认证的参数默认值是true
  • --sslPEMKeyFile是SSL认证文件,一般为.pem结尾的文件;单向认证的时候

注:一般还是要用nohup 的命令来生成,保證shell断掉连接器依然可用。

第四步:启动FineBI连接到连接器上

启动FineBI打开FineBI>数据配置>数据连接:添加数据连接选择mysql,配置如下:

过程坑点:mongodb的BI连接器神坑官网文档不多,踩过了几脚坑

xxxxx该抛错是mysql抛出来的,握手不良的错误按道理SSL已经开启了,不应该是这样后来查了mysql的文档,mysql5.5鉯上的版本才支持SSL;更换新的driver驱动使用的是5.1.44完全没问题的。

该抛错的意思使用“SCRAM-SHA-1”的认证方式,没有认证成功SCRAM-SHA-1是指用户名密码的方式,这里看是不是用户名/密码错误注意mongosqld启动时的使用的用户名/密码

(3)一定要开启SSL认证啊!!!

(4)期间有设计器无故死掉的情况,发現是由于内存不足导致记得空闲内存要足够!!

(1) 单个表先全量抽取,之后每天对单表依据时间戳做增量增加。其中有错误数据做增量删除即可

(2)有些内部使用的实时性较高的表,设定每2小时更新一次从上午9点到下午6点。直接从业务库抽取其实是有风险的当時数据库压力大,抽取比较慢因此这部分仅作为非重点用户需求场景。

做了一个简单的依据时间的group by时间在1s之内,翻页速度也很快

至此,对接mongodb完成一个用户可以随便玩的系统就好了。即使偶尔mongodb发疯修整有离线数据在,也不担心业务部门来嚷嚷了而且速度超快,体驗很棒~

如果你也在寻求一个高性能展示分析、数据分析的BI工具的话不妨尝试下FineBI。

原标题:2018年山东各地级市GDP数据出爐:及格的青岛济南受阻的烟台淄博潍坊

山川网:继续我们的2018年区域经济复盘系列。经过了前面四天的推送我们已经完成了2018年各省GDP排洺,2018年各市GDP排名经济大省江苏分市GDP数据,经济大省浙江分市GDP数据各篇的推送

在时间十分有限的前提下,我们尽可能做到数据收集整理仩的详实与丰富以便于大家能够更好地理解各省各市2018年的经济表现。从大家给予的高关注度而言也充分证明了做这件事的意义所在。

從该系列的推送初衷上除了简单地介绍一下区域年度成绩之后,绝大多数篇幅我们都用以挖掘和寻找问题。因为成绩永远是看过即止嘚过去时而问题则是亟待解决的进行时。如果一心只为求表扬求鼓励那我只能说你找错了地方,有大规模的各省市地方媒体长年为当哋经济唱赞歌喜欢听大可去看。这一点希望大家明白。

由于广东省的分市GDP数据尚未完全公布所以今天要进行整体和推送的是,全国經济第三大省北方经济第一大省的,山东篇

开门见山地说,山东区域经济发展不好讲这种不好讲,不同于部分经济弱势省份的全面衰败无话可讲。山东经济体量不算小全国排名也不算低,但是山东各市的经济情况,长期处于一个“高度稳定”的状态

这种高度穩定的状态,就是各城市的经济发展太过中规中矩,今年和去年差不多去年又和前年差不多。经济亮点这种事情对于山东而言不是┅件容易被发现的事情。

由于济南兼并莱芜的事情刚刚发生不久所以在上面的2018年山东各市GDP数据总结表格中,我将济南(不含莱芜)和新濟南(含莱芜)分别列出以便于大家进行比对。

众所周知2018年中国经济GDP整体增速为6.6%,我们就以此为及格线逐一看看山东17个地级市(含萊芜)在刚刚过去的2018年,表现如何

年度经济成绩高于及格线的地级市有:青岛7.4%,济南7.4%临沂7.3%,威海6.7%德州6.7%,菏泽7.9%日照7.3%,莱芜7.2%合计8座城市;

年度经济成绩低于及格线的地级市有:烟台6.4%,潍坊6.5%淄博6.1%,济宁5.8%东营4.5%,泰安5.7%聊城5.4%,滨州1.5%枣庄4.3%,合计9座城市

作为一个团体而訁,山东各地级市的年度经济成绩就连及格者和不及格者也对半开,让你觉得这真真是把儒家的中庸守正的思维发挥到了极致。

但是我这里想要提醒大家的是,及格者和不及格者不能单看数量,还要看质量如果及格者多为大经济体量城市,不及格者多为小经济体量城市那么最后的整体经济表现依旧差不了,因为权重因素摆在这里反之,自然就会是整体表现不佳

那么山东的情况呢?显然不属於前者17个地级市中,除了前两位的青岛和济南保持了超过7%的增长之外接下来第三位到第六位的烟台、潍坊、淄博、济宁增速均明显低於全国平均水平。以上城市均是山东第二梯队的重量选手(烟台或可位列第一梯队)这些城市在2108年的经济增长全面失速,自然也就注定叻山东全省在2018年的经济成绩上的不如人意

在昨天我们推送的分省经济排名中我们就已经提到,山东全省6.4%的年度增长表现应该用糟糕来形容。因为在年度2018经济总量量排名前十的省份中山东是唯一一个低于全国均值的省份。另一个和山东同样危险的省份是“幸运”地刚剛踩上6.6%及格线的河北省。

但是河北的全国排名已经连续多年下滑今年更是进一步下滑到了全国第9的位置。山东作为北方经济第一省全國总量第三的省份,显然不应该也不能够和河北省去对标“谁更惨”这并不光彩。

如果要说北方省份在刚刚过去的2018年整体糟糕也同样說不过去。河南和陕西两省在2018年分别取得了7.6%和8.3%的成绩,这放至全国范围也同样是不错的成绩所以十分显然,山东的问题在于其自身。

一直以来包括山东、北京在内的所有中国北方地区,都不是城市群发展构建的成功范例山东是至今都还未真正意义上找到城市群构建的入口,青烟威的半岛城市群不成功济南都市圈更是才刚刚起步。至于所谓的京津冀都市圈更是绝对意义上的一城独大,基本没有配合可言

为什么?我认为归根结底是人的问题城市群,是城市与城市之间的高维度融合融合需要的最基础前提是什么?是合作精神與契约精神在城市群发展受阻的地区,应该深入反思所在地区的合作精神和契约精神究竟存在什么问题。

不解决这个本质问题城市群便始终难以形成,也就妄谈发展

在上面的2018年山东各市经济数据回顾完后,我又想到了2017年时山东各市经济的发展情况,于是把去年的姩度复盘系列山东篇中的资料一并贴上供大家了解。

在区域经济发展路径的选择上山东和江苏有一定程度的相似性,都是长期走“泛均衡”发展路线不充分将资源聚集于一城一地,而是分而治之各自发展。

这一路线在城镇化进程位于初段、中段的时候,都是有明顯效果的各区域农民就近进城城镇化,以较为平缓的方式各自完成区域中心城市的城区扩大与经济增长。

但与此同时带来的负面影响昰由于各地分而治之,有限的资源被大范围的平均主义分配造成各个城市均不突出。体量不突出资金不突出,产业不突出企业不突出,人才不突出科创不突出,医疗教育各种资源均不突出

在城镇化阶段进入中期以后,城市的单打独斗式发展路径逐渐被城市群囷城市圈的抱团式发展路径所取代。两者最大的区别是什么呢是对短板理论和长板理论的理解和运用。

平均主义和均衡主义影响下的各洎为阵式城市发展路径更符合着力弥补短板,让全省各市都显得不太糟糕但是因为没有强势的区域中心城市,不仅没有能力将省份创噺和人才资源充分转化还让所在省份无法进一步对省外资金产业形成吸引力,最终成为短板理论的错误使用“受害者”

城市群战术,其实就是由区域中心城市充分构建城市群长板效应筑巢引凤;而各城市群组成城市,则根据自身不同的优势劣势共同完成城市群整体短板的一一弥补。相比传统的区域经济发展路径城市群打法,显然更符合当下中国经济较发达地区的下一步发展路线

2018年山东全省在区域经济发展上的最大亮点,就是济南莱芜合并这点我们虽然在先前的《“吞并莱芜”后,济南面积扩大2246平方公里人口增加137万, GDP提升896亿え》中已经进行了专题介绍但是,作为山东省过去一年城镇化进程中的最大事件在年终整理时,我们还是得再次拎出来进行回顾

2018年12朤26日,国务院正式批复同意山东省调整济南市莱芜市行政区划撤销莱芜市,将其所辖区域划归济南市管辖2019年1月9日下午,山东省人民政府举行新闻发布会山东省政府秘书长申长友介绍了济南市、莱芜市行政区划调整情况。

按照2017年的数据济南市GDP总量7201.96亿元,常住人口723.31万人通过“吞并”莱芜这一方式,济南市GDP总量提升896.02亿元人口总量增加137.58万人。叠加之后新济南市GDP总量变为8097.98亿元,人口总量变为860.89万人

在当時的文章推送时,我即按照如上数据推测合并后的新济南市,全国城市排名可由原来的第23位跃升至第18位仅次于郑州。这个排名也和峩们刚刚推送的全国城市GDP排名相吻合。当然了至于官方层面对2018年济南GDP统计时选用包含莱芜还是不包含莱芜的数据,这个只是早晚的事情我们心中有数即可。

但是如果你足够细心就应该发展,在第一章节的2018年山东各市GDP数据中即使是按照既有济南行政区划背景下,2018年济喃市还是超越了烟台成功晋级了全省第二的排名。

这里一方面自然是山东省已经下定决心全力支持济南构建强省会目标所致;但与此哃时,2018年烟台作为山东省内青岛之外第二重要的沿海城市经济成绩不理想,增长失速同样值得令人高度关注与警醒。

如果接下来的几姩伴随着山东构建强省会济南的同时,是既有经济强市的没落这一升一降之间,显然并不是一件成功的区域经济结构调整升级顾此夨彼,得一失一等于是在浪费资源。

如果我们孤立的纵向看山东一省各市的经济发展最终能够得到的结论一定就是:中规中矩,数年、十数年如一日似乎从未发生过任何改变。

但是如果我们就拿“没有变化”作为2018年山东各市区域经济发展回顾的结尾显然缺乏诚意,吔很难让大家真正意义上体会到过去十年间中国城镇化与区域经济已经发生的巨大变化。

如何能够深刻感受到这种变化带来的影响呢峩们不妨横向来比。由于2018年数据尚为基础版为了准确性,我们就横向对比2008年到2017年十年间中国主要城市的经济体量变化与同时间段内山東地级市经济体量变化的对比。

大家可以比较清楚的看到中西部省会省市,例如合肥、贵阳、成都、长沙、西安、武汉在过去十年间經济增长的突飞猛进,这也和我们经常谈到过去五到十年间是中西部强省会崛起的十年说法相吻合。

能够保持一定时间段的经济高速增長带来的利好结果就是,城市的全国经济体量排名会明显有所上升。还是以上面的10座城市为例从2008年到2017年,这些城市的全国排名发生叻怎样的变化呢

合肥提升24位,贵阳提升42位襄阳提升33位,成都提升5位长沙提升9位,菏泽提升21位西安提升14位,武汉提升3位徐州提升8位,南京提升5位这里由于既有体量的不同,所以虽然10座城市在过去十年的增速都很出众但是对应到排名的提升却是有所差别。

这里面峩们也一眼看到属于山东的地级市菏泽,在过去十年经济成绩出色全国城市排名提升了21位,可喜可贺但是,山东共有17个地级市(含萊芜)除了菏泽以外,其余的16个地级市在过去十年间的经济表现,又是怎样的呢我们一一来看:

这么看,似乎好像还行上面的十姩增速前十名,平均增长率是200%~300%那么山东的各地级市集中在100%~200%,似乎也能说得过去这就好像虽然这些年山东经济增长一直不算快,但全国排名还一直都是第三位也不算太糟糕对不对?别急我再把以上各市过去十年间在全国城市中的排名变化列出来,大家就一目了然了

姩,山东菏泽以外各市GDP全国排名变化情况分别是(变化由小到大排名):泰安上升3位青岛下降4位,烟台下降4位济南下降5位,聊城下降5位潍坊下降6位,济宁下降6位临沂下降7位,淄博下降11位德州下降11位,日照下降14位威海下降18位,滨州下降19位东营下降21位,枣庄下降29位莱芜下降38位。

十年时间山东省17个地级市中,除了2个地级市(菏泽、泰山)全国GDP排名实现了上升外其余15个地级市全部下降。像青岛、烟台、济南这样下降位数在5位之内的城市我们还可以理解为是因为过去十年间中西部强省会成都、武汉、长沙等成崛起所致,可以体諒

但是,十年全国排名下降二十多位甚至三十多位的城市,有什么理由能够搪塞得过去这就是过去十年区域经济经济发展的巨大溃敗无疑。

莱芜其实是幸运的过去十年山东所有地级市中,经济排名下滑最为严重如今投了济南,做大了盘子以后起码数据上不会再這么难看。但是像枣庄这样的城市显然就没那么好运气,位于山东鲁南边境与苏北徐州接壤的地理位置,长期以来都处于省份发展边緣化境地旁边的济宁临沂亦不过是三四线城市实力,都是难兄难弟也别指望会发生合并的可能。

坐拥一亿人口的巨大动能区位优势铨北方独一无二,经济体量常年位居全国第三的大省山东为何却把经济发展成今天这幅模样,下个十年山东的经济之路究竟怎么走这些都是未来山东经济发展待解的难题。

送给山东省2019年的寄语是:不破不立

参考资料

 

随机推荐