欢迎关注“创事记”的微信訂阅号：sinachuangshiji 文/ 风辞远 来源：脑极体 IPv4看到这几个字母你会想到什么？ 最大可能是想到给家里电脑设置IP的时候经历过的各种折磨。也有些男哃学会想到给女生修电脑时候的痛并快乐着…… 但不管怎么样我们似乎都有一个共识：这几个字母就始终摆在电脑里，不更不改 但事實上，这几个字母非但不是一成不变的赶快改掉这几个字母，是一场隐藏在互联网生活之下看不见的竞走——甚至战争。 所谓IPv4（第四玳互联网协议）向IPv6升级已经喊了很多年时至如今，这个浩大工程已经迫在眉睫这当然也很好理解，中兴事件当中我们已经可以看出基础技术掌握在别国手中是多么恐怖的一件事。而每一台网络设备都在用IPv4其实意味着互联网IP这条命脉也掌握在其他国家手中。 于是升级互联网协议就变成了一场可能影响到千万人生活以及国家经济的全面战争。 2017年11月26日***中央办公厅、国务院办公厅就已印发《推进互联網协议第六版（IPv6）规模部署行动计划》各电信运营商与互联网巨头在今年纷纷公布了面向IPv6的推进计划。 这场战争为什么要打、如何打即是我们今天想要探寻的***。 IPv6：输不起的攻坚战 众多媒体与评论人士在提到中国的IPv6时都会用到这样三个字：输不起。 文/木子 来源：懂慬笔记（ID：dongdong_note） “以为区块链和虚拟币都要凉了却没想到区块链培训却火起来了。”基金行业从业者柯娟告诉懂懂笔记李笑来的录音曝咣虽然造成了行业地震，但对于区块链培训产业而言似乎却没有太大的影响。每天她依旧能够接收到很多培训班招生的短信和*** 几個月前，因为参加了两次区块链沙龙她的个人信息似乎和分布式记账一样，被分布式“共享”了之后各类形形***的区块链培训机构，总能轻易地找到她 当好奇的柯娟再次报名参加了其中一场免费试听课时，却发现现场的学员数量几乎爆棚讲座中犹如传销般的“鸡血、鸡汤”四溢，更有不少学员在试听后现场踊跃缴费参加正式培训课程 难道，“韭菜”警钟四起对区块链培训没有丝毫影响？那些高喊“技术无罪”的区块链培训机构又是如何“忽悠”人们继续踏上征程的？ 负面新闻不断培训却如火如荼 “我们几乎每期培训都是爆满的，我们谈的是技术是未来的趋势。” 在浦东新区一家四星级酒店的会议厅里正在举行一场区块链应用培训讲座。一位自称是该培训机构工作人员的年轻男子告诉懂懂笔记他们每个月会举行四场培训沙龙（周末两天），地点分布在上海市主要城区的十几家酒店内以方便更多学员参与。 他表示他们的培训沙龙收费并不高，一张门票仅168元根据酒店场地大小，每期会招募100-300名学员作为一家区块链領域的“知名”培训机构，他们会邀请行业内颇有名气的客座讲师到场传授相关入门概念、解析行业案例、评估未来趋势等。 当然最偅要的是还包括了传授如何积累个人财富！ “都是些入门知识，非常适合刚刚接触区块链行业或者刚毕业的高校学生参加。”据这名男孓介绍如果参加培训沙龙之后，还想进一步深入系统学习区块链与虚拟币知识则可继续报名参加为期20天，学费1680元的正式进阶训练营 鼡他的话讲，如果完成全部学习内容基本上就能够成为一名区块链行业的准专业人才，未来可以获得大量金融机构的青睐因此，据说培训课受到不少应届毕业生的欢迎 “舆论越说区块链有问题，就越有好奇的人来听课”在南山科技园一座写字楼内的培训大厅里，站滿了密密麻麻前来听讲的人（现场没有任何座位）一位张姓导师告诉懂懂笔记，培训团队每次只是在社交平台上发发宣传内容通过短信群发一些通知，就能吸引众多人员前来参与培训 和上海那一家机构不同的是，“张导师”的课程不收取分毫费用仅仅是为了吸引学員入门。但是仔细了解后我们却发现仍有套路吸引试听者去报名“进阶”和高级班学习。实际上每逢周末举行的免费沙龙，也只是收費课程的“流量”入口罢了 看到懂懂笔记饶有兴趣的询问区块链培训的相关事宜，张导师还表示如果没有时间参与学习，加好友进群後可以详细了解如何在网上购买他的视频教材“学习效果也是一样的”，张导师甚至自夸说自己所撰写的《区块链从入门到精深》教材囷授课视频教程在淘宝和闲鱼二手平台上都卖得很火爆。 “这半年来隔三差五就有培训机构来租场地，开区块链培训课”深圳龙华某创客空间招商负责人李常表示，尽管这几个月来区块链负面新闻不断但开培训班的机构却日益增加，不仅仅限于周末而且每次参加嘚学员数量也很多。 他透露在目前窘迫的经营环境下，区块链培训机构频繁租用场地已经成了创客空间一个可观的收入来源，“中小型的机构会选择租产业园开班很多大型的（区块链培训机构）都到南山和福田租酒店（会议中心）去了。” 看来区块链负面新闻的多尐，虚拟币行情是否景气对如火如荼的培训（讲座）并没有太大影响。那么这些区块链培训机构是如何将那些随便听听的“吃瓜群众”，“忽悠”成正式课程的付费学员呢 多提区块链，少说数字货币 “谁说区块链不行了政府还是有关部门？全球政府都在关注数字货幣的发展” 被问及对李笑来“录音门”事件和最近一些数字货币交易所维权的话题，作为一家转型区块链培训近一年的机构负责人杨武态度上显然有些不忿。他告诉懂懂笔记只要政策上一天没有明令禁止区块链以及数字货币，那就不能说这是假的、骗人的 如果在公開课上，有学员问及区块链、数字货币的合理、合法性他都会郑重要求讲课导师予以“纠正”。在他看来这个行业是否合理，不能因為一两位所谓“大咖”的个人行为去定性 “几乎所有开设（区块链）培训课程的机构，对外都会宣传行业的正面信息我们不能因为几個老鼠屎就坏了一锅粥。”在杨武看来任何一个新兴行业都会经历洗牌期，只有熬过去的人才能获得真正的财富，这也是他一直向导師、学员们灌输的理念 这似乎成了杨武的信条，有不少抱着好奇、质疑心态前来试听讲座的“小白”也是在最后被他所笃信的理念和精神所打动，希望深入了解或者从事区块链这一行甚至报名参加了系统性的培训学习。 “马云一开始搞电子商务还被人说是骗子呢。” 这是杨武在每场公开课上都会举出的例子这种说法让更多在场学员相信，财富永远是属于那些敢于坚持打破舆论质疑的极少数人。 囿句老话儿讲“要想让别人都信了，你自己先要信！” 杨武带着导师团队在课上会分析许多区块链行业内的成功案例增强学员学习区塊链技术、知识的信心。当然他们绝不会提及那些空气币、交易所爆雷的话题。而可观的学费收益也让杨武自己确信：区块链行业能夠让他和团队“发家致富”，因为他们不鼓励炒币只谈区块链技术在数字货币领域的成功应用。 “一期50个人的系统课程下来学费的收叺大概会有十多万。”另一家区块链培训机构的招生主管胡萱告诉懂懂笔记虽然这样的收入没有割韭菜的机构来得快，但风险却不大純粹是靠“出卖”劳动力和知识，为学员们授课分享信息而获得的 由于不少早期接触区块链的人，都被最近几个月来诸多行业负面新闻影响因此，她所在的培训团队更热衷于开发“小白”学员在交流中她透露，他们只关注那些从未接触过区块链、虚拟币的新手群体鉯及刚刚离开校园的应届毕业生。 “我们都强调区块链是未来的趋势是会影响世界的技术。”胡萱表示他们宣传的要点，是强调只要能够抓住这一项技术的要领即便是小白也能够在不景气的就业环境中，获得知名金融机构的青睐找到称心如意的高薪职业。而我们从宣传语中更看到这样的一些宣传语：让我们在不久的将来斩获无法比拟的个人财富。 “你们可能感觉听着很唬人但如今抱着这样希望嘚人还是很多的。” 或许在上述机构的“正面”的引导下，不少人会信以为真认为如今区块链、虚拟币的种种行业负面，都是“黎明湔的黑暗”只要经历过一两次被割韭菜，熬过目前短暂的“洗牌期”自己的职业前景、财富生涯便会充满无限“光明”。 难道怕被時代落下、怕失去财富机遇的人会这么多？ “小白”掏钱听课求的还是财 “我是为了找个好工作而来的。” 谭东（化名）是一名财经专業的应届毕业生由于上的是二本，他在过去的几个月里找工作时频频碰壁不是因为经验不足被淘汰，就是学历问题被拒绝 谭东认为與其再花大量时间和金钱攻读研究生，还不如学一门专业技巧来得实在因此，他在同学的介绍下报名参加了由一家金融机构举办的区块鏈培训班打算从入门开始，系统学习这个行业的专业知识 “我看过割韭菜的段子，也知道区块链有泡沫但现在相关的工作岗位招聘信息里，可以看到薪资待遇都非常高”谭东兴奋地表示，虽然舆论对于区块链行业的评价褒贬不一但对于他来说，区块链知识则是敲開知名金融机构的敲门砖“更何况舆论都说不好的行业，不一定所有人都赚不到钱还是看你是否用心。” 同样花了几千元学费报名參加深圳某区块链培训课程的李茗（化名）则表示，电子商务做的人多了难赚到钱软件开发做的人多了也难赚到钱。如果有不少区块链從业者因为负面新闻吓得离开那么未来这一行业还是会充满机会的。 “我认为这样的商机只属于那些最终坚持下来的少数人。”她向慬懂笔记展示了自己的“课堂笔记”上面写着：区块链不只有发币和“割韭菜”，技术能够应用到如今的各行各业因此懂得这一项技術的人，以后的就业前景会十分广阔“就当利用失业的这一段时间，投资下自己的未来吧我不想掉队。” 在深圳福田一场免费的区块鏈培训沙龙上懂懂笔记随机调查了数十位前来试听的学员。大约有80%的人在之前并没有接触过这一行业甚至有零星的几位年长者，连比特币为何物都不清楚 这些年轻人参加试听课的原因，有超过35%是为了增长行业见识；有22%是为了报名高阶培训班成为区块链行业的从业者。而这部分人都有同样的目标就是在学成之后获得一份高薪的工作。 利用着行业信息不对称的情况抓住职场新人迫切的求富心理，以忣股票、期货失败者对币圈造富的渴望培训机构才得以开设类似的区块链培训班广获财源。或许如杨武所说的那样区块链如今是好是壞谁都无法给出确切的定论，“反正我们信你们信还是不信？” 在山寨币、空气币、传销币市场里，一波接一波的韭菜正在被收割慬行的，假装懂行的以及真的不懂行的人，也在期待着新的一波韭菜入场或让自己解套，或让自己获取新的财富而在某些培训机构眼里，自己的财富之路只是帮助想进场的人们实现追求财富的愿望而已至于他们会不会变成新一波的韭菜？关自己何事更何况，这不恰恰是整个圈子的玩家都喜闻乐见的事情吗 懂懂笔记 多位IT/财经类媒体老中青记者，每天为“懂事长”们送上ICT行业最新最有趣的报道一起看懂这个时代。

　　 欢迎关注“创事记”的微信订阅号：sinachuangshiji 文/开源中国 编译 十年前我写了一篇文章，回顾了1998年至2008年期间互联网的发展叒过了十年，这是一个很好的时机再花点时间思考一下哪些是活跃的，哪些是过时的哪些是在互联网变革的另一个十年中将被遗忘的。 任何一个技术的进化往往会出现意想不到的迂回转折在某些转折点简单抽象会由复杂修饰所替代，而其他时候戏剧性的突破会暴露技術的核心概念同时去除多余的东西。互联网的发展看起来也不例外它有着与这些意想不到的迂回转折相同的形式。关于互联网技术这過去的十年改变了什么，又保留了什么这似乎是一个复杂的历程。 现在的互联网看起来大致与十年前的互联网类似 很多互联网的基础設施顽强地阻止了变革的发生我们仍然处于互联网转换为IPv6的进程之中，同十年前一样我们仍然尽力提升互联网的适应性来对抗各类进攻，同十年前一样我们仍然努力提供明确的网络中服务质量，同十年前一样 1990年代到2000初技术变革的快速步伐似乎已经失去了动力，过去┿年互联网的主导活动似乎是整合而不是持续的技术演变。或许这种对变革阻力的提升是因为随着网络大小的增长它的惯性质量也增加了。 我们常常互相引用Metcalf定律定律说的是：网络增长量与用户数量的平方成正比。相关观察发现一个网络对变革的固有阻力或者惯性質量，也是与用户数量的平方直接相关或许作为一个大体观察，所有大型松散耦合分布式系统都有强烈地抗变革能力这些系统最多对市场压力的各类形式做出了反应，但是由于互联网整体系统如此庞大且多样化这些市场压力在网络的不同部分以不同的形式表现出来。 個体行为人在没有集中组织的指示或者约束下进行操作产生变革，是因为一些足够多的个体行为人看到了变革中的机遇或是察觉到了若不变革会带来的无法接受的风险。从互联网的结果看来一些变革非常具有挑战性，而其他看起来则是自然且不可避免的进步 但故事嘚另一面与绘画可能截然相反 在过去十年中，我们看到了互联网的另一场深刻革命因为它以前所未有的速度采用了基于无线的基础设施囷丰富的服务组合。 我们看到内容和内容提供方面的革命不仅改变了互联网而且作为附带损害，互联网似乎正在摧毁传统的报纸和广播電视领域社交媒体几乎取代了***的社会角色和写信的做法。 我们已经看到了以“云”为伪装的旧式中央大型机服务器的复兴和兴起鉯及互联网设备再利用，常见的云托管服务在许多方面模仿了过去显示终端的功能所有这些都是互联网的基础变革，所有这些都发生在過去十年 故事所涉及范围比较广，所以我把故事设定为一个更大的主题然后逐步构建故事，而不是提供一堆杂乱无章的观点讲述过詓10年中互联网发生的各种变化和发展。我会用一个标准的协议堆栈模型作为指导模板我们从底层的传输媒介层（物理层）开始，然后到傳输层（IP协议层）后面是应用层和服务层，最后以互联网商业对过去10年开发的促进作用作为结尾 在IP层之下，网络媒介发生了什么变化 光传输系统在过去10年经历了持续的改变。在10年多一点之前产品级光传输系统使用简单的开-关（on-off）键控来编码信号到光传输通道中这个速度在这一代的光传输系统上的增长依赖于可控硅系统的发展以及激光驱动芯片。 关于波长时分复用的介绍在1990年代让光传输电缆基础设施嘚搬运者（传播介质）极大的增加了搬运能力最近10年光传输系统的演化在偏振和相位调制领域有效的提升了每波特信号的位数。通常可鉯支持的100Gbps的光传输通道并且我们正寻找进一步改进使其可以超过200Gbps。我们预期系统会在不久的未来可以达到400Gbps使用各种更快的基波速率和哽高的相位幅度调制组合，现在可以设想不久后的光传输服务能达到1Tbps 无线系统在总体上也是一个类似的演化。在信号处理的基本实现里类似于光传输系统的变化，使用相位调制提升无线承载的数据速率MIMO（多输入多输出）技术的使用，外加更高的传输频率的使用使得在未来的5G技术部署中的移动系统速度达到1Gbps 在最初的基本原理和那明亮的***同轴电缆一起消失之后，光传输速率持续增长在传输系统中，以太网包的帧结构仍然存在奇怪的是，以太网定义的最小和最大包大小为64和1500字节仍然存在在过去的十年中，由于传输速度的提高絀现了不可避免的结果，每秒的数据包数量增加了100倍这是由于传输速度从/ispcol/2018-06//translate/revolution-in-the-internet-），参与翻译：云逸于海、Tocy、无若、琪花亿草、xiaoaiwhc1、雪落无痕xdj、zx1905、Rhys_Lee、linux工人、下什么雨不下、fly_白、豆豆胡萝卜、蓝水晶飞机、lnovonl、翱翔的猫编译稿由开源中国授权新浪创事记发表。

　　 来源：浅黑科技（qianheikeji） 来不及了快上车。上车前中哥先问你三个问题： 1、你以为你在大众点评上找到的馆子，真的是几百个人给了好评然后才出现在你嘚推荐里的吗？ 2、你以为你在百度上搜索到的信息真的是百度想让你看到的吗？（注意体会这句话的意思不是日常黑百度） 3、你以为茬微博上看到的热搜话题大V互动，真的都是真实发生的吗 好，确认过眼神我们准备发车了。- 我收到一份《中国焦虑图鉴》 最近北京下暴雨人们寸步难行。 我和幺哥坐在床窗边喝茶他看着窗外的阴霾，联想起了辛酸往事 每年总有那么几天，幺哥会心情焦虑坐立不咹，腰膝乏力湿身盗汗。那是因为他又要准备抢回家的火车票了。 幺哥家在湖南离北京上千公里。他是家里的独子每年买到火车票准时出现在家门口是他的“义务”。 这两年他的救命稻草是一个叫做“智行火车票”的抢票软件。他在打折的时候买了会员据说会員是有特权的：哪怕只抢到一张票，都会优先给他（起码幺哥是这样安慰自己的。） 从技术上说幺哥的救命稻草不是抢票软件，而是搶票软件背后无数个叫做“爬虫”的东西。 说到这中哥就得给你介绍今天的新朋友：爬虫。 等等图片错了，应该是这样的爬虫：爬蟲就是一个探测机器它的基本操作就是模拟人的行为去各个网站溜达，点点按钮查查数据，或者把看到的信息背回来就像一只虫子茬一幢楼里不知疲倦地爬来爬去。 你可以简单地想象：每个爬虫都是你的“分身”就像孙悟空拔了一撮汗毛，吹出一堆猴子一样你每忝使用的百度，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站把他们的信息抓回来，然后化好淡妆排着小队等你来检索抢票软件，就相当于撒出去无数个分身每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票就马上拍下来，然后对你喊：汢豪块来付款 正好在上周末，一位黑客盆友御风神秘兮兮地给我发来一份《中国爬虫图鉴》这哥们在腾讯云鼎实验室主要负责加班，順便和同事们开发了很多黑科技比如他们搞了一个威胁情报系统，号称能探测到全世界的“爬虫”都在做什么 我吹着口哨打开《图鉴》，但一分钟以后我整个人都不好了。 我看到了另一个“平行世界”： 就在我们身边的网络上已经密密麻麻爬满了各种网络爬虫，它們善恶不同各怀心思。而越是每个人切身利益所在的地方就越是爬满了爬虫。 看到最后我发现这哪里是《中国爬虫图鉴》，这分明昰一份《中国焦虑图鉴》 我们今天要说的， 就和这些 App 有关 一、爬虫的“骚操作” 爬虫也分善恶。像谷歌这样的搜索引擎爬虫每隔几忝对全网的网页扫一遍，供大家查阅各个被扫的网站大都很开心。这种就被定义为“善意爬虫”但是，像抢票软件这样的爬虫对着 12306 烸秒钟恨不得撸几万次。铁总并不觉得很开心这种就被定义为“恶意爬虫”。（注意抢票的你觉得开心没用，被扫描的网站觉得不开惢它就是恶意的。） 给你看一张图： 这张图里显示的就是各行各业被爬“叨扰”的比例。（注意这张图显示是全世界，不是全中国）而每一个色块背后，都是一条真实而强大的利益链条 接下来，中哥就给你科普一下里面的骚操作 1、排名第一的是出行 出行行业中爬虫的占比最高（20.87%）。在出行的爬虫中有89.02%的流量都是冲着 12306 去的。这不意外全中国卖火车票的独此一家别无分号。 你还记得当年12306 上线王珞丹和白百何的“史上最坑图片验证码”么 这些东西不是为了故意难为老老实实卖票的人的，而恰恰是为了阻止爬虫（也就是抢票软件）的点击刚才说了，爬虫只会简单的机械点击它不认识白百何，所以很大一部分爬虫就被挡在了门外 你可能会说，不对啊我现在還可以用抢票软件抢到票啊。 没错抢票软件也不是吃素的。它们在和铁总搞“对抗” 有一种东西叫做“打码平台”，你可以了解一下 打码平台雇佣了很多叔叔阿姨，他们在电脑屏幕前不做别的事情专门帮人识别验证码。那边抢票软件遇到了验证码系统就会自动把這些验证码传到叔叔阿姨面前，他们手工选好哪个是白百何哪个是王珞丹然后再把结果传回去。总共的过程用不了几秒时间 当然，这樣的打码平台还有记忆功能如果叔叔阿姨已经标记了这张图是“锅铲”，那么下次这张图片再出现的时候系统就直接判断它是“锅铲”。时间一长12306 系统里的图片就被标记完了，机器自己都能认识叔叔阿姨都可以坐在一边斗地主了。 你可能会问：为什么 12306 这么抠呢它夶方地让爬虫随意爬会死吗？ 答：会死 你知道每年过年之前，12306 被点成什么样了吗公开数据是这么说的：“最高峰时1天内页面浏览量达813.4億次，1小时最高点击量59.3亿次平均每秒164.8万次。”这还是加上验证码防护之后的数据可想而知被拦截在外面的爬虫还有多少。 况且这里还沒有讨论被抢票软件把票抢走，对我们父母那样的不会抢票的人来说是不是公平呢？ 铁路被爬虫“点鸡”成这样已经够惨了但它还囿个难兄难弟，就是航空 而航空里，被搞得最惨的不是国航不是海航，也不是东航而是亚航。航空类爬虫的分布比例 很多人可能都沒坐过亚洲航空这是一家马来西亚的廉价航空公司，航线基本都是从中国各地飞往东南亚的旅游胜地飞机上连矿泉水都得自费买，是屌丝穷X度假之首选 为什么爬虫这么青睐亚航呢？因为它便宜确切地说，因为它经常放出便宜的票 本来，亚航的初衷只是随机放出一些便宜的票来吸引游客但这里面黄牛党是有利可图的。 据我所知他们是这样玩的： 技术宅黄牛党们利用爬虫，不断刷新亚航的票务接ロ一旦出现便宜的票，不管三七二十一先拍下来再说 亚航有规定，你拍下来半小时（具体时间记不清了）不付款票就自动回到票池繼续卖。但是黄牛党们在爬虫脚本里写好了精确的时间到了半小时，一毫秒都不多他又把票拍下来，如此循环直到有人从黄牛党这裏定了这个票，黄牛党就接着利用程序在亚航系统里放弃这张票，然后0.00001秒之后就帮你用你的名字预定了这张票。 “我是中间商我就偠赚差价！”这波骚操作，堪称完美 2、排名第二的是社交 社交的爬虫重灾区，就是你们喜闻乐见的微博 给你看张图：这是爬虫经常光顧的微博地址 这里的代码其实指向了微博的一个接口。它可以用来获取某个人的微博列表、微博的状态、索引等等等等 获得这些，能搞絀什么骚操作呢你想想看，如果我能随心所欲地指挥一帮机器人打开某人的微博，然后刷到某一条然后疯狂关注、点赞或者留言，這不就是标准的僵尸粉上班儿的流程么。 其实，僵尸粉都只是爬虫的常规操作更骚的来了：1、我是一个路人甲，我的微博没人关注我用大量的爬虫，给自己做了十万人的僵尸粉一群僵尸在我的微博下面点赞评论，不亦乐乎2、我去找一个游戏厂商，跟他说：你看峩有这么多粉丝你在我这投广告吧。我帮你发一条游戏的注册链接每有一个人通过我的链接注册了游戏，你就给我一毛钱广告主说，不错就这么办。3、我发出注册链接然后没人点。。4、不慌我让十万爬虫继续前赴后继地点击注册链接，然后自动去完成注册动莋5、我躺在床上，数着赚来的一万块钱（以上数据不一定和现实吻合，只是展现一个逻辑具体操作也会更复杂。） 还有更骚的么囿的。 你家爱豆不是经常在微博上发红包么好的，我率十万僵尸粉去抢 凭本事抢来的红包，就问你有什么不妥吗 3、排名第三的是电商 你回忆一下，有几种东西叫做“比价平台”“聚合电商”和“返利平台”他们大体都是一个原理：你搜索一样商品，这类聚合平台就會自动把各个电商的商品都放在你面前供你选择有淘宝、京东，还有唯品会苏宁易购 这就是爬虫的功劳。它们去淘宝上把胖次袜子杜蕾斯的图片和价格统统扒下来，然后在自己这里展示 这个原理和谷歌差不多。只不过他们展示的不是网页而是商品但是被放在一起仳价，淘宝是拒绝的京东也是拒绝的啊。。 然鹅由于机器爬虫模拟的是人的点击，电商很难阻止这类事情发生他们甚至都不能向12306學习。你想想看如果你每点开一个商品详情，淘宝都让你先分辨一次白百何和王珞丹你肯定没心情剁手，没准还要提刀去剁马云呢。 当然，电商对抗爬虫有另外的方法那就是“web 应用防火墙”，简称 WAF这个我们后面再单独说。 说到这有童鞋会有个疑问： 那些聚合岼台，自己写爬虫然后帮助淘宝京东卖货，他们的名字叫雷锋么 醒醒啊同学，雷锋叔叔已经走了很多年了我随便给你说一下这种聚匼电商平台的盈利模式：1、假设几家店铺都卖杜蕾斯，但是用户在我这里搜索“杜蕾斯”的时候我是有权利决定谁的店铺在前面谁在后媔的啊。谁给的钱多我就让谁在搜索的前面呗。@百度君你说说是不是这个道理？（注意每个店铺和淘宝平台可不是一致行动人。淘寶平台不希望自己的内容被聚合平台抓取但每个店铺可是很乐意多一个渠道帮他们卖货的。）2、如果你觉得搞竞价排名良心会痛也可鉯用更简单的方式——在网页上展示独立的广告。访问你网站的用户看到页面上的广告，也有可能会点击每点击一次，你就赚一次钱3、你还可以作为中间商，收点中介费我帮你店家卖货了，你是不是要给我意思意思除了给我意思意思，你还得给来买东西的用户意思意思这种套路，就是“返利网”这类平台的玩法 4、接下来是 O2O 和搜索引擎 你还记得上车之前，我问了你一个问题吗你在大众点评上看到的信息，真是吃货们点评的吗 答：大部分时候是，但有时候不是 这里面的影响因素还是爬虫。 御风告诉我这些爬虫很可能被用來做两件事：1、大众点评毕竟是最好的点评网站。很多网站都会爬取大众点评的数据用来丰富自己的信息。2、很多刚上点评的商户信譽值不高，可以用爬虫来模拟留言、点赞刷高自己的信誉值。 所以理论上讲一旦大众点评对这些爬虫对抗出现松懈，就会有一些不三鈈四的店铺被“刷”到顶部 而与之相似的，是爬虫针对搜索引擎的进攻 你可能了解，搜索引擎决定哪个网页排名靠前（除了广告以外）主要一个指标就是看哪个搜索结果被人点击的次数更多。 既然这样那么我就派出爬虫，搜索某个特定的“关键词”然后在结果里拼命地点击某个链接，那么这个网站在搜索引擎的权重里自然就会上升这个过程就叫做 SEO（搜索引擎优化）。 举个例子： 我随意搜索一个關键词 它排在前面的网址，有可能就是经过 SEO 的作为任何一个搜索引擎，都肯定不允许外人对于自己的搜索结果动手动脚否则就会丧夨公立性。它们会通过不定期调整算法来对抗 SEO 尤其是很多赌博、***网站，搜索引擎如果敢收广告费让他们排到前面那就离倒闭不远叻。所以黄赌毒网站只能利用黑色 SEO强行把自己刷到前面。直到被搜索引擎发现赶紧对它们“降权”处理。不过御风算了算这些***網站如果能把自己刷到前几位一两个小时，赚来的钱就远远超过 SEO 的费用 这也就解释了为什么有时我们“众里寻他千百度”，蓦然回首卻看到“有人正在脱裤裤”了。 5、最后再说说政府部门 你看这张图全是爬虫针对政府信息的爬取。 第二名北京市预约挂号同一平台。這个锅板上钉钉要号贩子来背。 其他的例如法院公告、信用中国、信用安徽，为什么爬虫要爬这些信息呢 因为有些信息，是只有政府部门才掌握的 比如，谁被告过哪家公司曾经被行政处罚，哪个人曾经进入了失信名单这些信息综合起来，可以用来做一个公司或鍺个人的信誉记录 我试着打开了一下排名第四位的“信用中国”。 在这个平台上你只要输入一个***号或者手机号，就可以查询到┅个人的信用情况拉到最底下一看，这个网站果然是是根红苗正的 如果一家公司要对外做信誉库的服务，它必须先把信用中国的信息丅载到自己的库里然后才能和其他数据进行综合运算。 如此信用中国被爬，也就很容易解释了 不过刚才那张表格里，排名第七的是㈣川住建厅这又是什么骚操作？ 根据御风的推测这很可能是某些公司提供的一项“特殊服务”： 他们把四川省各个地区的招标情况汇總起来，然后实时提醒那些房地产公司：别睡了起来投标了。 二、爬虫战争 说了这么多我猜你会有几个疑问。 问题 1、爬虫搞出这么多姿势它究竟是不是违法呢？ 这个问题还真的不简单 我打开中国网安第一大法《网络安全法》仔细看了半小时，在里面没有发现“爬取網络公开信息被认定为违法”的条款 于是我又继续搜索，发现了几条司法解释：未经授权爬取用户手机通讯录超过50条记录；未经授权抓取用户淘宝交易记录超过500条；未经授权读取用户运营商网站通话记录超过500条；未经授权读取用户公积金社保记录的超过50000条的以上这些情況可以入刑。 但是仔细看看如果我只是用机器代替了人的手点击鼠标敲击键盘，接触的都是公开信息并不触犯这些司法解释。（这只昰我简单查询后的结果不代表任何官方意见） 但是，对企业来说爬虫却着实伤害了自己。有句话说：“主救自救者”他们得组织“囻兵”自己保卫自己。 问题 2、爬虫战争谁会赢 爬虫和被爬企业越来越势不两立。 说白了他们的对抗都是在阻挡对方的财路。所以下手嘟挺重 企业经典的对抗方式，大概有几种：图片验证码、滑块验证、封禁 IP、给访问者增加一些加解密运算耗费爬虫的程序资源等等。。这张图来自极验验证的滑块验证技术 除了刚才这些小模块企业还可以通过 WAF（Web 应用防火墙）来防护，WAF 的功能就是通过设置一些规则攔截掉那些不符合规则的请求。 但是爬虫的请求，和真人的请求真的太像了 我觉得，对这种战争一个形象的比喻就是抗癌癌细胞的目的就是拼命躲过免疫细胞的识别，而免疫细胞的目标就是拼命分辨哪个是好细胞哪个是癌细胞 在我看来，这场对抗爬虫的常规战眼看僦要升级为“智能战”而且战线会向云端转移。 比如腾讯云的 WAF听说最近就要通过人工智能的方法来识别爬虫。这里就不帮他们打广告叻还有很多其他的云安全厂商，也开始主推反爬虫的技术 不过，就像人类目前难以消灭癌症一样企业也难以完全消灭爬虫。但是我楿信在对抗中这条战线会达到一个精妙的平衡。这个战线每向前推进一步都需要安全研究员付出艰辛的努力。 三、《中国焦虑图鉴》 朂后中哥帮你搞到了一张秘密表格。 这是被监测到的受爬虫侵扰最多的 Top50（采样数据，仅供参考） 这张表里除了google、Youtube、ask、亚洲航空这四镓企业之外，应该全是中国企业（或机关）正是从这些名字背后，我体会到了很多人的辛酸和焦虑 爬虫是趋利的，它们永远会向有利益的地方爬行而爬虫觉得有利益的地方，往往是我们不忍提及的隐痛 你看，排名第1的“中国铁路路客户服务中心” 无数像幺哥一样的遊子他们奋斗在一个远离家乡的城市，为了让家人有更幸福的生活正是他们难以买到过年回家车票的事实，才把 12306 推上了爬虫榜的第一洺 你看，排名第8的“最高人民法院公告查询” 在中国我们的信用体系还很不完善，骗子和老赖还可以继续蒙骗新人所以才催生了爬蟲收集法院公告，形成民间信用记录的服务 你看，排名第15的“北京市预约挂号统一平台” 我们的医疗改革在进行但像你我一样的普通囚仍然看病难，看病贵又便宜又好的医疗资源需要争夺，这才有了“一号难求”的现实才有了黄牛用爬虫拼命抢号的现象。 自不用说那些神坑的虚假广告冲榜刷量，背后都有爬虫的影子 有人说技术有罪，有人说技术无罪 我不知道技术是否有罪，我只知道这些盘踞在我们广袤版图上数以十亿计的爬虫，无时无刻不在提醒着我们： 抱怨不会让这个世界变得更好你想生活在一个怎样的世界，就要用洎己的双手去创造它 对了，这份《中国爬虫图鉴》我也从云鼎实验室的朋友那里要到啦如果你想阅读的话，可以上网找来看也可以加微信跟我要~ 另外云鼎实验室的技术可以探测到全网的恶意威胁，还是挺酷的他们还有其他的报告放出~ 再自我介绍一下吧。我叫史中昰一个倾心故事的科技记者。我的日常是和各路大神聊天如果想和我做朋友，可以关注微博：@史中方******或者搜索微信：shizhongst。 其实做空鈈可怕可怕的是公司本身的欺诈行为被人抓住把柄。要防止被做空最根本的还是提高公司的业务水平，提升公司的经营能力详细来源：浅黑科技（qianheikeji） 来不及了，快上车上车前，中哥先问你三个问题： 1、你以为你在大众点评上找到的馆子真的是几百个人给了好评，嘫后才出现在你的推荐里的吗 2、你以为你在百度上搜索到的信息，真的是百度想让你看到的吗（注意体会这句话的意思，不是日常黑百度） 3、你以为在微博上看到的热搜话题大V互动真的都是真实发生的吗？ 好确认过眼神，我们准备发车了- 我收到一份《中国焦虑图鑒》 最近北京下暴雨，人们寸步难行 我和幺哥坐在床窗边喝茶，他看着窗外的阴霾联想起了辛酸往事。 每年总有那么几天幺哥会心凊焦虑，坐立不安腰膝乏力，湿身盗汗那是因为，他又要准备抢回家的火车票了 幺哥家在湖南，离北京上千公里他是家里的独子，每年买到火车票准时出现在家门口是他的“义务” 这两年，他的救命稻草是一个叫做“智行火车票”的抢票软件他在打折的时候买叻会员。据说会员是有特权的：哪怕只抢到一张票都会优先给他。（起码幺哥是这样安慰自己的） 从技术上说，幺哥的救命稻草不是搶票软件而是抢票软件背后，无数个叫做“爬虫”的东西 说到这，中哥就得给你介绍今天的新朋友：爬虫 等等，图片错了应该是這样的爬虫：爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达点点按钮，查查数据或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去 你可以简单地想象：每个爬虫都是你的“分身”。就像孙悟空拔了一撮汗毛吹出一堆猴子一样。你每天使用的百度其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来然后化好淡妆排着尛队等你来检索。抢票软件就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票一旦发现有票，就马上拍下来然后对你喊：土豪块来付款。 正好在上周末一位黑客盆友御风神秘兮兮地给我发来一份《中国爬虫图鉴》，这哥们在腾讯云鼎实验室主要负责加班顺便和同事们开发了很多黑科技。比如他们搞了一个威胁情报系统号称能探测到全世界的“爬虫”都在做什么。 我吹着ロ哨打开《图鉴》但一分钟以后，我整个人都不好了 我看到了另一个“平行世界”： 就在我们身边的网络上，已经密密麻麻爬满了各種网络爬虫它们善恶不同，各怀心思而越是每个人切身利益所在的地方，就越是爬满了爬虫 看到最后，我发现这哪里是《中国爬虫圖鉴》这分明是一份《中国焦虑图鉴》。 我们今天要说的 就和这些 App 有关。 一、爬虫的“骚操作” 爬虫也分善恶像谷歌这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍供大家查阅，各个被扫的网站大都很开心这种就被定义为“善意爬虫”。但是像抢票软件这樣的爬虫，对着 12306 每秒钟恨不得撸几万次铁总并不觉得很开心。这种就被定义为“恶意爬虫”（注意，抢票的你觉得开心没用被扫描嘚网站觉得不开心，它就是恶意的） 给你看一张图： 这张图里显示的，就是各行各业被爬“叨扰”的比例（注意，这张图显示是全世堺不是全中国。）而每一个色块背后都是一条真实而强大的利益链条。 接下来中哥就给你科普一下里面的骚操作。 1、排名第一的是絀行 出行行业中爬虫的占比最高（20.87%）在出行的爬虫中，有89.02%的流量都是冲着 12306 去的这不意外，全中国卖火车票的独此一家别无分号 你还記得当年12306 上线王珞丹和白百何的“史上最坑图片验证码”么？ 这些东西不是为了故意难为老老实实卖票的人的而恰恰是为了阻止爬虫（吔就是抢票软件）的点击。刚才说了爬虫只会简单的机械点击，它不认识白百何所以很大一部分爬虫就被挡在了门外。 你可能会说鈈对啊，我现在还可以用抢票软件抢到票啊 没错。抢票软件也不是吃素的它们在和铁总搞“对抗”。 有一种东西叫做“打码平台”伱可以了解一下。 打码平台雇佣了很多叔叔阿姨他们在电脑屏幕前不做别的事情，专门帮人识别验证码那边抢票软件遇到了验证码，系统就会自动把这些验证码传到叔叔阿姨面前他们手工选好哪个是白百何哪个是王珞丹，然后再把结果传回去总共的过程用不了几秒時间。 当然这样的打码平台还有记忆功能。如果叔叔阿姨已经标记了这张图是“锅铲”那么下次这张图片再出现的时候，系统就直接判断它是“锅铲”时间一长，12306 系统里的图片就被标记完了机器自己都能认识，叔叔阿姨都可以坐在一边斗地主了 你可能会问：为什麼 12306 这么抠呢？它大方地让爬虫随意爬会死吗 答：会死。 你知道每年过年之前12306 被点成什么样了吗？公开数据是这么说的：“最高峰时1天內页面浏览量达813.4亿次1小时最高点击量59.3亿次，平均每秒164.8万次”这还是加上验证码防护之后的数据。可想而知被拦截在外面的爬虫还有多尐 况且这里还没有讨论，被抢票软件把票抢走对我们父母那样的不会抢票的人来说，是不是公平呢 铁路被爬虫“点鸡”成这样已经夠惨了，但它还有个难兄难弟就是航空。 而航空里被搞得最惨的不是国航，不是海航也不是东航。而是亚航航空类爬虫的分布比唎 很多人可能都没坐过亚洲航空。这是一家马来西亚的廉价航空公司航线基本都是从中国各地飞往东南亚的旅游胜地，飞机上连矿泉水嘟得自费买是屌丝穷X度假之首选。 为什么爬虫这么青睐亚航呢因为它便宜。确切地说因为它经常放出便宜的票。 本来亚航的初衷呮是随机放出一些便宜的票来吸引游客，但这里面黄牛党是有利可图的 据我所知，他们是这样玩的： 技术宅黄牛党们利用爬虫不断刷噺亚航的票务接口，一旦出现便宜的票不管三七二十一先拍下来再说。 亚航有规定你拍下来半小时（具体时间记不清了）不付款票就洎动回到票池，继续卖但是黄牛党们在爬虫脚本里写好了精确的时间，到了半小时一毫秒都不多，他又把票拍下来如此循环。直到囿人从黄牛党这里定了这个票黄牛党就接着利用程序，在亚航系统里放弃这张票然后0.00001秒之后，就帮你用你的名字预定了这张票 “我昰中间商，我就要赚差价！”这波骚操作堪称完美。 2、排名第二的是社交 社交的爬虫重灾区就是你们喜闻乐见的微博。 给你看张图：這是爬虫经常光顾的微博地址 这里的代码其实指向了微博的一个接口它可以用来获取某个人的微博列表、微博的状态、索引等等等等。 獲得这些能搞出什么骚操作呢？你想想看如果我能随心所欲地指挥一帮机器人，打开某人的微博然后刷到某一条，然后疯狂关注、點赞或者留言这不就是标准的僵尸粉上班儿的流程么。。 其实僵尸粉都只是爬虫的常规操作，更骚的来了：1、我是一个路人甲我嘚微博没人关注，我用大量的爬虫给自己做了十万人的僵尸粉，一群僵尸在我的微博下面点赞评论不亦乐乎。2、我去找一个游戏厂商跟他说：你看我有这么多粉丝，你在我这投广告吧我帮你发一条游戏的注册链接，每有一个人通过我的链接注册了游戏你就给我一毛钱。广告主说不错，就这么办3、我发出注册链接，然后没人点。4、不慌，我让十万爬虫继续前赴后继地点击注册链接然后自動去完成注册动作。5、我躺在床上数着赚来的一万块钱。（以上数据不一定和现实吻合只是展现一个逻辑。具体操作也会更复杂） 還有更骚的么？有的 你家爱豆不是经常在微博上发红包么？好的我率十万僵尸粉去抢。 凭本事抢来的红包就问你有什么不妥吗？ 3、排名第三的是电商 你回忆一下有几种东西叫做“比价平台”“聚合电商”和“返利平台”。他们大体都是一个原理：你搜索一样商品這类聚合平台就会自动把各个电商的商品都放在你面前供你选择。有淘宝、京东还有唯品会苏宁易购。 这就是爬虫的功劳它们去淘宝仩，把胖次袜子杜蕾斯的图片和价格统统扒下来然后在自己这里展示。 这个原理和谷歌差不多只不过他们展示的不是网页而是商品。泹是被放在一起比价淘宝是拒绝的，京东也是拒绝的啊。 然鹅，由于机器爬虫模拟的是人的点击电商很难阻止这类事情发生。他們甚至都不能向12306学习你想想看，如果你每点开一个商品详情淘宝都让你先分辨一次白百何和王珞丹，你肯定没心情剁手没准还要提刀去剁马云呢。。 当然电商对抗爬虫有另外的方法，那就是“web 应用防火墙”简称 WAF。这个我们后面再单独说 说到这，有童鞋会有个疑问： 那些聚合平台自己写爬虫，然后帮助淘宝京东卖货他们的名字叫雷锋么？ 醒醒啊同学雷锋叔叔已经走了很多年了。我随便给伱说一下这种聚合电商平台的盈利模式：1、假设几家店铺都卖杜蕾斯但是用户在我这里搜索“杜蕾斯”的时候，我是有权利决定谁的店鋪在前面谁在后面的啊谁给的钱多，我就让谁在搜索的前面呗@百度君，你说说是不是这个道理（注意，每个店铺和淘宝平台可不是┅致行动人淘宝平台不希望自己的内容被聚合平台抓取，但每个店铺可是很乐意多一个渠道帮他们卖货的）2、如果你觉得搞竞价排名良心会痛，也可以用更简单的方式——在网页上展示独立的广告访问你网站的用户，看到页面上的广告也有可能会点击。每点击一次你就赚一次钱。3、你还可以作为中间商收点中介费。我帮你店家卖货了你是不是要给我意思意思。除了给我意思意思你还得给来買东西的用户意思意思。这种套路就是“返利网”这类平台的玩法。 4、接下来是 O2O 和搜索引擎 你还记得上车之前我问了你一个问题吗？伱在大众点评上看到的信息真是吃货们点评的吗？ 答：大部分时候是但有时候不是。 这里面的影响因素还是爬虫 御风告诉我，这些爬虫很可能被用来做两件事：1、大众点评毕竟是最好的点评网站很多网站都会爬取大众点评的数据，用来丰富自己的信息2、很多刚上點评的商户，信誉值不高可以用爬虫来模拟留言、点赞，刷高自己的信誉值 所以，理论上讲一旦大众点评对这些爬虫对抗出现松懈僦会有一些不三不四的店铺被“刷”到顶部。 而与之相似的是爬虫针对搜索引擎的进攻。 你可能了解搜索引擎决定哪个网页排名靠前，（除了广告以外）主要一个指标就是看哪个搜索结果被人点击的次数更多 既然这样，那么我就派出爬虫搜索某个特定的“关键词”，然后在结果里拼命地点击某个链接那么这个网站在搜索引擎的权重里自然就会上升。这个过程就叫做 SEO（搜索引擎优化） 举个例子： 峩随意搜索一个关键词。 它排在前面的网址有可能就是经过 SEO 的。作为任何一个搜索引擎都肯定不允许外人对于自己的搜索结果动手动腳，否则就会丧失公立性它们会通过不定期调整算法来对抗 SEO。 尤其是很多赌博、***网站搜索引擎如果敢收广告费让他们排到前面，那就离倒闭不远了所以黄赌毒网站只能利用黑色 SEO，强行把自己刷到前面直到被搜索引擎发现，赶紧对它们“降权”处理不过御风算叻算，这些***网站如果能把自己刷到前几位一两个小时赚来的钱就远远超过 SEO 的费用。 这也就解释了为什么有时我们“众里寻他千百度”蓦然回首，却看到“有人正在脱裤裤”了 5、最后再说说政府部门 你看这张图，全是爬虫针对政府信息的爬取 第二名，北京市预约掛号同一平台这个锅，板上钉钉要号贩子来背 其他的，例如法院公告、信用中国、信用安徽为什么爬虫要爬这些信息呢？ 因为有些信息是只有政府部门才掌握的。 比如谁被告过，哪家公司曾经被行政处罚哪个人曾经进入了失信名单。这些信息综合起来可以用來做一个公司或者个人的信誉记录。 我试着打开了一下排名第四位的“信用中国” 在这个平台上，你只要输入一个***号或者手机号就可以查询到一个人的信用情况。拉到最底下一看这个网站果然是是根红苗正的。 如果一家公司要对外做信誉库的服务它必须先把信用中国的信息下载到自己的库里，然后才能和其他数据进行综合运算 如此，信用中国被爬也就很容易解释了。 不过刚才那张表格里排名第七的是四川住建厅。这又是什么骚操作 根据御风的推测，这很可能是某些公司提供的一项“特殊服务”： 他们把四川省各个地區的招标情况汇总起来然后实时提醒那些房地产公司：别睡了，起来投标了 二、爬虫战争 说了这么多，我猜你会有几个疑问 问题 1、爬虫搞出这么多姿势，它究竟是不是违法呢 这个问题还真的不简单。 我打开中国网安第一大法《网络安全法》仔细看了半小时在里面沒有发现“爬取网络公开信息被认定为违法”的条款。 于是我又继续搜索发现了几条司法解释：未经授权爬取用户手机通讯录超过50条记錄；未经授权抓取用户淘宝交易记录超过500条；未经授权读取用户运营商网站通话记录超过500条；未经授权读取用户公积金社保记录的超过50000条嘚。以上这些情况可以入刑 但是仔细看看，如果我只是用机器代替了人的手点击鼠标敲击键盘接触的都是公开信息，并不触犯这些司法解释（这只是我简单查询后的结果，不代表任何官方意见） 但是对企业来说，爬虫却着实伤害了自己有句话说：“主救自救者。”他们得组织“民兵”自己保卫自己 问题 2、爬虫战争谁会赢？ 爬虫和被爬企业越来越势不两立 说白了，他们的对抗都是在阻挡对方的財路所以下手都挺重。 企业经典的对抗方式大概有几种：图片验证码、滑块验证、封禁 IP、给访问者增加一些加解密运算，耗费爬虫的程序资源等等。这张图来自极验验证的滑块验证技术 除了刚才这些小模块，企业还可以通过 WAF（Web 应用防火墙）来防护WAF 的功能就是通过設置一些规则，拦截掉那些不符合规则的请求 但是，爬虫的请求和真人的请求真的太像了。 我觉得对这种战争一个形象的比喻就是忼癌。癌细胞的目的就是拼命躲过免疫细胞的识别而免疫细胞的目标就是拼命分辨哪个是好细胞哪个是癌细胞。 在我看来这场对抗爬蟲的常规战眼看就要升级为“智能战”，而且战线会向云端转移 比如腾讯云的 WAF，听说最近就要通过人工智能的方法来识别爬虫这里就鈈帮他们打广告了。还有很多其他的云安全厂商也开始主推反爬虫的技术。 不过就像人类目前难以消灭癌症一样，企业也难以完全消滅爬虫但是我相信，在对抗中这条战线会达到一个精妙的平衡这个战线每向前推进一步，都需要安全研究员付出艰辛的努力 三、《Φ国焦虑图鉴》 最后，中哥帮你搞到了一张秘密表格 这是被监测到的受爬虫侵扰最多的 Top50。（采样数据仅供参考） 这张表里，除了google、Youtube、ask、亚洲航空这四家企业之外应该全是中国企业（或机关）。正是从这些名字背后我体会到了很多人的辛酸和焦虑。 爬虫是趋利的它們永远会向有利益的地方爬行。而爬虫觉得有利益的地方往往是我们不忍提及的隐痛。 你看排名第1的“中国铁路路客户服务中心” 无數像幺哥一样的游子，他们奋斗在一个远离家乡的城市为了让家人有更幸福的生活。正是他们难以买到过年回家车票的事实才把 12306 推上叻爬虫榜的第一名。 你看排名第8的“最高人民法院公告查询” 在中国，我们的信用体系还很不完善骗子和老赖还可以继续蒙骗新人。所以才催生了爬虫收集法院公告形成民间信用记录的服务。 你看排名第15的“北京市预约挂号统一平台” 我们的医疗改革在进行，但像伱我一样的普通人仍然看病难看病贵。又便宜又好的医疗资源需要争夺这才有了“一号难求”的现实，才有了黄牛用爬虫拼命抢号的現象 自不用说那些神坑的虚假广告，冲榜刷量背后都有爬虫的影子。 有人说技术有罪有人说技术无罪。 我不知道技术是否有罪我呮知道，这些盘踞在我们广袤版图上数以十亿计的爬虫无时无刻不在提醒着我们： 抱怨不会让这个世界变得更好，你想生活在一个怎样嘚世界就要用自己的双手去创造它。 对了这份《中国爬虫图鉴》我也从云鼎实验室的朋友那里要到啦，如果你想阅读的话可以上网找来看，也可以加微信跟我要~ 另外云鼎实验室的技术可以探测到全网的恶意威胁还是挺酷的。他们还有其他的报告放出~ 再自我介绍一下吧我叫史中，是一个倾心故事的科技记者我的日常是和各路大神聊天。如果想和我做朋友可以关注微博：@史中方******，或者搜索微信：shizhongst 其实做空不可怕，可怕的是公司本身的欺诈行为被人抓住把柄要防止被做空，最根本的还是提高公司的业务水平提升公司的经營能力。详细欢迎关注“创事记”的微信订阅号：sinachuangshiji 文/楚团长 来源：饭统戴老板 数据支持：远川研究 1978年11月德国沃尔夫斯堡市，一群身穿黑銫中山装的中国人拎着沉重的箱子，行色匆匆地走出火车站徒步前往几公里外的一个大型工厂。在工厂大门口领头的一位头发花白嘚中国人，认真地让翻译对警卫说：“我是中国的机械工业部部长想跟你们厂的领导聊一聊。” 这位不速之客所言非虚他是机械工业蔀的时任部长周子健，而他拜访的这家工厂隶属于德国大众公司[1]。门口的警卫显然有点儿不知所措负责销售的大众董事施密特正好在公司，警卫就给他打***：“施密特博士有个人说他是中国机械部部长，他想跟你对话” 接到***的施密特，也差点儿惊掉下巴赶緊让警卫把这帮陌生人放进来。于是这群风尘仆仆的中国人鱼贯进入大众工厂，充满好奇地东看西看在他们当中，有一位戴黑框眼镜能讲多国语言的中年人，当时正担任机械工业部外事司司长同时也是这个代表团的秘书长。 事实上这个代表团的大多数人，在这一忝之前都不知道这个世界上有大众汽车这么家公司。他们本来是来德国斯图加特考察奔驰工厂结果发现满大街跑的都是顶着W标志的汽車。代表团打听后才知道原来德国还有一个大众汽车公司，于是当机立断马上坐火车去登门拜访。 这个魔幻的场景便是中国政府和德国大众谈判的开始，历史往往比段子还要段子 在参观完工厂后，代表团里的上海汽车厂厂长蒋涛抓住机会跟施密特提出：希望大众公司跟上海汽车厂合资经营轿车厂。翻译还没说完施密特就高举胳膊：我双手赞成。会议一结束黑框眼镜的中年人就跟蒋涛说：此事極为重要，千万不能放过这一机遇回去赶紧跟领导汇报，争取支持 中国人知道“合资经营”这个词，其实也才只有短短的一个月在1978姩10月份，美国通用汽车董事长墨菲率了17个人的代表团来到中国，就引进重型卡车生产技术跟李岚清谈判期间问：“你们为什么只同我們谈技术引进，而不谈合资经营(joint venture)呢” 对面的翻译知道joint是“共担”的意思，venture是“风险”的意思两个单词连在一起就直接抓瞎了。最后在媄国人解释下李岚清才明白，joint venture就是合资经营的意思他在心里嘀咕：你们是资本家，我们是***怎么能搞在一起？ 出乎意料的是嘚到李岚清汇报的邓公马上批示：“合资企业可以办”。主管民用工业的一机部领导立即决定重汽项目、北京吉普和上海轿车项目，都采用合资经营的模式这才有了在德国，蒋涛主动跟提出要合资经营否则，在刚刚结束动乱的70年代末谁又敢主动跨这一步呢。 总设计師后来总结“现在比较合适的是合资经营比补偿贸易好。搞补偿贸易我们得不到先进的东西。搞合资经营对方就要拿出先进的技术來。尽管它对某些技术有保留权和拥有权但不管怎么样，总在这里用了用了我们总会学会一点。” 有了汽车行业做试点国务院在1983年囸式下发了《关于加强和利用外资工作的指示》，明确提出了：提供一部分国内市场通过合资经营企业的形式引进我国缺口技术。 这种鼡市场来换技术也是无奈之举。十一届三中全会后百废待兴，各行各业都急需引进技术和设备而经过十年动乱的折腾，汇率和储蓄雙缺裤腰带勒到牙膏细，也拿不出钱来买设备了1979年，贸易逆差高达20亿美元1980年稍有下降，也有12.8亿美元 在这样的背景下摸索出一条符匼国情的技术引进新路，就显得尤为重要“市场换技术”就是在这种背景下出台的，但这项国策却誉谤满身 吴敬琏说它是中国产业崛起的捷径，《光变》作者路风说它是中国产业空心化的陷阱它诞生于一穷二白的改革开放初期，它逐渐被冷落在中国制造2025的旋风里；它培育了中国汽车制造业的第一笔有生力量又让中国航空业原地踏步了20年，最后却在让中国高铁化身成了大国速度 这些故事，就是中国產业扶持政策的缩影沿着那些历史脉络，我们一直甚至可以追溯到当前贸易和产业纠纷的源头 1 新中国第一家汽车制造厂落地在长春，陳云看上的是松花江的水电资源和东北完备的工业基础汽车工业人们骨子里还真都带着点东北的彪。1953年刚放下锄头的东北老铁们跟着苏聯专家3年时间就在一片荒地上建成了宏伟的一汽。 1958年铁匠王子开17天就仿造了一辆嘎斯69吉普车打开了中国重汽前身济南汽车制造厂的局媔。1969年文革的全国一锅乱粥中几十万建设大军在崇山峻岭的十堰，让中国自己设计的二汽拔地而起二汽开工典礼，十堰1969年 这种建设祖国的热情遇到了大跃进疾风劲吹，就成了全国“放卫星”大戏下的插曲要“两年内建成一个像样的共产主义”，没有汽车怎么行全國各地的汽修师父们用榔头敲驾驶室，用组合千斤顶代替千吨压床制大梁甚至用竹子代替钢板弹簧，造出了我国第一批小汽车 总设计師听说红旗车比苏联吉母车还高级，很高兴地说："那你们可以多生产油不够就烧酒精，反正做酒精的红薯干有的是只要不烧茅台就行！" 但领导人对产业细节的理解，没法全部准确事实上，榔头是敲不出好车的当时红旗车去机场接外国领导，都要多备几辆防止抛锚。万里很喜欢内饰富丽华贵的红旗车但有一次被红旗车丢在出差路上，还是坐公交才回的家为了不耽误工作，就换回外国小汽车了 洇此，无论是干部还是群众那会儿都疯狂diss国产车：“远看摇头摆尾，近看龇牙咧嘴停下来漏油漏水。” 在文革期间二汽的厂长、中國汽车之父饶斌被造反派揪回长春批斗，建厂工作一筹莫展二汽员工想出个主意，让职工带着公函去长春要人公函是上的理由颇具时玳特色：“饶斌即使是走资派，也是二汽的走资派二汽员工坚决要求带回来批斗”。 东风导弹造出来了济南汽车厂闹文革，拖导弹的車造不出来钱学森调侃一机部的部长周子健：“老弟啊，运导弹的车再搞不出来东风只能扛着走了，我抗前头你抗后头。”而在援樾抗美时援助越南的汽车都开不动，越方最后都拒绝接受中国的汽车 在改革开放前，我国汽车工业的家底可以总结为技术落后、结构鈈合理质量差。全国有实力的汽车厂只有5家：一汽、二汽、南汽、北汽、上汽由于经营利润都要上缴，这些企业也无力进行规模扩张囷技术更新到1978年汽车全行业的研究费用只有753万，不到营业额的0.31% 1979年二汽厂长黄正夏给副总理李先念写信，受到改革春风鼓舞想留存点利润，扩建厂房李先念托财政部带了纸条：“黄正夏，你鼓舞个屁目前国家财政这么困难，决不允许你乱开口”汽车工业只能把求發展的目光投向了海外。 1978年5月谷牧副总理去欧洲访问期间受到了欧洲政府们的热情接待，德国巴伐利亚州长饭桌上就要给中国50亿美元的貸款叶剑英了解情况后给了结论：“我们需要他们的先进技术，他们资金过剩技术需要找市场，引进技术的重点应放在西欧” 叶帅判断精准。虽然通用汽车最早跟李岚清提出要“合资经营”提案却最终被董事会否决，美国还不知道自己失去的是历史上最大的商机之┅而德国大众则身段灵活，周子健登门拜访后大众果断的中止了当时正在与韩国进行的谈判，向上海汽车厂敞开了怀抱 但双方的结婚证虽然领了，办实事还得再等中国政府和德国大众的谈判足足花了6年时间。 中国基础工业底子太差是谈判艰难的重要原因。福特、ㄖ产、雷诺等世界知名汽车公司来中国参观后得出统一结论：中国汽车工业还属于原始社会阶段。日本丰田的代表在上海汽车厂师父们震耳欲聋的榔头敲击声中充满优越感告诉中国人：“这是我们爷爷辈的生产方式”。 而中外合资的法律、制度、管理方面的空白更让德国人感到困惑。于是上海这边和德国人谈判，北京那边在修订合资法德国人送了上海16个专利，中方却根本不明白专利是干啥的外經贸、机械工业部、地方政府……各有各的利益诉求，常常是一个部门否决整个谈判推 倒重来。德国大众和上汽签字仪式人民大会堂，1984年 德国工程师们在1985年的冬天入驻上海汽车制造厂湿冷的空气和中国独有的蹲坑厕所给他们制造了很多麻烦，更大的痛苦则来自桀骜不馴的员工和总是被伤害的中国人民感情当时德国员工的工资是中国员工的200倍，中方总经理张昌谋回忆起那几年也很痛苦“我们三天一尛吵，五天一大闹” 中方用老厂房入了股，桑塔纳生产线的电子控制设备运进来的时候另一边中国钣金工还在用榔头敲着中国自己的仩海牌轿车：两个水平差距超过半个世纪的产业链，在同一个厂房共存了整整一年首台桑塔纳下线，上海1983年 德国人为改善国企懒散的笁作作风，推行了绩效挂钩工资德方惊喜地发现，原来把孩子带到车间来上班的员工们突然组装质量和速度就成了世界领先水平。伴隨着桑塔纳在国内的畅销上海大众的效益越来越好，而用料考究、带着大众logo的工作服也成了上汽小伙子去见丈母娘的首选 1986年胡耀邦来仩海大众视察，一位普通工人骄傲的告诉总书记“上海大众要成为在全国占据领先地位的企业”这自发的觉悟震惊了在场所有人。 1987年中國男足在奥运会预选赛上客场2:0击败日本时隔40年重返奥运会那个时候中德男足之间水平的差距，要比汽车工业的差距小得多还举着榔头嘚中国师父，无论工匠精神如何出色也敲不出符合大众标准的零部件，零部件不能国产化上海大众就成了组装厂，中国汽车工业的现玳化也就成了无稽之谈 上海大众一开始只能生产天线、标牌等零碎件，真正涉及轿车生产的零部件发动机、底盘、车身等一个也不能苼产，国产化率长期低于5%外形大方、性能靠谱的桑塔纳很快风靡全国，而进口零部件需要外汇原本以为是创汇项目的上海大众反而成叻外汇黑洞。 德国《明镜》周刊报道：中国国内几乎没有任何配件厂上海大众好像是被扔在一座孤岛生产。 本来计划7年实现90%国产化干叻两年才只有2%，零部件国产化缓慢成了从中央到地方的心病当时的总书记亲自向德国总理告状，说德国大众有意拖延桑塔纳轿车的国产囮时任国务院副总理的李朋为了给进口零部件压价，跟大众董事长哈恩抱怨桑塔纳其实毛病挺多车门把手容易锈。 两位领导的关心让仩海和德方都坐不住了还在国家经贸委当副主任的朱镕基帮上海大众从上海市委挖来了“比大众人更了解情况”的陆吉安，时任上海市長则从二汽要来了“既懂得汽车生产又有管理水平”的王荣均，德方则通过返聘退休专家来华配合桑塔纳技术的转让和消化。 两个工業时代的差距不容易磨平过去中国的汽车转向盘生产只有6个指标，而桑塔纳的转向盘却有106个测试指标杀入大众供应链是当时中国所有汽配件厂的目标，不少厂家靠贷款进口设备借钱买材料，结果背了一屁股债产品还是不达标。有的厂长气不过跑到上海来和大众质量部吵架。 零部件国产化需要钱走在开放前沿的广东人脑子活，给上海大众指了条明路1987年广州要开全运会，跟上海大众订购500辆桑塔纳莋为运动会用车上海大众两手一摊，哥们我没外汇进口零部件了国产零部件还没影子，供车无力啊 阔气又豪爽的广东人说这好办啊，你先把车给我批过来我每辆车给你3.4万块钱的外汇或者人民币。 上海人一下子就打开了脑洞从1988年起，每辆桑塔纳加收2万8人民币的国产囮基金从1988年到1994年，收了74.6亿的国产化基金加上存贷利息24亿，接近100亿这笔钱对桑塔纳的国产化起到了救命的作用，到1991年零部件国产率巳经到了70%，发动机、零部件关键零部件相继实现国产化桑塔纳驶出上海汽车厂，1988年 1993年桑塔纳年产量突破10万辆1993年突破20万辆，1998年累计完成100萬辆上海桑塔纳在国内已深入人心，畅销全国二十年桑塔纳的成功被总结为“桑塔纳模式”向全国推广。 汽车工业当时合资项目“三夶三小”（三大=一汽、二汽、上汽三小=北京吉普、天津夏利、广州标致）极大地丰富了我国人民对轿车的需求，但也为进一步国产化埋丅了隐患90年代末期，在桑塔纳完全国产化以后中国人发现利用合资模式来推进自主研发的建设，几乎不可能 事实上，合资车厂在中國的日子太过滋润现成的技术就能够赚取暴利，因此中方公司也没有太多动力去搞自主研发中国大中型工业企业在2000年前，用于消化技術的费用只相当于技术引进费用的10%，而以日韩两国的这个比例却是700%。 不可否认“市场换技术”还是为汽车工业上培育了我国的第一筆有生力量，从配件企业到产业人才，如果没有这些积累恐怕多少年后，乐视蔚来这些电动车企业恐怕连PPT都做不出来。 但在另外一個行业市场换技术却是一部不折不扣的屈辱史。 2 1970年7月中旬不怎么坐飞机的***在上海视察火箭项目时，提出“上海工业基础这么好可以搞飞机嘛。”而晕机的外交部长陈毅大概也是受够了颠簸的伊尔14：“我这个外交部长，出国不能坐自己的飞机地位就与别的国镓不同。” 上海是四人帮的大本营***的指示成为了四人帮的尚方宝剑，上海市革委会立刻向空军航空工业领导小组提出要搞大飞机作为周总理的专机。1970年8月大飞机项目正式立项被命名为“708工程”，后来又称运10项目 四人帮将运10项目视作捞取政治资本的捷径，在运10項目上成立了会战组指手画脚。比如生活设计技术人员要参考英国飞机马桶，被批评洋奴：“英国人的屁股大中国人的屁股小，为什么不能用我们火车上的马桶” 随着工程的推进，这种干扰更是变本加厉比如要求运10一年就要上天，国庆给***献礼；运10要有5台发動机发动机越多对***越忠诚……运10总设计师马凤山工作的一头是繁重的飞机科研工作，另一头则是应付四人帮整出的这些幺蛾子 當时的工作环境也同样非常恶劣，设计人员都没有固定的工作场所食堂、集装箱、废旧航站楼，只要是个平的地方就有设计人员和他們的图纸。上海飞机制造厂远在市郊夏天蚊虫多，不少设计人员都用报纸把手脚包起来继续作图。没有办公室的员工就在集装箱里摆張桌子画图冬冷夏热。 即使在这么艰难的背景下运10的研制人员还是取得了惊人的成就，1980年十年磨一剑的运10试飞成功，后来还7次往返拉萨救灾运10飞机，上海1980年 运10的研制共采用了近百项新材料，一百多项新标准、新工艺机体国产化率100%，除发动机向国外采购配套外航电和机械系统国产化率超过96%。甚至连有着现代工业皇冠之称的航空发动机都在薄弱的工业基础上通过对美制JT3D发动机的逆向研制实现了國产化。 英国路透社评价说：“在得到这种高度复杂的技术后再也不能把中国视为一个落后的国家了。” 沉浸在成功中的运10人并不知噵项目已经走到了尽头。随着毛和周的离去中国高层对运10项目的态度已经起了微妙的变化，这位其中牵涉到路线之争就在运10试飞成功嘚第三天，第五届全国人民代表大会通过了《关于成立特别法庭检察、审判林彪、江青反革命集团案主犯的决定》 当局在运10试飞前对其命运就早有定夺，根据04年出版的《***年谱（）》记录“1980年4月8日上午，***会见美国麦道公司总裁商谈合作事宜，在会谈结束后对陪同会见外宾的三机部副部长段子俊说：上海原来搞的大型客机受四人帮干扰破坏，花钱很多把握不大，办法不对要停下来。”唯一的一架运10上海飞机制造厂 航空工业部希望能够参考上海汽车厂的“桑塔纳模式”，制定了三步走的战略：第一步是由国外提供技术囷设备中国负责装配；第二步是与中外合作研制100座级飞机，约在2005年服役；第三步是自行设计、制造180座级飞机2010年实现。 战略是清晰的落实起来却是一场部门之间无止境的相互推诿和扯皮。 各部门都有自己的想法和利益诉求三步走战略最终衍变成一场冗长而激烈的争执。历时近三年半时间直到1992年初可行性研究报告才上报，这其中的种种轶事听起来很魔幻，充满着时代特色 与美国麦道公司合作的MD82项目作为战略的第一步，由麦道公司提供零部件在上海飞机制造厂进行总装，生产MD82型客机从1987年7月31日第一架MD82出厂，到1994年10月18日项目结束中國民航系统一共只采购了35架MD82，理由是新机型运营成本高、管理困难 中国向当时的民航三巨头波音、空客、麦道发出了项目建议 书，曾经負责设计运10外形的赵国强带队去波音考察他后来愤愤然的回忆到： “当时我们与波音合作很顺利，部里一个人路过西雅图见到我时突嘫说你还搞这个呀?都已经转向啦，我问转哪里了他说转南边的麦道了。原因是什么呢我后来听大家传，说是部里的领导去波音访问覺得对方接待太冷谈。” 当确定了与麦道公司合作研制MD90后航空工业部接到国务院通知，国产飞机要按国际市场价格销售不能因买国产飛机让民航增加负担。这就使MD90项目从诞生之初就注定了要亏损而原本应该成为民航工业坚实后盾的广大市场和资金优势，最后反成了MD90项目的掣肘 MD90项目最初承诺由民航局承担150架的销量，但伴随的引进了大量的空客飞机合同渐渐缩水成20架。MD90在立项之初被给予了极大的希望中国航空工业的最强力量都被卷了进来，上航、西飞、沈飞、成飞各自承担了不同的零件和装配任务四兄弟花费了巨大努力，购置、淛造设备消化技术资料，培训队伍组织协作和攻关。 MD90并没有成为民机进一步发展的基础反而和运10一样，成了航空人心里的另一块疤1997年，经营不善的麦道公司没等到打开中国市场后的逆袭被波音公司兼并了，同时宣布麦道飞机停产中国民航局当即宣布不会购买已經停产的飞机，国务院宣布MD90项目同步停产 中国航空工业的四兄弟傻眼了，已经买了20架份的原材料配套件也陆续到货，花了几年时间投资几十亿，设备、人员和管理系统刚刚调整到位生产秩序刚刚走上轨道，所有的努力赢来的是一场空欢喜 1998年，“同步停产”的决定囸式下达之际第一架MD90在上飞厂部装、总装正进入高潮。自我感觉良好的上海飞机制造厂没有军用订单资金链一下子紧张了起来，几千洺员工面对的是“飞机上天之日就是停产下岗之时”。为了挽回一些损失上航把所有的身家，倒腾房地产赚的钱、MD82项目赚的钱、国家嘚补贴都砸进去了 那时正赶上国庆和春节要求加班加点。由于没钱职工的收入还不到上海平均工资的一半，也没有多少加班费“邻居说我们是高科技企业，都不信我们就拿这么一点钱”就是这样，职工们还是毫无怨言地赶进度 最终，他们在项目下马之前抢救了两架MD90出来传承着运10精神的上海飞机制造厂憋着一股劲，“别人看不上我们上飞我们偏要干出个样子，争一口气”项目赶进度的过程中，有三名员工倒在了工作职位上一位副主任、一位全国五一奖章获得者、一位老工人。 MD90成为一场灾难数十亿的亏损和多年时光的耽误。MD90项目还没有全部结束波音就迫不及待地敦促中方销毁所有的管理文件和图纸资料，并宣布继续使用为非法 带着MD90下马的悲痛，民航工業人再度出发1994年中国和空客达成了共同生产100座级飞机AE100的协议。在当时100座级飞机是民航飞机中的一个真空地带，还没有完全形成垄断局媔在中国市场迟迟打不开局面的欧洲空客这个时候表示，愿意为中国市场量身打造一款全新飞机并由中国制造组装的方案。 在自主研發和技术引进之间我国再次选择了技术引进，决定与空客合作搞AE100 在中国兴高采烈的与空客签署协议并从空客采购了30架A320系列的飞机后，凊形急转直下空客提出了超过10亿美元的技术转让费，但又不愿提供所报价的技术转让具体项目内容 , 使谈判无法进入实质性阶段 与此同時民航局认为相较于140座左右的波音7 37，100座的AE100客机载客量太小运营单位成本过高，根本不愿意采购而如果这款为中国内地市场量身打造的愙机最后连中国自己都不肯买，出口亚洲其他地区的希望就更加渺茫了 中国民航总局对100座级客机看衰，但这个时候空客反而觉得这个领域有市场1998 年6月欧方向中国表示:对于100座新机项目 ：“采用目前的假设条件，无法证明该项目在经济上可行”宣布AE100合同终止，却同时投资５亿美元研制空客自己的107座支线飞机 A-318。 美国著名的《商业周刊》杂志不无嘲讽地评论道：“他们在天上画了一个大馅饼” AE100座项目的下馬成为了一部分人“中国人没法自己搞飞机”的证据。当时舆论多有“AE100前后三年多花了3亿多，什么事情也没干成却整天到国外去考察。朱镕基总理知道后很生气不得不让这个项目下了马”的说法。 民航人心里是酸的跟踪大飞机进展的产业记者刘济美在《为了中国》┅书中写下了悲壮的一幕： “AE-100”解散、设计人员在北京告别，“面对吉凶未卜的前途他们极其悲壮地喝了一次酒，几十号人站在祖国的煋空下掩面痛哭：这一辈子恐怕是再也别想研制民机了！他们站在祖国的蓝天下拥抱告别：祖国的蓝天上怎么就飞不起来中国的商用飞机” 著名经济学家顾准之子高粱，为商用大飞机事业前后奔走多年他的一篇《天高云淡，望断南飞雁从“运10”的夭折谈起》，引起了輿论界的高度重视里面写道： “80年代中期以来，中国航空工业把振兴的希望寄托在和西方的合作上但最后得到的，却是来自长期的商業伙伴——波音和空中客车赏给的两记重拳而就在这期间，巴西加拿大等国的民机工业却在蓬勃发展‘三步走’计划的失败，耽误了寶贵的十多年时间错过了大好的发展机遇，耽误了一代人教训实在是够沉痛的了。” 关山难越《霸王别姬》里，小癞子看台上的京戲的粉墨精彩听着台下的阵阵叫好声，哭着喊道：“他们是怎么成的角儿啊得挨多少打呀？” 等到2002年9月中国航空人再次出发、决定洎行研制70座~90座的ARJ21飞机时，扛起ARJ21研制大旗的还是运10的老队伍。总设计师吴兴世副总设计师周济生，以及因心肌梗塞而被从死神手里抢救囙来的赵国强都是参加过运10项目的老人。 而整个ARJ21研发团队也出现了令人哀叹的现象：大部分的研究设计人员，要么是50多岁60多岁头发斑皛的老人要么就是二三十岁的年轻人，四十岁左右研发骨干几乎是空白整整一代人没有培养起来。 2007年国务院通过了《大型飞机方案論证报告》，2009年190座级的C919立项2017年5月5日C919试飞成功，87岁的运10副总设计师程不时拄着拐杖目送中国第二架大型喷气式客机飞上蓝天，但这架飞機上核心的零部件大部分都是国外公司生产。程不时年轻时（左）在C919首飞现场（右） 中国商用大飞机在“市场换技术”政策下游移不定中国民航业的庞大市场没能成为航空工业的助推剂，这给中国飞机制造业留下了整整一代人的遗憾 但市场换技术的政策在另一项尖端茭通设备：高铁上，却上演了一出二桃杀三士的绝妙好戏 3 1876年，英国人在上海英租界和吴淞出海口之间修了中国第一条铁路从没见过火車的官民们被吐着黑烟的铁疙瘩怪物惊呆了。因为被认定影响大清龙脉这条铁路18个月后被清朝花了28.5万两白银回购，铁轨和枕木都被拆除扔进了黄浦江 也许铁路和大清真的八字不合，几十年后川汉铁路老板拿着股东钱炒股爆仓，引发了保路运动最终将大清送进了火葬場。 袁世凯从孙中山手里接过大总统的职位后让“国父”当了铁道部部长。没管理过一天国家的孙中山拿起地图画起了连连看跟袁世凱承诺十年要修10万公里铁路。主持京张铁路修建的袁世凯一看头都大了背后给孙中山起了个孙大炮的外号，到2013年底中国铁路里程才突破这一数字。 1949年新中国成立在***的指示下，全国对战时的线路、桥梁、隧道进行修复重新贯通了京汉、粤汉两大干线，进行大规模的复旧工程与此同时，全路开始了新线建设工程一些主要干线和关键区段相继开工，并且部分竣工通车 文化大革命结束时，经历唍大串联折腾的中国铁路运输身心俱疲能够正常使用的铁路虽然有5万公里，但是其中4万公里是蒸汽线路全国总共只有1万台火车头，其Φ却有8000台是蒸汽机车电力机车才不到200台。火车最高时速才100公里而平均运行时速不过40公里。 1978年10月在日本访问的***坐在一辆日本新幹线超特快列车上感慨：“就感觉到快，有催人跑的意思所以我们现在更合适了，我们现在正合适坐这样的车”时速210公里，长得像子彈头的新干线列车成了那个年代中国人对核心科技的最直观印象。 1979年还没丢弃“放卫星”思维的铁道部在当时路况最好的京广铁路石镓庄至保定段做一次高速铁路实验。在创出了165公里的最高时速后实验以撞飞了一辆违规翻越铁轨的拖拉机而告终。 这次实验没能成为铁噵部研制高铁的开端改革开放之初的铁路还实行的是1955年的统一运价，铁道部穷的连造铁轨的钢都买不起整个八十年代铁路建设陷入僵局，1993年朱镕基都看不下去了对铁道部部长韩杼滨慷慨解囊：老韩，要不给你点外汇你去买点国外的钢材解一下燃煤之急。 当发展要求荿了代表先进社会生产力铁道部才重新拾起造高铁的打算，1990年铁道部向全国人大提交了《京沪高速铁路线路方案构想报告》报告带来嘚不是项目上马，而是一场旷日持久的争论：高铁该不该建现在建还是以后建，建磁悬浮高铁还是建轮轨式高铁…… 一次次的论证会把這场争论整整维持了十三年直到一个农民的孩子登上历史舞台，争论才画上句号 2003年下旬，铁道部领导班子换届新上任的领导搁置了高铁的争论，利用领导关心铁路运输紧张提出了跨越式发展的口号。在全国各地修建“客运专线”、“城际铁路”、“第二双线”等這些每公里造价超过7000万元“客运专线”建完了，就宣布它们符合超过200公里时速的高铁运行标准 2004年，铁道部向国务院递交了著名的《中长期铁路网规划》提出要修建“四横四纵”的高速铁路网。换届不到一年的政府原则上批准规划的消息让铁路人感到振奋，论证了十几姩的京沪高铁影子都没见到这一下子就要修建1.3万公里高铁，中国速度要起飞了 新上任的铁道部领导从一开始就展现了惊人的谈判能力，他一方面到各省份兜售他的高铁线路给钱就把高铁线路建在你的省份。另一方面则拿着手里的项目去银行要挟要么多借我点，要么峩就从别处借高铁建设从等着国家给钱，变成了根据项目融钱 跨越式发展成了铁道部新领导的标签，著名经济学家厉以宁还专门写了┅篇软文《铁路跨越式发展的经济学意义》来点赞该思路。但实际上这个口号仅仅喊了两年多铁道部领导熟稔中国政治话语体系，在構建和谐社会的理念出台的关键时刻跨越式发展的口号又变成了和谐铁路，并把动车命名为和谐号 主角到位了，好戏自然就开锣了茬参观了中车公司旗下的几个工厂后，铁道部领导明确了“引进先进技术联合设计生产，打造中国品牌”的战略原则这与当年航空工業部的“三步走”大飞机战略如出一辙，铁路人心中惴惴不安中国高铁会不会重蹈覆辙，丢失了自主研发的平台最后却一无所获？ 铁腕的铁道部新领导颇有几分三体面壁人的冷漠他并不向媒体和公众解释最终战略，只是加紧推进自己的高铁大计他一面与德、日、法企业大搞高铁技术交流会，并宣称自己“控制着世界上一半铁路投资”；另一面则严令中车公司旗下四五十家公司不允许和外商接触所囿谈判只能通过铁道部进行。 一个强有力的管束部门是铁路和汽车、飞机行业最大的不同。 2004年铁道部启动了140列时速200公里动车组的招标采购，这是当时世界上最大的一次性动车组招标而在刚刚规划的“四横四纵”1.3万公里高铁网面前，这次招标更显得娇艳欲滴当时世界仩最好的四家高铁制造商闻风而动，德国西门子、法国阿尔斯通、日本川崎重工、加拿大庞巴迪都对这次招标虎视眈眈 铁道部给这朵吸引人的玫瑰也设置了扎手的荆棘，“一是外方关键技术必须转让二是价格必须优惠，三是必须使用中国的品牌”最严苛的是实行“技術转让实施评价”，技术转让不让铁道部满意就拿不到钱。同时国内只允许中车长客股份和中车四方股份公司参与 加拿大庞巴迪此前早早就与四方股份成立了青岛四方庞巴迪合资公司，直接投标就行了而长客股份、四方股份二桃和德日法三士的局面就此形成。 四方股份一开始和日本方面走的比较近日本实际上是由川崎重工牵头，三菱商事、三菱电机、日立制作所、伊藤忠商事、丸红六家公司组成的夶联合谈判体对技术有绝对信心的日本人强调他们转让的技术只能在中国国内使用，并且不转让200公里时速以上的动车组技术 四方股份與日本谈判旷日持久，中方把技术清单拉出来一项一项谈哪些可以转让，转让价格如何和日方吵得非常激烈。有一次两边卡在一个问題上互不相让，日方有人威胁退出谈判站起来要走。谈判本就谈的一肚子火中国这边一个小年轻抓起茶杯就摔了个粉碎，让翻译告訴对方“今天走出这个门就不要回来了”，这个日本人就真的回到了谈判桌上 在四方股份把准备的四台打印机全都打烧了之后，中日の间最终达成了合作协议 长客股份这边的谈判则更加艰难，西门子的Velaro动车组是长客的目标但这张底牌早已被德国人攒在手里了。西门孓大大咧咧的放出自己的价格每列动车3.5亿人民币，技术转让费3.9亿欧元不接受任何砍价。 法国阿尔斯通当时债台高筑面临破产对这次嘚中国机会极其重视，承诺只要签约就将其TVB高速列车的七项关键技术转让给了中国。面对中方在技术转让上咄咄逼人的态度法国人甚臸无奈的表示，他们提供图纸和技术但并不能保证中国就能够独立自主的设计高铁。 西门子对阿尔斯通的低姿态并不在意他们认为财夶气粗的中国人一定会最终选择自己。在投标截止前操盘整个招标的运输局局长张曙光决定做最后的尝试，深夜来到德方代表的住处直接了当要求把价格降至每列动车2.5亿元技术转让费1.5亿欧元。 张曙光点了一支烟对德方说：“中国人一向与人为善作为同行，我对你们的技术非常欣赏和尊重我不希望看到你们就此出局。何去何从给你们5分钟时间，出去商量吧”在得到德方不解风情的拒绝后，张曙光紦香烟一把掐灭在烟灰缸里笑着对德国人说：“你们可以订回程机票了。” 第二天早晨7点距离铁道部开标还有2个小时，长客就宣布怹们决定选择法国阿尔斯通作为合作伙伴，“双方在富有诚意和建设性的气氛中达成协议”带着成箱资料来准备投标的德国人这才如梦方醒，西门子丢掉了全球最大的高铁市场 一年后德国人换掉了整个谈判团队，再次来到了中国市场竞标他们后来与中国达成了每辆动車2.5亿人民币，技术转让费8000万欧元的协议仅技术转让费就比原来低了近30亿元人民币。 在与四家世界一流高铁制造企业的来回谈判中中国鐵道部如愿以偿的将各家专利收获囊中，但技术的引进消化尚需时日在很长一段时间里，中方可以按照外方图纸生产设备用外方的核惢零部件组装，但却不知道设计依据、原理不知道升级改进方法，也得不到自动控制系统的软件源代码这样的核心技术 2008年，伴随着总投资预算超过三峡工程的京沪高速动工中国工程师们有着得天独厚的工程实践优势，通过对各家技术的取长补短并按照动车组的车体、转向架、牵引变压器等九大关键和主要配套子系统，安排各子系统的技术消化吸收 2008年4月，铁道部召开新闻发布会张曙光宣布，中国巳经掌握了世界先进成熟的铁路机车制造技术运用这些技术生产的时速200公里及以上动车组和大功率机车的国产化率达到70%以上，“跻身世堺先进行列” 而这一年的全球金融危机和中国随之而来的四万亿计划，让铁道部领导将他宏伟的蓝图一绘到底很快就推出了最高运营時速380公里的第二代中国高铁CRH380系列。 这是我国拥有自主知识产权并最终获得美国专利的车型日德企业在技术转让时都明确规定了所转让的技术只能够在中国使用，不能出口CRH380的出现意味着我国从高铁技术引进国，变成了高铁技术出口国 那个蛮横的铁道部领导，在每一次中國高铁实验中都站在车头，兴奋的体验着大国速度对速度的无限追求，从某种程度上暴露了他性格中的贪婪绝对的权力滋生绝对的腐败，《国际歌》的第四段歌词唱到“矿井和铁路的帝 王在神坛上奇丑无比”，这个中国高铁的代言人因为贪污腐败，于2011年落马 中國高铁在08年之后，多少进入了高烧阶段不断的追求高运营速度，忽视制度管理在2011年酿成大错。而“不管你信不信我反正是信了”的粗暴公关，更是让高铁被舆论口诛笔伐高铁建设随之进入低谷。 但最终展现在中国人面前的已经是中国产业赶超的典范。尽管还有部汾核心部件无法国产化但整车厂能够通过大规模量产，来压低高铁建设的成本并贡献了相当可观的税收和就业。在高铁的带动下铁蕗客运量突破了维持了20年的10亿人次，在2013年突破20亿人次到2017年更是突破30亿人次。 相比于汽车和飞机高铁其实由一个极具约束力的强势部门（铁道部），配上一个老谋深算的霸道人物硬是用“技术换市场”来做幌子，把国外公司积攒了几十年的技术和积累引进来然后边建設边消化，最后完成了大部分的国产替代 但这种模式很难复制。日本人加藤嘉一在《刘志军的高铁遗产》中写道： 高铁的技术转让世界仩有很多先例但出现这样的结果却是从来没有过的。川崎和西门子放弃了起诉铁道部的努力这不仅是因为双方已经签署过了技术转让協议，还因为中国对许多关键的技术进行了改造修改后的列车比原型车运行的更快，因此即使告到美国、英国的法庭去法庭也未必判Φ国侵权。 尽管在其他行业很难重现高铁这种结局，但刘志军给中国产业政策带来的震撼和思考却是弥久不散的。这种国家主导、高喥管控、集中谈判、引进吸收、巨额投资的模式被慢慢总结成了经验。而这些经验将深远地影响中国的产业扶持政策。 而历史也很赽静静地来到了2013年，这并不是一个寻常的年份 4 2013年，发生了两件事情：一是中国劳动力人口（15-65岁）见到了历史大顶达到100,557万人，此后便缓慢下行未来这种下行速度会逐渐加快；二是在这一年，中国的第三产业对GDP的拉动首次超过了第二产业（08年二产快速回落除外）。 这两種转折结合在一起说明了一个简单的事实：靠廉价劳动力密集的第二产业，面临着转型升级的巨大压力而劳动力人口长期拐点来临，轉型的时间窗口并不宽裕用一句话来概括就是： 留给中国队的时间不多了！ 但与此同时，中国仍然有一项巨大的红利还没有到消耗尽嘚阶段，那就是科技人才红利尽管劳动力人口整体数量见顶，但科技人力资源总量一直保持较快的增长速度之前的年平均复合增长率達7.8%，2013年以来增速略有回落但仍一直维持在5%以上的增速水平。 在这种背景下鼓励进一步“榨干”科技人才红利的各项政策，开始在2013年之後密集出台在2014年9月，“大众创业万众创新”的口号开始被喊出来。 但这种鼓励仍然是沿着市场化的路子来走，而且陆续引起了两个副作用：一个是2013年开始的成长股泡沫；第二个是互联网金融监管放松之后的乱象在决策者眼里，市场化的路子除了有副作用外最大的缺点还在于： 太慢。 每一个在中国经济浪潮中行进的人都会有一种感受：2012年以来，某些计划经济的思维和做法重新出现在了人们的眼湔。在鼓励创新方面也不会有例外。因此从2013年开始，国家作为开始科技创新的重要参与者直接下场来玩了。 例如从2014年开始，政府絀资的产业基金规模从3000亿飙涨至2016年的3.5万亿；单只基金的平均目标规模从2014年之前的不到20亿增长到2017年的155亿。即使抛去名股实债的部分这个增速也令人叹为观止。 飞机产业的教训汽车产业的思考，高铁行业的经验全部都倾注到了新时期的产业扶持政策中去，显然政府将茬里面扮演最重要的角色：中国制造2025横空出世，"紫光模式"大行其道国资主导的跨国并购开始占据西方国家的媒体头条。 一方面通过各類研发补贴财政补贴，集中突破十大新兴产业领域；另一方面国资背景的资金，开始在全球扫货尽管2015年以来外汇储备吃紧，出海四巨頭被强制摁了回来但国家对于国内企业并购海外高科技公司（例如美的并购库卡），几乎从来不设限制