操纵爬虫手艺有用获取网上价值数据摩登音信技能的飞速发达，为价钱统计观察办事带来了全新的机会和挑拨。价钱统计因网上电子商务行为的昌隆发达有了更为充足的数据源，也因爬虫技能等的展示有了新的数据收集方法。本文合键基于政府统计部分机合发展的住民消费价钱观察，以网上飞机票价钱收集为样板案例，探求怎样将爬虫技能所获取网上价钱数据更好地操纵于住民消费价钱观察（以下简称“CPI”观察）和住民消费价钱指数（CPI）编制中，并实验酿成一套行之有用的手段，为推进新景象下价钱统计立异发达供应有益模仿。
跟着摩登音信技能急迅发达，住民消费形式爆发壮大转化，线上消费昌隆发达。据邦度统计局数据显示，2017-2020年，寰宇网上零售额年均拉长19.3%。网上业务周围的延续扩张出现了大方的业务数据，这些数据依据必然的机合和罗列式样被保全下来，酿成了壮大的数据资源。跟着网上业务的一连拉长和技能的延续前进，将网上业务价钱数据纳入CPI指数编制成为更完全、科学地反应价钱更动趋向的势必请求。目前，我邦住民消费价钱观察虽已将一面商品的网上业务价钱纳入统计中，但合键采用人工采价的式样，与雄伟的网上业务价钱数据比拟，观察的规格品不足众，对现罕睹据资源欺骗率还不高。所以，正在现行的价钱统计轨制下，怎样顺应搜集经济发达更好地欺骗网上业务价钱数据，进一步普及住民消费价钱观察的效力及科学性，成为政府价钱统计亟须处理的题目。
欺骗网上数据看待价钱统计办事具有紧张事理。一是网上业务价钱数据具有可取得、音信量大等特色，有助于符合增进价钱观察实质和普及采价效力，进而普及观察的精准性。同时，网上业务价钱因电子商务行为性情震荡一再，人工鉴别剔除非价钱要素较为穷困，直接将其操纵于CPI指数编制也面对必然的挑拨。钻研酿成一套将网上业务价钱数据科学纳入CPI编制的手段和办事流程具有较为紧张的外面事理。二是近年来爬虫技能赶疾发达，为高效获取和欺骗网上业务价钱数据供应了技能维持。与人工采价比拟，以爬虫技能获取的网上价钱数据做为CPI编制的数据来历，也许削减人工网采偏差，充足数据来历，擢升统计效力，对煽动政府价钱统计进一步美满发达有着紧张执行事理。
本一面以飞机票为钻研案例，采用定性说明与定量说明相连合的手段睁开。一是采用文献说明法和定性钻研手段，通过对邦内邦际联系材料的说明，对相合飞机票策划公司举办调研，梳理现有钻研成就，为本钻研确定钻研对象、钻研旅途和手段等供应有益的模仿。二是采用实证钻研、对照说明等手段，说明爬虫技能获取的网上飞机票价钱数据特色和纪律，连合实践从操作层面探求爬虫技能获取的网上业务价钱数据正在CPI统计观察中的操纵手段。
飞机票的订价机制分为政府向导价和市集治疗价。政府向导价依据《民航邦内航空运输价钱改造计划》及一系列调度价钱计划制订，航空运输企业正在境外里发卖邦内航路客票时，将以均匀每人每公里0.75元行动邦内各航路%获取网上价值数据、下浮不设限根本上自行订价。市集治疗价由航空公司依据市集和竞赛情形自行制订，但需报备民航局，民航局对每个航季可调度的市集治疗价航路条数和调度幅度均有周详划定。航空公司正在制订邦内机票价钱时实行众品级票价约束，通过收益约束中的舱位绽放，最终决意市集上的售卖价钱，即正在全票价根本上每个舱位界说区别的票价扣头。
飞机票发卖形式分为直销和分销。直销是航空公司通过自筑渠道直接发卖。蕴涵官网、旗舰店、APP、呼唤核心和柜台；分销是通过第三方渠道发卖，蕴涵各家OAT、差旅约束公司、批发商、通常代庖人等。相看待直销形式，各大分销公司不单供应了优惠的价钱和跨航空公司的比价遴选，还推出观光套餐和团购供职，广受消费者的青睐，市集份额也一度抵达90%。“提直降代”计谋出台后，很大水准上局部了机票分销形式周围，目前直销和分销的占比亲密4:6（邦内票）。
影响飞机票价钱的合键要素为供需相合。以供需相合为根本，分别航路、时令、期间、供职等，举办差异、动态调度舱位绽放，再现正在市集上统一航路同天区别期间、同月区别日期、同年区别月份，发卖价钱区别。
影响供求相合的是非期要素说明。历久看，市集上的运力加入、人丁总量及经济要素是影响机票价钱更动的合键要素；短期看，各航空公司正在运力加入根基平稳条件下，高铁、公道等取代品价钱、消费者偏好及预期等要素是影响飞机票价钱更动的合键要素。个中，消费者需求可分为因公和因私，因公消费特色再现为购票期比拟邻近开拔日期，短航路 天内，长航路天内，对价钱不敏锐，合键合怀期间、供职，对航空公司忠厚度较高。所以，正在因公客源充溢的京沪等干线天内的价钱明显普及。而从周期上看，周六因公客源少，为全民航价钱凹地。因私消费特色再现为购票期相对开拔日期较远，但疫情后因私客源的购票期较疫情前也更为邻近，价钱敏锐，对航空公司忠厚度低，节假日出行会合，所以春运、邦庆、五一等节前、节末顶峰都展示一票难讨情景，机票价钱居高不下，而节中错峰出行则可购到优惠票价。
归纳以上对飞机票价钱特色的说明，可得出飞机票价钱涌现为历久大振幅和短期高频率的特性。一是机票价钱具有高度的工夫敏锐性。购票提前量对机票价钱影响较大，日常来说，购票日期隔断开拔日期越远，价钱就越低；邻近升空日期，机票价钱会大幅上涨，这种价差有时能抵达数倍。二是机票价钱具有较强的需求敏锐性。因为机票属于高固定本钱、低边际本钱商品，且短期（或简单班次）供应弹性险些为零，当需求量处于低位时，航空公司只可大幅消浸价钱，以确保足够的上座率来收回航班的本钱；当需求增进，迥殊是碰到观光旺季和紧张节假日时，航空公司会大幅擢升价钱，以赚取更众的利润。三是机票价钱具有踊跃的竞价敏锐性。因为机票市集的高度音信化和透后化，搭客很容易举办比价，从而“用脚投票”，这导致各航空公司看待竞赛敌手的价钱调度极度敏锐。以竞赛为导向的订价手段有随行就市订价法、分歧订价法等，固然计谋区别，但城市用很疾的速率做出调价响应。
消费者对飞机票的置备作为日常为提前一段工夫，所以正在爬取飞机票价钱数据时需提前一段工夫吻合客观实践。隔断升空日期工夫遐迩区别，飞机票价钱将展示分歧。所以，正在钻研飞机票价钱更动纪律时务必将消费者置备机票的提前工夫行动节制条目。另外，依据第三方公司反应，正在爬取飞机票价钱数据时受到供职器等资源的局部，耗时较长，收集一次数据乃至要用一天的工夫。为削减供职器资源占用，擢升统计效力，需通过对飞机票价钱运转特性的钻研，从齐备大数据入选定一面数据来代外齐备数据的运转特性。实证说明的合键方针，是寻找适当的数据爬取提前工夫和相对经济高效的数据量，从而最阵势限反应齐备数据音信。
数据获取式样为欺骗爬虫技能从搜集爬取。数据爬取工夫段为从2021年5月15日起，每5天爬取从北京开拔统统航班的飞机票经济舱价钱相合数据。共爬取了10次，共计近25.4万条数据。爬取的数据机合为小步伐页面显示的飞机票统统特性字段，蕴涵航班号、航空公司、开拔地和方针地、开拔机场和方针地机场、升空工夫和抵达工夫、经济舱价钱、供应商等音信。
经由发轫统计，以6月份为例，每天从北京开拔航班数正在956-1288个之间，每天从北京开拔航班抵达的方针地数目正在109-123个之间。5月15日-5月30日收集的航班数目相差较小，证据正在收集工夫段必然的条件下，提前众少天采价对收集到的数据量影响较小。航空公司数目相对固定，不会跟着收集的工夫段缩短而削减，证据无数航空公司正在无分外情形下均会寻常运转。经济舱均价涌现“降-升-降”特性。
经由定性说明出现，大一面消费者会正在提前一周支配乃至更长的工夫置备机票，而且依据目前CPI中飞机票采价手段（即每月5日、15日和25日收集下一旬价钱），可确定欺骗抓取的齐备数据钻研永别提前15天、10天和5天时，飞机票月、旬和周均价转化。目前CPI的指数编制手段以月均价为根本估计编制环比、同比和累计指数，所以可通过对照区别收集式样的全月均价来确定经济高效的价钱数据爬取式样操纵爬虫手艺有用。
月均价情形。提前15天、10天和5天收集下个月齐备航班经济舱机票价钱，即5月15日、5月20日、5月25日和5月30日永别收集6月份齐备数据，永别估计月均价。
旬均价情形。从抓取的齐备数据平分别提前5天、10天和15天抉择6月1日-6月10、6月11日-6月20日、6月21日-6月30日每旬的数据，估计飞机票旬均价，欺骗旬均价估计全月均价。
周均价情形。因为每个月的天数正巧分成完善的周工夫段，所以从抓取的齐备数据平分别提前15天、10天和5天抉择5月31日-6月6日、6月7日-6月13日、6月14日-6月20日、6月21日-6月27日、6月28日-7月4日每周的数据，估计飞机票周均价，欺骗周均价估计全月均价。
对区别数据爬取式样获取的月均价举办对照。将提前区别工夫爬取的月均价、三旬均匀的月均价、五周均匀的月均价对照，结果显示：提前15天爬取数据估计出的机票月均价较高且三种式样数据差异较大，提前10天和5天爬取数据估计出的机票月均价三种式样差异较小，提前5天爬取数据估计出的月均价相对较低，个中，永别提前5天爬取每旬价钱数据然后估计出的月均价最低且每旬之间价钱震荡相对安稳。另一方面，正在闲居办事中，思考办事便利操作和效力题目，爬取每周的价钱操作相对庞大，况且月初和月末周很难瓦解成完善的一周，每月收集的数据会存正在谬误；提前5天爬取一个月的数据时月初和月末数据提前工夫分歧较大且月末的数据不吻合消费者购票民风。所以，可确定机票数据爬取式样为永别提前5天爬取每旬的数据，而且与现行轨制请求相同一。
从爬取数据的实践流程来看，齐备数据的爬取式样存正在占用供职器资源众、效力低、数据统治庞大等题目，晦气于历久高频数据爬取。目前正在数据爬取式样确定后，上中下旬爬取的数据量永别为9886条、10403条和10357条，下一步依据机票特性寻找既代外性强又经济高效的爬取数据参数和数目。实验通过以旬均价走势和月均价为参考变量，窥探正在区别的航空公司、方针地数目下旬均价走势和月均价，并与齐备数据旬均价走势和月均价对照，确定纳入爬取步伐的航空公司和方针地。
区别航空公司数目下旬均价走势和月均价。正在固定了收集工夫后（提前5天收集数据），以得出的总体数据旬均价走势和月均价为轨范，依据航空公司周围巨细、航路数目渐渐剔除数据。如正在数据剔除后，与齐备数据旬均价走势和月均价仍旧相似，即能够为所剩航空公司及其航路数据能够代外总体。分区别航空公司估计旬均价，抉择上中下三旬均存正在的航空公司，剔除了上旬的重庆航空（20条数据）和中旬的众彩航空（15条数据），经剔除后航空公司每旬有27个，占比拟大的有18个，占总数据量正在95%以上。
从结果看，占比前3位和前18位的航空公司旬均价及走势与齐备航空公司走势相似、价钱秤谌相差较小。但倘使只收集3家航空公司的价钱，数据震荡或者过大，代外性也不足强。为了防范航空公司太少惹起数据震荡大，需符合增进航空公司，所以可确定收集占比前18位的航空公司机票价钱。
航空公司固定后区别方针地数目下旬均价走势和月均价。正在确定了遴选占比前18位的航空公司后，上中下旬的数据量永别为9768条、10233条和10033条。接着依据方针地再剔除一面数据，倘使与确定的18个航空公司的旬均价走势和月均价根基亲密，证据数据代外性较高。结果显示，爬取的数据量占比前30位的方针地与确定的18个航空公司机票价钱走势相似，价钱秤谌相差较小。占比前30位方针地上中下旬的数据量永别为7409、7047和7013条。
综上所述，依据住民置备飞机票的提前工夫量、航空公司数目和方针地数目，可确定欺骗爬虫技能获取飞机票数据的式样为，提前5天收集下一旬数据，收集数据量排名前18位的航空公司中排名前30名的方针地的数据，每旬爬取的数据量正在7000条支配。与现有采价航空公司和航班数目比拟，有了极大的擢升。
通过前述基于爬虫技能获取网上飞机票价钱数据的定性和实证说明，住民消费价钱观察中操纵网上爬虫数据能够进一步普及收集频率和代外性，有利于特别精准地反应某些种别商品和供职的价钱更动音信，但同时也面对着缺乏专业技能维持和数据统治难度大等穷困。思考到以上题目，能够现有观察轨制为根本，依据区别种别商品和供职特色制订区别的操纵计划，渐渐胀动爬虫技能所获取网上业务数据正在CPI观察与指数编制中的操纵。
目前CPI闲居观察中，众个根基分类涉及网上数据，如家用电器、飞机票、住宿等，但众以人工正在固定工夫收集网上业务价钱。因为人工网采的办事效力较低，网上采价所涉及的规格品数目、品种、收集频率等方面都有必然的局部。相较而言，欺骗爬虫技能获取网上业务数据的式样，正在收集频率、数据音信的充足水准以及数据质料上有着分明的技能上风。
网上业务数据依据生意两边的业务情形及时更新，数据更新转化一再。正在现有的人力条目下，依据代外规格品区别种别人工采价每月收集频率为1-3次，收集频率相对较低，难以反应众变的网上商品价钱。爬虫技能获取网上业务数据是通过估计机步伐正在网上自愿举办数据爬取，能够做到按日收集数据且不受工夫和空间的局部，也许特别实时、体系地跟踪商品音信的转化。爬虫技能自愿收集数据的同时能够及时存储数据，看待互联网众源异构数据，能够针对性采用文本文献、相合型数据库和非相合型数据库举办数据存储，能够将非机合化数据转换成机合化的数据，便于数据收集后的说明。与人工采价比拟，价钱收集频率和效力可大幅普及。
互联网时间，住民的消费作为、企业策划行为、政府行政作为等出现的海量数据都被纪录下来。为更好地反应消费形式的转化，普及CPI代外性，网上业务价钱一经操纵于CPI中，但合键采用人工采价的式样，获取的数据量较小，商品音信比拟简单。而欺骗爬虫技能获取网上业务数据时取得的数据量壮大、商品音信充足。欺骗爬虫技能能够获取网上商品的众维音信，蕴涵商品的价钱、名称、参数、上市工夫、发卖地、消费人数等；还能够获取非机合化数据，蕴涵商批评判等文本音信、图片音信、视频音信等。这些音信也许更好的辅助价钱观察抉择和替代规格品，并实时剔除网页调动等非价钱更动要素。
目前获取网上业务数据的途径合键有人工收集和企业报送。人工收集数据时必要将每一笔数据手动纪录，易爆发纪录舛误；当规格品缺失时，采价职员正在网上找到适当的替代规格品费时辛苦且主观认识较强。欺骗爬虫技能获取的网上业务数据可自愿存储，况且能够依据消费量、商品性情等举办排序，更为便捷的找到适当的取代规格品，削减主观剖断的影响，普及数据确凿性。企业报送数据易受到众种主观要素影响，展示拒报、迟报、漏报等情形，而爬虫技能可欺骗步伐自愿获取数据，数据可取得性大幅普及。
欺骗爬虫技能获取网上业务数据时，必要统治和存储区别网站、实质充足的大方音信，既蕴涵价钱数据，还需获取商品的名称、产地、销量等辅助音信，以便于后期数据统治和行使，这就必要加入专业的人力资源和供职器等开发资源。目前获取网上业务数据合键有两种式样，一种是基于成熟步伐说话的抓取即欺骗估计机成熟的编程成效，编写抓取的步伐代码竣工对指定网页或指定实质的抓取；一种是欺骗现有爬虫软件获取。看待下层统计部分而言，技能力气相对亏弱，即使行使现有的爬虫软件，展示题目时也很难顿时处理，往往糟塌更众工夫，增进了数据可取得的难度，也很难保险数据的延续性。
一是解析网页链接容易导致数据缺失。电商日常通过安排实质充足众彩且极为新鲜的搜集页面来吸引消费者，而如许的页面机合宗旨庞大，不行简略解析。正在逐级解析网页抓取数据时一再展示因解析不完整而失落数据的情景。二是网页一再更替导致数据繁芜。搜集发卖形式乖巧众样，发卖页面也时时爆发转化，迥殊是正在节假日、促销日平分外光阴，为更好地吸引顾客，网页版面时时会依据专场发卖改版，这就给仰赖商品链接抓取数据的爬虫办事带来了挑拨。三是收集实践成交价穷困。CPI收集的是商品的实践成交价，但网上发卖行为办法众样，蕴涵秒杀、促销、团购、提前预付定金等发卖形式司空见惯，况且优惠链接页面机合庞大。正在欺骗爬虫技能抓取网上业务价钱数据时，很难通过技能自愿识别商家行为并抓取最终的实践成交价。
连合爬虫技能获取网上业务数据的上风以及难点，本文实验提出一套将欺骗爬虫技能获取的网上业务数据操纵于CPI观察的办事构念，从而普及统计效力和确凿性、消浸观察本钱。
最先，确定操纵爬虫技能的商品和供职种别。住民消费价钱观察要观察的商品和供职蕴涵8个大类、268个根基分类，跟着网上消费的发达，险些统统种别商品和供职均可竣工网上置备。但就CPI观察而言，并不是统统种别商品和供职均有需要通过爬虫技能收集网上价钱。比如，一面商品网上消费占比不高，袋装醋、散装食物等仍以线下消费为主，烟等商品不正在网上发卖。又如，水、电等由政府订价的资源型民众产物更动纷歧再，人工采价反而特别简易。所以，需连合实践情形，依据住民消费民风、消费量、商品价钱特性等，科学选定行使爬虫技能采价的商品种别。其次，确定爬取数据的根基准绳。欺骗爬虫技能获取网上业务数据时仍旧要保持CPI采价的“三定”准绳。即由指定的专业技能职员和CPI统计职员正在固定的工夫段一连爬取统一网站的数据。结尾是技能接济条目。目前爬虫技能的发达一经较为成熟，可使费用很高，不管是编制步伐照旧欺骗现有的软件，都有很众可供参考的案例。爬虫技能获取网上业务数据存储办法众种众样，合键蕴涵文本文献，如 TXT、JSON、CSV 等；数据库文献，如相合型数据库SQLite、My SQL、Oracle、SQLSever、DB2等，非相合型数据库Mongo DB、Redis等。
计划确定后，由专业技能职员编写步伐或者欺骗现有的爬虫东西举办数据爬取，估计机自愿爬取流程中需按时查看处理极度题目，碰到步伐间断、数据未实时保全等情形时，需实时更新步伐处理技能困难。正在数据爬取中展示网页调动、商品音信更动、商品缺失平分外情形时，必要由专业统计职员依据邦度统计局制订的《搜集业务价钱收集操作方法》举办楷模统治。比如，正在商品缺货时需讯断该商品是目前缺货、时令性缺货或者是永世缺货，并依据采价准绳确定沿用价钱照旧替代规格品；正在收集的网站（即线上采价点）合上时确定新的采价点等。区别种别商品和供职的采价和规格品替代请求、调动采价点的请求等都有全部轨制划定。这些需由专业的价钱统计职员依据请求举办统治，并纪录留存。
爬虫技能获取的网上业务数据量壮大且商品音信维度众，必要依据CPI观察轨制请求，思考人力和物力等本钱要素，对数据举办洗濯、说明和长远开掘，并针对区别种别商品和供职的价钱运转特色，最终确定网上业务数据操纵于CPI编制。比如，目前CPI中飞机票价钱每月收集3次，每次收集改日10天的价钱，而爬虫技能能够做到每天收集固定工夫间隔数据，连合影响飞机票价钱的购票工夫、航班、航空公司以及采价本钱等要素，对网上价钱数据举办长远开掘，摸索出较现行采价频次更高、规格品数目更众的采价式样，从而将其纳入CPI编制中。
爬虫技能获取的网上业务数据另有助于完工代外规格品和采价点的抉择和替代办事。依据爬取的规格品数据的区别参数举办排序，能够特别便利地找到发卖量大、代外性强的规格品，正在规格品缺失时可较疾找到同质可比的规格品举办替代。另外，爬虫技能效力高，可符合增进网上采价点的数目和类型，既能够普及采价点的代外性又能够正在采价点合上时更好地取代原采价点。
立异点：一是探求采用爬虫技能获取飞机票等某一全部种别商品和供职的网上业务价钱数据并操纵到CPI观察中的手段，摸索欺骗网上业务价钱数据相对美满的办事手段和流程，为扩展到CPI其他种别商品和供职供应手段维持；二是从观察式样、数据源和本钱等方面探求行使爬虫技能获取网上价钱数据的上风和亏损。
亏损：一是数据工夫段较短。受到爬取效力的限制，本次只爬取了10次历时一个众月的数据，数据量较大但涵盖的工夫较短，钻研中仅行使了一个月的数据，数据或者展示必然的谬误。二是仰赖第三方获取数据。本次钻研借助于第三方公司来抓取数据，统计体系内职员还未有过自行抓取数据的实验和执行，数据来历存正在不服稳要素。
目前，爬虫技能获取的网上业务数据正在CPI中的操纵尚处于摸索阶段，必要进一步总结体会并实时加以更正。CPI蕴涵的商品和供职根基分类众，区别种别商品和供职价钱观察办事存正在分歧，也存正在相通之处。可从某一商品或供职种别入手，摸索酿成一整套行之有用的办事流程和手段，并渐渐推行到其他种别，增加操纵限制，从而普及统计效力，消浸观察本钱。