专业大数据挖掘分析——助力小微企业发现价值
电话+V: 152079-09430 ,欢迎咨询气井自动化数据采集流程,[大数据挖掘与分析],[大数据应用场景建设],[大数据接口共享],[大数据去除冗余],[大数据精准推送],[大数据广告价值],[助力小微企业成长更上台阶]
一、超深井钻探过程中井下数据采集与传输的方式及仪器
随着现代检测技术、计算机及其软件技术的飞速发展,目前采集与传输地表钻进参数并不困难。前苏联СГ-3超深井钻探的实践证明,当井深超过5km时地表测得的钻头和井底动力机工作参数的准确性明显下降,因此必须直接对井底钻进参数进行检测。
1.2.1井下数据采集的方式及仪器
整个井下数据的检测过程主要以信号流的形式出现,包括信号的采集、信号的转换、信号的处理与显示。测量不同的物理量,须采用不同的传感器,常用的井下参数测量传感器包括:
1)温度传感器:主要用热敏传感器和热电阻抗震传感器。
2)压力传感器:国际石油界把石英晶体压力计作为行业压力测量标准。
3)工具面向角、顶角(井斜角)和方位角传感器:主要用三轴磁通门磁强度传感器和三轴加速度传感器。
4)地层参数传感器:主要有伽马测井、电阻测井和电磁测井等抗震传感器。
近年来国内外迅速发展的随钻测量(MWD)和随钻测井(LWD)技术已把上述井下参数传感器及其后续的信号转换、处理与传输功能集成于一体,可实现钻进过程中实时地采集和传输井下参数。
目前处于国际领先地位的随钻测量(MWD)仪器厂家及产品如表1.2所示。
表1.2处于领先地位的随钻测量厂家及产品
1.2.2井下数据传输的方式及仪器
按井下信号向地表传输方式的不同可把仪器分为“井下存储”和“直接传输”式两类;向地表“直接传输”的通道又分为“有线”、“无线”两大类。目前可用的“无线”传输通道包括:泥浆脉冲、声波和电磁波通道(如表1.3所示)。由于声波方式目前很少在生产中应用,故下面主要介绍其他传输方式。
表1.3孔底信号传输通道类别
(1)井下存储方式
不实时将采集的数据传输到地面,而是将这些数据保存在SD卡内。每个回次结束后起钻读取数据,或通过自浮式仪器将存储的数据读取到计算机中,从而可节约升降钻柱的大量辅助作业时间。
为保证井下数据采集的可靠性,德国KTB科学钻探工程在采用泥浆脉冲方式传输数据的基础上还准备了备用方案:在井下仪器中安装一个存储器,不断记录钻井过程中传感器测量的数据,待提钻后将仪器存储器中的数据导入计算机,实现井下数据的回放与存储。
中国CCSD-1科学钻探工程也是采用井下存储方式。
(2)有线随钻传输方式
有线方式在钻进过程中通过铠装电缆把井下测量参数传至地表,具有成本低、对冲洗循环系统要求低、数据传输准确、可直接向井下供电和响应性好等优点,但电缆会影响正常钻进过程,加接钻杆耗时长。
(3)泥浆脉冲随钻传输方式
泥浆脉冲信息传输方式有压力正脉冲、负脉冲和连续脉冲3种形式,最大信号传输井深8000m左右。其信号形成机理及工作特点见表1.4所示。常用泥浆脉冲式随钻测量仪如表1.5所示。
表1.4三种泥浆脉冲信号的产生方式
俄罗斯的СГ-3超深井和德国KTB科学钻探工程,均使用泥浆脉冲发射器将经过处理并编码的信号传至地表,地表信号接收器接收信号并对信号进行解码,从而获得井下测量数据。俄罗斯采用井底发电机向泥浆脉冲器供电,并引入“所需功率系数K”以评价深井随钻测量的能耗。考虑到设备的可能性和15000m深处所需液力条件,系数K应不超过5%。
科学超深井钻探技术方案预研究专题成果报告(下册)
式中:Nr为井底发电机所需水马力;N为泵的水马力。
表1.5常用的泥浆脉冲式MWD仪器一览表
德国KTB为减少井深对泥浆脉冲信号的影响,当钻进到较深井段时,通过延长泥浆脉冲的时间间隔来实现井下数据的传输。由于井下温度高,KTB主要通过井下发电机供电,同时有锂电池供电备用方案。
(4)电磁波随钻传输方式
采用电磁波传输孔底信号是近年来发展起来的一种无线随钻测量技术。其优越性在于:①可在泥浆、气体、泡沫等任何冲洗液中使用;②停钻、停泵时仍可传输数据;③可在滑行钻进和转盘钻进中使用(有线方式只能在滑行钻进中使用)。但深孔(>4000m)条件下信号受地层电阻率影响大。
俄罗斯的ZTS型电磁波随钻测量仪主要技术参数如表1.6所示。
表1.6俄罗斯ZTS电磁波随钻测量仪主要技术参数
二、如何做数据分析(从数据采集到结果呈现的全流程指南)
数据分析是一项重要的工作,可以帮助企业或个人更好地了解市场、用户、产品等信息,从而做出更明智的决策。但是,如何做好数据分析呢?本文将从数据采集到结果呈现的全流程,为大家提供一份详细的指南。
一、数据采集
数据采集是数据分析的第一步,也是最为关键的一步。只有采集到准确、全面的数据,才能保证后续的分析结果可靠。以下是数据采集的具体步骤:
1.明确数据采集目标
在进行数据采集前,需要明确采集的目标是什么,需要采集哪些数据。比如,如果是进行用户行为分析,就需要采集用户的访问记录、点击行为、购买行为等数据。
2.确定采集方式
数据采集方式有多种,可以通过爬虫、API接口、问卷调查等方式进行。需要根据采集目标和数据来源选择合适的采集方式。
3.编写采集脚本
如果采用爬虫方式进行数据采集,需要编写采集脚本。脚本需要根据网站结构和数据格式进行编写,以确保能够正确地采集到数据。
4.进行数据清洗
采集到的数据可能存在重复、缺失、错误等问题,需要进行数据清洗。清洗的方式包括去重、填充缺失值、纠错等。
二、数据预处理
数据预处理是数据分析的第二步,主要是对采集到的数据进行处理和转换,以便后续的分析。以下是数据预处理的具体步骤:
1.数据格式转换
采集到的数据可能存在不同的格式,需要进行转换。比如,将时间格式转换为标准的日期格式,将字符串格式转换为数字格式等。
2.特征选择
对于大规模的数据集,不是所有的特征都是有用的,需要进行特征选择,选择与分析目标相关的特征。
3.数据归一化
不同特征的数据范围可能不同,需要进行数据归一化,将数据转换为相同的尺度,以便进行比较和分析。
三、数据分析
数据分析是数据分析的核心步骤,可以通过统计分析、机器学习等方式进行。以下是数据分析的具体步骤:
1.统计分析
统计分析是最常用的数据分析方法之一,可以通过描述统计、推断统计等方式对数据进行分析。比如,可以计算数据的均值、方差、标准差等统计量,进行假设检验等。
2.机器学习
机器学习是一种基于数据的自动化分析方法,可以通过训练模型对数据进行预测和分类。比如,可以使用决策树、支持向量机等算法进行数据分析。
四、结果呈现
结果呈现是数据分析的最后一步,需要将分析结果呈现给用户或决策者。以下是结果呈现的具体步骤:
1.数据可视化
数据可视化是一种直观、易懂的结果呈现方式,可以通过图表、地图等方式将分析结果呈现出来。
2.报告撰写
三、数据入库流程
一、规范数据入库流程
规范化的操作流程是避免操作错误产生的有效手段。据此,对航空物探数据入库过程中的数据质量检查内容和方法进行了分析,归纳出系统检查9项和拓扑检查5项(表5-5)。考虑到在数据入库过程中,需要给数据采集人员授予数据库数据编辑和删除权限(以便编辑录入的错误数,删除导入的不正确数据),在编辑或删除数据库数据时,有可能错误地编辑或删除已归档数据,破坏归档数据的完整性和正确性等因素,提出了航空物探数据库入库数据质量检查的规范化流程(图5-2)。
表5-5入库数据系统检查和拓扑检查
1)创建项目,在数据入库前先创建项目,按项目导入或录入数据。
2)入库前系统检查,导入或录入的入库数据必须通过系统的入库前检查(数据唯一性、数据类型、缺项检查),才能保存到采集库中。
3)数据进入采集库后,须接受入库后系统检查。若是空间数据必须接受拓扑检查,再与原数据文件进行逐字节比较检查,均通过后,进人工检查。
4)人工检查与人工复核,对项目概况数据、空间要素类数据(图形和属性)、文字数据、图件数据、可制成图件的对象类数据应进行人工检查与人工复核。检查方法是人工比对。该方法劳动强度大,检查人员要有较强的责任心才能发现其中的错误。人工检查与人工复核的工作内容相同,系统要求人工检查与人工复核必须由不同人员完成,加强数据检查力度,尽量消除人为因素造成的错误。
图5-2规范化的数据入库流程
5)系统归档检查,对入库数据的非空字段进行的检查。系统归档检查通过后,入库数据可归档存入资料库。
经测试,严格按照该数据入库流程开展数据入库工作。航空物探资料库数据与入库前原数据文件数据的一致性可达100%。
该流程将入库数据与资料库数据分离,单独建立一个数据采集数据库(简称“采集库”),把待入库数据暂存在采集库中。入库数据在采集库中接受各项质量检查和编辑,或删除操作,直至达到数据入库质量要求,归档进入资料库(进入资料库的数据除数据库管理员外其他用户是无权对其实施编辑或删除操作的),保证资料库数据的一致性和完整性,为整体提高航空物探数据库的质量提供了保障。
二、规则化数据检查方法
50多年来航空物探取得大量的基础资料和成果资料,这些资料在地学基础研究、油气资源评价等领域发挥的重要作用日益显现。人们越来越重视利用航空物探资料来解决所遇到的地质问题等,同时人们也很想了解所用资料的来源、质量等信息(如资料的测量年代、测量方法、仪器精度、飞行高度、定位精度,数据处理方法等),来评价问题解决的可信度。这也正是本信息系统建设者想要给用户提供的。历史已既成事实,许多与资料质量有关的信息,例如在使用数字收录以前有不少项目的测量仪器精度、飞行高度、定位精度等现已处可寻。
过去的不足证明现在的进步,尊重历史尽力适应未来的技术发展,是本信息系统建设所遵循的宗旨。因此,根据资料的实际情况,提出了入库数据有效性检查的规则化方法,较好地解决了不同年代资料信息不齐全的数据入库质量检查问题。
按照通常做法,在软件代码中直接编写出每个数据库表需要做检查字段的有效性检查代码。
航空物探信息系统建设
本系统采用规则化方法检查入库数据。在完成数据库结构设计之后,针对每张数据库表中每个字段制定了入库数据正确性的检查规则,建立动态检查规则表,针对不同的检查规则编写检查函数,从数据库中获取被检查表数据库字段的检查规则,对入库数据进行检查的。规则化方法代码实现的示例如下:
航空物探信息系统建设
系统检查采用传统检查方法实现代码量约15345行(表5-6),代码开发工作量很大,且灵活性差,不利于后期代码维护和扩展,如添加表或表添加检查字段后都需要对代码进行重新修改和编译。而本系统的规则化方法代码量仅495行(表5-6),只有传统检查方法代码的3.22%,且添加表或表添加检查字段后不需要修改代码;用户在数据入库时,根据实际需要直接修改检查规则表即可。
表5-6系统检查两种实现方式代码量对比表
【GSFAI BANK FINANCING】尊享直接对接老板
电话+V: 152079-09430
专注于为大数据运营推广及打包交易配套流程服务方案。为企业及个人客户提供高性价比的数据确权、数交所交易及应用场景内外共享解决方案,解决小微企业难题