传统数据处理方法(你所了解的针对结构化数据的传统数据处理方法)
1.你所了解的针对结构化数据的传统数据处理方法有哪些
1、聚类分析（cluster analysis）聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。
聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。
聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。
2、因子分析（factor analysis）因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。
因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。
在社会学研究中，因子分析常采用以主成分分析为基础的反覆法。3、相关分析（correlation analysis）相关分析（correlation analysis），相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。
相关关系是一种非确定性的关系，例如，以x和y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则x与y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。4、对应分析（correspondence analysis）对应分析（correspondence analysis）也称关联分析、r-q型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。
可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。
5、回归分析研究一个随机变量y对另一个（x）或一组（x1,x2，…，xk）变量的相依关系的统计分析方法。回归分析（regression analysis）是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。
运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。6、方差分析（anova/analysis of variance）又称“变异数分析”或“f检验”，是r.a.fisher发明的，用于两个及两个以上样本均数差别的显著性检验。
由于各种因素的影响，研究所得的数据呈现波动状。造成波动的原因可分成两类，一是不可控的随机因素，另一是研究中施加的对结果形成影响的可控因素。
方差分析是从观测变量的方差入手，研究诸多控制变量中哪些变量是对观测变量有显著影响的变量。这个 还需要具体问题具体分析。
2.数据分析方法有哪些
一、描述性统计
描述性统计是一类统计方法的汇总，揭示了数据分布特性。它主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布以及一些基本的统计图形。
1、缺失值填充：常用方法有剔除法、均值法、决策树法。
2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以在做数据分析之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。
二、回归分析
回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，以分析数据内在规律。
1. 一元线性分析
只有一个自变量X与因变量Y有关，X与Y都必须是连续型变量，因变量Y或其残差必须服从正态分布。
2. 多元线性回归分析
使用条件：分析多个自变量X与因变量Y的关系，X与Y都必须是连续型变量，因变量Y或其残差必须服从正态分布。
3.Logistic回归分析
线性回归模型要求因变量是连续的正态分布变量，且自变量和因变量呈线性关系，而Logistic回归模型对因变量的分布没有要求，一般用于因变量是离散时的情况。
4. 其他回归方法：非线性回归、有序回归、Probit回归、加权回归等。
三、方差分析
使用条件：各样本须是相互独立的随机样本；各样本来自正态分布总体；各总体方差相等。
1. 单因素方差分析：一项试验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系。
2. 多因素有交互方差分析：一顼实验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系
3. 多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或忽略影响关系
4. 协方差分祈：传统的方差分析存在明显的弊端，无法控制分析中存在的某些随机因素，降低了分析结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析，是将线性回归与方差分析结合起来的一种分析方法。
四、假设检验
1. 参数检验
参数检验是在已知总体分布的条件下（一股要求总体服从正态分布）对一些主要的参数（如均值、百分数、方差、相关系数等）进行的检验 。
2. 非参数检验
非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一般性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。
适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。
1）虽然是连续数据，但总体分布形态未知或者非正态；
2）总体分布虽然正态，数据也是连续类型，但样本容量极小，如10以下；
主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。
3.数据分析方法5种,数据分析有什么方法
借助工具，未至科技魔方是一款大数据模型平台，是一款基于服务总线与分布式云计算两大技术架构的一款数据分析、挖掘的工具平台，其采用分布式文件系统对数据进行存储，支持海量数据的处理。
采用多种的数据采集技术，支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具，支持流程化的模型配置。
通过第三方插件技术，很容易将其他工具及服务集成到平台中去。数据分析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、分析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。
4.传统数据库处理方式和大数据处理方式的区别
文件系统把数据组织成相互独立的数据文件，实现了记录内的结构性，但整体无结构；而数据库系统实现整体数据的结构化，这是数据库的主要特征之一，也是数据库系统与文件系统的本质区别。
在文件系统中，数据冗余度大，浪费存储空间，容易造成数据的不一致；数据库系统中，数据是面向整个系统，数据可以被多个用户、多个应用共享使用，减少了数据冗余。
文件系统中的文件是为某一特定应用服务的，当要修改数据的逻辑结构时，必须修改应用程序，修改文件结构的定义，数据和程序之间缺乏独立性；数据库系统中，通过DBMS的两级映象实现了数据的物理独立性和逻辑独立性，把数据的定义从程序中分离出去，减少了应用程序的维护和修改。
文件系统和数据库系统均可以长期保存数据，由数据管理软件管理数据，数据库系统是在文件系统基础上发展而来。
5.常用的数据分析方法有哪些
去百度文库，查看完整内容>内容来自用户：蒋上树常用数据分析方法有那些文章来源：ECP数据分析时间：2013/6/28 13:35:06发布者：常用数据分析（关注：554）标签：本文包括：常用数据分析方法：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析；问卷调查常用数据分析方法：描述性统计分析、探索性因素分析、Cronbach'a信度系数分析、结构方程模型分析（structural equations modeling）。
数据分析常用的图表方法：柏拉图（排列图）、直方图（Histogram）、散点图（scatter diagram）、鱼骨图（Ishikawa）、FMEA、点图、柱状图、雷达图、趋势图。数据分析统计工具：SPSS、minitab、JMP。
常用数据分析方法：1、聚类分析（Cluster Analysis）聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。
聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。
不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。2、因子分析（Factor Analysis）因子分析是指研究从变量群中提取共性因子的统计技术。
因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。相关分析（直方图JMP。
6.数据分析都有哪些方法
常用数据分析方法：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析； 问卷调查常用数据分析方法：描述性统计分析、探索性因素分析、Cronbach'a信度系数分析、结构方程模型分析（structural equations modeling） 。
数据分析常用的图表方法：柏拉图（排列图）、直方图（Histogram）、散点图（scatter diagram）、鱼骨图（Ishikawa）、FMEA、点图、柱状图、雷达图、趋势图。 数据分析统计工具：SPSS、minitab、JMP。
7.传统数据库处理方式和大数据处理方式的区别
文件系统把数据组织成相互独立的数据文件，实现了记录内的结构性，但整体无结构；而数据库系统实现整体数据的结构化，这是数据库的主要特征之一，也是数据库系统与文件系统的本质区别。
在文件系统中，数据冗余度大，浪费存储空间，容易造成数据的不一致；数据库系统中，数据是面向整个系统，数据可以被多个用户、多个应用共享使用，减少了数据冗余。
文件系统中的文件是为某一特定应用服务的，当要修改数据的逻辑结构时，必须修改应用程序，修改文件结构的定义，数据和程序之间缺乏独立性；数据库系统中，通过DBMS的两级映象实现了数据的物理独立性和逻辑独立性，把数据的定义从程序中分离出去，减少了应用程序的维护和修改。
文件系统和数据库系统均可以长期保存数据，由数据管理软件管理数据，数据库系统是在文件系统基础上发展而来。
8.传统的基本数据模型有哪几种
传统的基本数据模型有以下三种：
1、层次模型
层次模型是一种树结构模型，它把数据按自然的层次关系组织起来，以反映数据之间的隶属关系。层次模型是数据库技术中发展最早、技术上比较成熟的一种数据模型。它的特点是地理数据组织成有向有序的树结构，也叫树形结构。结构中的结点代表数据记录，连线描述位于不同结点数据间的从属关系（一对多的关系）。
2、网状数据模型
网状模型将数据组织成有向图结构，图中的结点代表数据记录，连线描述不同结点数据间的联系。这种数据模型的基本特征是，结点数据之间没有明确的从属关系，一个结点可与其它多个结点建立联系，即结点之间的联系是任意的，任何两个结点之间都能发生联系，可表示多对多的关系。
3、关系数据模型
由于关系数据库结构简单，操作方便，有坚实的理论基础，所以发展很快，80年代以后推出的数据库管理系统几乎都是关系型的。涉及到的基础知识有：关系模型的逻辑数据结构，表的操作符，表的完整性规则和视图、范式概念。
关系模型可以简单、灵活地表示各种实体及其关系，其数据描述具有较强的一致性和独立性。在关系数据库系统中，对数据的操作是通过关系代数实现的，具有严格的数学基础。
9.数据分析的方法有哪些
总的分两种：
1 列表法
将实验数据按一定规律用列表方式表达出来是记录和处理实验数据最常用的方法。表格的设计要求对应关系清楚、简单明了、有利于发现相关量之间的物理关系；此外还要求在标题栏中注明物理量名称、符号、数量级和单位等；根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。最后还要求写明表格名称、主要测量仪器的型号、量程和准确度等级、有关环境条件参数如温度、湿度等。
2 作图法
作图法可以最醒目地表达物理量间的变化关系。从图线上还可以简便求出实验需要的某些结果（如直线的斜率和截距值等），读出没有进行观测的对应点（内插法），或在一定条件下从图线的延伸部分读到测量范围以外的对应点（外推法）。此外，还可以把某些复杂的函数关系，通过一定的变换用直线图表示出来。例如半导体热敏电阻的电阻与温度关系为，取对数后得到，若用半对数坐标纸，以lgR为纵轴，以1/T为横轴画图，则为一条直线。
