infobright 基于mysql的数据仓库综述
摘要:infobright 是基于mysql的,但不装mysql亦可,因为它本身就自带了一个。mysql可以粗分为逻辑层和物理存储引擎,infobright主要实现的就是一 个存储引擎,但因为它自身存储逻辑跟关系型数据库根本不同,所以,它不能像InnoDB那样直接作为插件挂接到mysql,它的逻辑层是mysql的逻辑 层加上它自身的优化器。
关键词:infobright;MySql整合;数据仓库;高数据压缩比
一、技能概略
Infobright进行复杂的查询时,经过其专利的常识网格(Knowledge Grid)和综合优化技能,可以完成优异的功能显示。数据在导入Infobright之后将被高度紧缩并以“数据块 (Data Pack)”的方式存储,于此还,常识网格会主动创立一个十分紧凑的元数据,个中包括了计算数据和数据块之间的关系信息。因而当接纳到查询时,Infobright查询优化器可以经过元数据智能的决议哪些数据块与查询恳求相关,并将之解压。基于常识网格技能,Infobright不需求专门对数据进行划分,也不需求树立索引,然后节流查询处置工夫,提拔呼应速度。
基于列的数据架构 Infobright施行、治理十分简洁,不需求人工调试、数据分区和创立索引,有用的降低了治理本钱,此外Infobright不需求运转在非凡的专用硬件上,还它的数据紧缩比很高(10:1—40:1),比任何其他数据仓库系统对存储设备的占用都小。这些特征让Infobright为企业IT部分降低了预算上的担负。
二、功用
Infobright 企业版——剖析型高功能数据仓库
在随时在线的今日,需求进行营业剖析的数据规划惊人增进。贸易决议计划需依托海量数据的及时拜访,企业才干包管准确偏向。
Infobright是一个基于共同的专利常识网格技能的列式数据库,可以降低您90%的治理任务量。运用Infobright不需求创立非凡的数据库形式,无需创立和维护索引,无需对数据进行分区,甚至不需求手动调整,常识网格就会在原始数据导入时,主动创立和维护数据,并用以优化每一个查询。在一台PC效劳器上,Infobright企业版在对50TB甚至更大都据量进行多并发复杂查询时,可以显示出令人赞叹的速度,比拟于MySQL,其查询速度提拔了数倍甚至数十倍。在同类产物中,Infobright的单机功能处于抢先位置。
三、高数据紧缩比
1.行业抢先的数据紧缩技能
假如您的系统数据量天天都在疾速增进,受限于磁盘的容量与传输速度,您进行备份的本钱与工夫将疾速添加,直至您无法接受。侥幸的是,软件技能的开展速度逾越了磁盘数据传输技能的开展速度,Infobright可以将数据以10:1至40:1的比率紧缩,经过常识网格与列式架构的连系,极大的提拔了查询呼应速度,并降低了存储本钱。经过列式架构和超紧缩算法,10TB的原始数据在Infobright中将被紧缩至1TB,对某些类型的数据,最高可以到达40:1的紧缩率。而且Infobright紧缩的速度十分快,当前曾经可以以每小时1TB甚至更快的速度向Infobright导入数据,然后让您的数据仓库系统接近“及时”任务的形态。
假如您的企业正苦于应对剧增的数据规划、增进的客户需求以及较高的用户希冀,还优化IT投入,Infobright进步前辈的数据库技能就能够协助到您。让您的IT团队能专注于疾速完成营业交付而非根底架构,才干发明更大贸易价值。
2.MySql整合
(1)与MySql整合
Infobright是基于MySQL开拓的剖析型数据库,MySQL原有效户可以经过Infobright获得幻想的数据仓库处理方案,它运用MySQL用户熟习的界面,对基于MySQL开拓的使用不需求进行改动,就可以无缝晋级到Infobright。与MySQL相兼容的BI东西及ETL东西,Infobright都能完满支撑。
三、技能特征
SQL支撑 具体支撑ANSI SQL-92规范和SQL-99扩展规范中VIEW和存储进程的局部
1.灵敏的schema支撑。支撑一切schema设计;
2.行业规范接口。
支撑规范数据库接口,包罗ODBC、JDBC和当地衔接;
3.API接口支撑 支撑的API接口包罗C、C++、C#、Borland Delphi (via dbExpress)、 Eiffeel、SmallTalk、 Java (with a native Java driver implementation), Lisp, Perl, PHP, Python, Ruby, REALbasic, FreeBasic, and Tcl;
4.DML支撑。支撑DML语句(Insert、Update、Delete);
5.并发用户数。支撑至多500个数据库用户,32个并发查询(视CPU中心数与内存巨细而定);
6.操作系统支撑。Windows Server 2003/2008 (64-bit, 32-bit), Solaris 10 (64-bit), Red Hat Enterprise Linux 5 (64-bit),Novell SUSE Linux Enterprise 10, Red Hat Enterprise Linux 5 Advanced Server (64-bit),Debian ‘Lenny’ (64-bit), or CentOS 5.2 (64-bit)
7.处置器支撑。
起码4G内存的Intel和AMD x86架构效劳器(建议16G内存或更多) 8.数据导入方法支撑。Infobright企业版支撑两种数据导入方法。经过文本方法向MySQL中导入,或经过文本和二进制文件的方法向Infobright中导入(最高280GB/小时)。
2.在线剖析
无论您的公司是在线告白收集,零售商,手机告白效劳供应商或是任何其他的制造业,剖析的主要性都与日积月累,调查您网站的功能、您的客户的拜访行为、评价告白和营销运动的结果,并剖析成功与掉败之间的差别,这可以让您企业与竞争敌手摆开差距,获得最终的成功。而这需求您对来自网页和离线方法的很多数据进行有用的应用,Infobright让您可以用低本钱的方法轻松取得这种才能,比拟与其他相似的方案,Infobright的本钱低价,治理简洁,降低了您取得竞争优势的门槛。
3.数据集市(Data Mart)
数据集市凡间界说为包括特定使用剖析的数据仓库, 其剖析使用与用户的营业紧耦合,具有较强的专业特征,因而凡间针对集团内部某个特定的部分建立。在曩昔几年里,数据集市系统的施行数目疾速增进,这种增进是由贸易用户疾速查询的需求驱动的。
曩昔数据集市项目由集团的IT部分一致施行,而目前,越来越多的集团内部用户部分自行施行数据集市项目,并由内部IT司理担任施行担任人,以确保数据集市的功用与需求吻合。
四、Infobright几大长处:
1.高紧缩比率,均匀紧缩比可达10:1,甚至可以到达40:1,我用infobright把3.1G的数据存成缺乏300M。
2.列存储,即便数据量非常宏大,查询速度也很快。用于数据仓库,处置海量数据没一套可不可。
3.不需求建索引,就防止了维护索引及索引跟着数据膨胀的问题。把每列数据分块紧缩寄存,每块有常识网格节点记载块内的计算信息,替代索引,加快查找。
4.单一台效劳器可以高效地读写30T数据。具有可扩展性,这里是指关于相同的查询,当数据量是10T时,它消耗的工夫不该该比1T数据量时慢太 多,根本是一个数目级内。
与mysql比照:
1.infobright合用于数据仓库场所,即非事务、非及时、非多并发;剖析为主;寄存既定的现实(根本不会再变),例如日记,或汇总的很多的 数据。所以它并不合适于应对来自网站用户的恳求。实践上它取一笔记录比mysql要慢良多,但它取100W笔记录会比mysql快。
2.mysql的总数据文件占用空间凡间会比实践数据多,由于它还有索引。infobright的紧缩才能很强壮,按列按分歧类型的数据来紧缩。
3.效劳方式与接口跟mysql一致,可以用相似mysql的方法启用infobright效劳,然后本来衔接mysql的使用顺序都可以以相似的 方法衔接与查询infobright。这对纯熟mysql者来说是个福音,进修本钱根本为0。
infobright有两个发布版:开源的ICE及闭源商用的IEE。ICE供应了足够用的功用,但不克不及 INSERT,DELETE,UPDATE,只能LOAD DATA INFILE。IEE除供应更充沛的功用外,听说查询速度也要更快。
五、缺乏之处
不支撑数据更新:社区版Infobright只能运用“LOAD DATA INFILE”的方法导入数据,不支撑INSERT、UPDATE、DELETE
不支撑高并发:只能支撑10多个并发查询
关键词:infobright;MySql整合;数据仓库;高数据压缩比
一、技能概略
Infobright进行复杂的查询时,经过其专利的常识网格(Knowledge Grid)和综合优化技能,可以完成优异的功能显示。数据在导入Infobright之后将被高度紧缩并以“数据块 (Data Pack)”的方式存储,于此还,常识网格会主动创立一个十分紧凑的元数据,个中包括了计算数据和数据块之间的关系信息。因而当接纳到查询时,Infobright查询优化器可以经过元数据智能的决议哪些数据块与查询恳求相关,并将之解压。基于常识网格技能,Infobright不需求专门对数据进行划分,也不需求树立索引,然后节流查询处置工夫,提拔呼应速度。
基于列的数据架构 Infobright施行、治理十分简洁,不需求人工调试、数据分区和创立索引,有用的降低了治理本钱,此外Infobright不需求运转在非凡的专用硬件上,还它的数据紧缩比很高(10:1—40:1),比任何其他数据仓库系统对存储设备的占用都小。这些特征让Infobright为企业IT部分降低了预算上的担负。
二、功用
Infobright 企业版——剖析型高功能数据仓库
在随时在线的今日,需求进行营业剖析的数据规划惊人增进。贸易决议计划需依托海量数据的及时拜访,企业才干包管准确偏向。
Infobright是一个基于共同的专利常识网格技能的列式数据库,可以降低您90%的治理任务量。运用Infobright不需求创立非凡的数据库形式,无需创立和维护索引,无需对数据进行分区,甚至不需求手动调整,常识网格就会在原始数据导入时,主动创立和维护数据,并用以优化每一个查询。在一台PC效劳器上,Infobright企业版在对50TB甚至更大都据量进行多并发复杂查询时,可以显示出令人赞叹的速度,比拟于MySQL,其查询速度提拔了数倍甚至数十倍。在同类产物中,Infobright的单机功能处于抢先位置。
三、高数据紧缩比
1.行业抢先的数据紧缩技能
假如您的系统数据量天天都在疾速增进,受限于磁盘的容量与传输速度,您进行备份的本钱与工夫将疾速添加,直至您无法接受。侥幸的是,软件技能的开展速度逾越了磁盘数据传输技能的开展速度,Infobright可以将数据以10:1至40:1的比率紧缩,经过常识网格与列式架构的连系,极大的提拔了查询呼应速度,并降低了存储本钱。经过列式架构和超紧缩算法,10TB的原始数据在Infobright中将被紧缩至1TB,对某些类型的数据,最高可以到达40:1的紧缩率。而且Infobright紧缩的速度十分快,当前曾经可以以每小时1TB甚至更快的速度向Infobright导入数据,然后让您的数据仓库系统接近“及时”任务的形态。
假如您的企业正苦于应对剧增的数据规划、增进的客户需求以及较高的用户希冀,还优化IT投入,Infobright进步前辈的数据库技能就能够协助到您。让您的IT团队能专注于疾速完成营业交付而非根底架构,才干发明更大贸易价值。
2.MySql整合
(1)与MySql整合
Infobright是基于MySQL开拓的剖析型数据库,MySQL原有效户可以经过Infobright获得幻想的数据仓库处理方案,它运用MySQL用户熟习的界面,对基于MySQL开拓的使用不需求进行改动,就可以无缝晋级到Infobright。与MySQL相兼容的BI东西及ETL东西,Infobright都能完满支撑。
三、技能特征
SQL支撑 具体支撑ANSI SQL-92规范和SQL-99扩展规范中VIEW和存储进程的局部
1.灵敏的schema支撑。支撑一切schema设计;
2.行业规范接口。
支撑规范数据库接口,包罗ODBC、JDBC和当地衔接;
3.API接口支撑 支撑的API接口包罗C、C++、C#、Borland Delphi (via dbExpress)、 Eiffeel、SmallTalk、 Java (with a native Java driver implementation), Lisp, Perl, PHP, Python, Ruby, REALbasic, FreeBasic, and Tcl;
4.DML支撑。支撑DML语句(Insert、Update、Delete);
5.并发用户数。支撑至多500个数据库用户,32个并发查询(视CPU中心数与内存巨细而定);
6.操作系统支撑。Windows Server 2003/2008 (64-bit, 32-bit), Solaris 10 (64-bit), Red Hat Enterprise Linux 5 (64-bit),Novell SUSE Linux Enterprise 10, Red Hat Enterprise Linux 5 Advanced Server (64-bit),Debian ‘Lenny’ (64-bit), or CentOS 5.2 (64-bit)
7.处置器支撑。
起码4G内存的Intel和AMD x86架构效劳器(建议16G内存或更多) 8.数据导入方法支撑。Infobright企业版支撑两种数据导入方法。经过文本方法向MySQL中导入,或经过文本和二进制文件的方法向Infobright中导入(最高280GB/小时)。
2.在线剖析
无论您的公司是在线告白收集,零售商,手机告白效劳供应商或是任何其他的制造业,剖析的主要性都与日积月累,调查您网站的功能、您的客户的拜访行为、评价告白和营销运动的结果,并剖析成功与掉败之间的差别,这可以让您企业与竞争敌手摆开差距,获得最终的成功。而这需求您对来自网页和离线方法的很多数据进行有用的应用,Infobright让您可以用低本钱的方法轻松取得这种才能,比拟与其他相似的方案,Infobright的本钱低价,治理简洁,降低了您取得竞争优势的门槛。
3.数据集市(Data Mart)
数据集市凡间界说为包括特定使用剖析的数据仓库, 其剖析使用与用户的营业紧耦合,具有较强的专业特征,因而凡间针对集团内部某个特定的部分建立。在曩昔几年里,数据集市系统的施行数目疾速增进,这种增进是由贸易用户疾速查询的需求驱动的。
曩昔数据集市项目由集团的IT部分一致施行,而目前,越来越多的集团内部用户部分自行施行数据集市项目,并由内部IT司理担任施行担任人,以确保数据集市的功用与需求吻合。
四、Infobright几大长处:
1.高紧缩比率,均匀紧缩比可达10:1,甚至可以到达40:1,我用infobright把3.1G的数据存成缺乏300M。
2.列存储,即便数据量非常宏大,查询速度也很快。用于数据仓库,处置海量数据没一套可不可。
3.不需求建索引,就防止了维护索引及索引跟着数据膨胀的问题。把每列数据分块紧缩寄存,每块有常识网格节点记载块内的计算信息,替代索引,加快查找。
4.单一台效劳器可以高效地读写30T数据。具有可扩展性,这里是指关于相同的查询,当数据量是10T时,它消耗的工夫不该该比1T数据量时慢太 多,根本是一个数目级内。
与mysql比照:
1.infobright合用于数据仓库场所,即非事务、非及时、非多并发;剖析为主;寄存既定的现实(根本不会再变),例如日记,或汇总的很多的 数据。所以它并不合适于应对来自网站用户的恳求。实践上它取一笔记录比mysql要慢良多,但它取100W笔记录会比mysql快。
2.mysql的总数据文件占用空间凡间会比实践数据多,由于它还有索引。infobright的紧缩才能很强壮,按列按分歧类型的数据来紧缩。
3.效劳方式与接口跟mysql一致,可以用相似mysql的方法启用infobright效劳,然后本来衔接mysql的使用顺序都可以以相似的 方法衔接与查询infobright。这对纯熟mysql者来说是个福音,进修本钱根本为0。
infobright有两个发布版:开源的ICE及闭源商用的IEE。ICE供应了足够用的功用,但不克不及 INSERT,DELETE,UPDATE,只能LOAD DATA INFILE。IEE除供应更充沛的功用外,听说查询速度也要更快。
五、缺乏之处
不支撑数据更新:社区版Infobright只能运用“LOAD DATA INFILE”的方法导入数据,不支撑INSERT、UPDATE、DELETE
不支撑高并发:只能支撑10多个并发查询
诚毅论文网提供论文发表,发表文章,职称论文怎么发表,论文发表, 高级职称论文发表价格,毕业论文,发表论文,职称论文服务;,发表文章价格,发表论文就上诚毅论文网,转载本论文请保留出处。
电子投稿:chengyilunwen@163.com 注明“所投期刊”
电话: 029-85236482 18710924054
咨询QQ:1720581375 朱老师
网址:http://www.chengyilunwen.com/
百姓论文网提供论文发表,发表文章,职称论文发表,论文发表价格,职称论文发表价格,毕业论文,发表论文,职称论文服务;咨询论文发表价格,发表文章价格,发表论文就上百姓论文网,转载本论文请保留出处。