海量数据库中韩,共迎海量数据库管理挑战 中韩数据库专家对话北京

2011年3月26日,“海量数据库管理:企业面临的挑战暨中韩数据库技术交流会”在中国人民大学举行。本次会议由中国人民大学信息学院主办、北京人大金仓信息技术股份有限公司(简称人大金仓)承办。中国数据库著名专家、中国人民大学信息学院教授王珊,韩国著名数据库专家李华植先生,中国人民大学信息学院院长、中国人民大学信息学院教授杜小勇,中国人民大学信息学院副教授陆嘉恒、张孝,人大金仓副总裁李祥凯,《程序员》... [阅读全文]

海量数据库中韩,共迎海量数据库管理挑战 中韩数据库专家对话北京

2011年3月26日,“海量数据库管理:企业面临的挑战暨中韩数据库技术交流会”在中国人民大学举行。本次会议由中国人民大学信息学院主办、北京人大金仓信息技术股份有限公司(简称人大金仓)承办。中国数据库著名专家、中国人民大学信息学院教授王珊,韩国著名数据库专家李华植先生,中国人民大学信息学院院长、中国人民大学信息学院教授杜小勇,中国人民大学信息学院副教授陆嘉恒、张孝,人大金仓副总裁李祥凯,《程序员》... [阅读全文]

海量数据库,海量空间数据库实施策略---矢量数据4

讲完操作系统的实施策略,接着介绍数据库的优化策略 1. 是否采用集群策略 2. 配置相应的参数以及存储配置 3. 如果采用集群策略,确定每个节点要完成的应用类型(OLTP,OLAP) 是否采用集群策略主要取决于两个方面: 首先是你的数据库服务器的硬件资源相对于前段应用业务是否可以满足,如果不能满足,那可以选择集群。 第二个方面是你对系统的高可用上是否有要求,说白一些就是你能允许业务的宕机时间是多少... [阅读全文]

海量数据库,海量空间数据库实施策略---矢量数据2

空间数据库设计,这部分主要介绍以下三方面的内容: 1. 设计流程 2. 数据建模 3. 数据组织 一般项目的设计流程为下图所示的流程 第一个步骤为gather也就是收集信息,也就是手机各种技术方面的信息,包括系统需求,客户期望等等,收集完信息后进入Design阶段,即设计阶段,在该阶段需要按照在第一阶段中所收集的信息进行设计,包括物理模型和逻辑模型的设计,在对两个模型设计完后进入第三个阶段buil... [阅读全文]

海量数据库,海量空间数据库实施策略---矢量数据2

空间数据库设计,这部分主要介绍以下三方面的内容: 1. 设计流程 2. 数据建模 3. 数据组织 一般项目的设计流程为下图所示的流程 第一个步骤为gather也就是收集信息,也就是手机各种技术方面的信息,包括系统需求,客户期望等等,收集完信息后进入Design阶段,即设计阶段,在该阶段需要按照在第一阶段中所收集的信息进行设计,包括物理模型和逻辑模型的设计,在对两个模型设计完后进入第三个阶段buil... [阅读全文]

数据库批量更新,数据库中海量文件的批量转移方法

事情的经过是这样子的!数据库A表添加一条记录,**系统中B目录下就会多出5n个文件。随着系统运行3年多,B目录中的文件数已高达2M多,而这些文件恰恰又是用户高度频繁访问的。于是问题就来了,一方面是用户访问文件速度变慢了;另一方面是文件太多,很难维护。 怎么办呢?思许良久,发现A表中有个录入时间字段是不会变更的。如果截取录入时间的年份+月份组成,用来创建B目录下的子目录名,把当年当月新增的文件统一归... [阅读全文]

海量数据库设计,减少海量数据库的存储空间

如果您有疑问或建议,请进入技术讨论区交流 作为OLTP的应用系统,有时因为业务需要,也不得不保留很多的历史数据。如果需要频繁的访问历史数据,最直接的办法还是把历史数据移到另一服务器。以免影响业务系统的性能。但是如果对历史数据的访问只是偶尔查询一下的话,分机器或分库都会对程序的开发带来一定的影响。 上周去看了一下BMCP的项目,所用数据库是SQL2005。数据文件已经达到600... [阅读全文]

数据库算法,海量数据库的查询优化及分页算法方案集合1/2

随着“金盾工程”建设的逐步深入和公安信息化的高速发展,公安计算机应用系统被广泛应用在各警种、各部门。与此同时,应用系统体系的核心、系统数据的存放地――数据库也随着实际应用而急剧膨胀,一些大规模的系统,如人口系统的数据甚至超过了1000万条,可谓海量。那么,如何实现快速地从这些超大容量的数据库中提取数据(查询)、分析、统计以及提取数据后进行数据分页已成为各地系统管理员和数据库管理员亟待解决的难题。 ... [阅读全文]

数据库算法,海量数据库的查询优化及分页算法方案集合2/2

FROM publish WHERE (id NOT IN     (SELECT TOP n-1 id      FROM publish)) id 为publish 表的关键字 我当时看到这篇文章的时候,真的是精神为之一振,觉得思路非常得好。等到后来,我在作办公自动化系统(ASP.NET+ C#+SQL SERVER)的时候,忽然想起了这篇文章,我想如果把这个语句改造一下,这就可能是... [阅读全文]

海量数据库,《海量数据库解决方案》读后感

总看一些书介绍数据库方面的周边技巧,有点腻。最近买了《海量数据库解决方案》这本书来看,已经读完了,在内容方面安排还是比较有特色,内容既有国外大作那种功底知识介绍,又有国内书籍那种周边技巧介绍,感觉出不一样的风格。虽然书的题目是海量数据库解决方案,但是读完后我丝毫感觉不到海量的思想,更多是数据库方面的优化知识介绍,更确切的说是关于Oracle数据库一些优化知识介绍,所以想读的人要有心理准... [阅读全文]

郑保卫海量数据库,介绍一本好书《海量数据库解决方案》

介绍一本好书《海量数据库解决方案》 http://www.laoxiong.net/introducing-a-perfect-book.html 前几日收到好友崔华(dbsnake)给我寄来的《海量数据库解决方案》--一本来自韩国的数据库技术书籍,我随之以极大的兴趣投了入此已书的阅读之中。读了大部分内容之后,我觉得有必要在这里写一写,向大家介绍介绍一下此书。 其实在此前,我已经知道崔华在参... [阅读全文]

海量数据库,《海量数据库解决方案》之位图索引的结构和特征

2.2.2  位图索引的结构和特征 位图索引的根块和分支块的结构与B-Tree索引完全相同,唯独叶块与B-Tree索引有所不同,其具体结构如图2-8所示。   ■ 图2-8 假设表中的“COLOR”列值在每一个数据块中的存储顺序为“YELLOW,GREEN,RED,NULL”,如果基于这个列来创建位图索引,则需要将叶块中该列的各个值转化为位。如图2-8右侧上端所示,利用二维表... [阅读全文]

疯狂代码,大型网站架构系列之四,多对多关系的以及并发缓存的设计

接上篇,并对上篇文章进行了补充,以下是相关的链接,这是第四篇疯狂代码,大型网站架构系列之一,前言,不得不考虑的问题疯狂代码,大型网站架构系列之二,底层架构概论疯狂代码,大型网站架构系列之三,多对多关系的优化设计疯狂代码,大型网站架构系列之四,多对多关系的以及并发缓存的设计疯狂代码,大型网站架构系列之五,缓存策略设计概要 多对多关系以及多表查询优化处理 上篇以用户数据表为例介绍了基本的数据分割... [阅读全文]

疯狂代码,大型网站架构系列之三,多对多关系的优化设计

接上篇:http://www.crazycoder.cn/Yuanchuang/Article11064.html 疯狂代码原创发布,转载请注明出处 http://www.crazycoder.cn/上篇以用户数据表为例介绍了基本的数据分割方案以及基本的配置方案。但是在2.0时代,这种简单的列表索引已经远远实现起来是问题的,多对多关系将是最常见的关系。现在我们针对web2.0数据中广泛存在的多对... [阅读全文]

疯狂代码,大型网站架构系列之二,底层架构概论

书结上回,www.crazycoder.cn/Yuanchuang/Article10919.html 首先澄清上篇中关于几个朋友的评论。上篇疯狂代码介绍的基于AJAX的攻击很多人提出疑问,比如不能跨域,减轻负担之类。Ajax是通过简单的GET和POST进行数据传递的,采用HTTPDEBUGGER,抓取数据,然后采用如下方案,顺便写个示例的攻击代码.比传统的webform,我们更容易构造一些,其实... [阅读全文]
1 共1条 分1页