分库分表与分布式数据库技术选项分析

最近经常被问到分库分表与分布式数据库如何选择,网上也有很多关于中间件+传统关系数据库(分库分表)与NewSQL分布式数据库的文章,但有些观点与判断是我觉得是偏激的,脱离环境去评价方案好坏其实有失公允。


基于数据库实现的分布式锁

概述

在单机时代,虽然不需要分布式锁,但也面临过类似的问题,只不过在单机的情况下,如果有多个线程要同时访问某个共享资源的时候,我们可以采用线程间加锁的机制,即当某个线程获取到这个资源后,就立即对这个资源进行加锁,当使用完资源之后,再解锁,其它线程就可以接着使用了。例如,在JAVA中,甚至专门提供了一些处理锁机制的一些API(synchronize/Lock等)。

但是到了分布式系统的时代,这种线程之间的锁机制,就没作用了,系统可能会有多份并且部署在不同的机器上,这些资源已经不是在线程之间共享了,而是属于进程之间共享的资源。

因此,为了解决这个问题,我们就必须引入分布式锁。分布式锁是指在分布式的部署环境下,通过锁机制来让多客户端互斥的对共享资源进行访问。


采用OpenReplicator解析MySQL binlog

Open Replicator是一个用Java编写的MySQL binlog分析程序。Open Replicator 首先连接到MySQL(就像一个普通的MySQL Slave一样),然后接收和分析binlog,最终将分析得出的binlog events以回调的方式通知应用。Open Replicator可以被应用到MySQL数据变化的实时推送,多Master到单Slave的数据同步等多种应用场景。Open Replicator目前只支持MySQL5.0及以上版本。


MySQL Binlog解析

概述

MySQL的安装可以参考:Linux(CentOS)中常用软件安装,使用及异常——MySQL, VmTools

MySQL关于Binlog的官方文档:The Binary Log

基于Binlog的主备复制:MySQL主备复制原理、实现及异常处理


数据库相关中间件收录集

数据库中间件

这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题:

  • 为海量前台数据提供高性能、大容量、高可用性的访问
  • 为数据变更的消费提供准实时的保障
  • 高效的异地数据同步

应用层通过分表分库中间件访问数据库,包括读操作(Select)和写操作(update, insert和delete等,DDL, DCL)。写操作会在数据库上产生变更记录,MySQL的变更记录叫binlog, Oracle的称之为redolog, 增量数据订阅与消费中间件解析这些变更,并以统一的格式保存起来,下层应用根据这些数据进行消费应用。当然,在数据库与数据库本身之间也会有数据库迁移的操作,这种操作可以不需要增量数据订阅与消费中间件的数据,而可以自行处理。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×