大家好，我是小富～前言本文是《ShardingSphere5.x分库分表原理与实战》系列的第六篇，书接上文实现三种自定义分片算法。通过自定义算法，可以根据特定业务需求定制分片策略，以满足不同场景下的性能、扩展性或数据处理需求。同时，可以优化分片算法以提升系统性能，规避数据倾斜等问题。在这里，自定义分片算法的类型（Type）统一为CLASS_BASED，包含两
......
137
0
0
2024-08-03
* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。这个事情怎么产生的MyCat作为经典的分库分表中间件，在长时间内被广泛认为是管理超大MySQL数据库集合的有效解决方案。近来接到客户需求，需要将MyCat集群迁移到GreatSQL中，并且在一段时间内需要实时从MyCat中同步数据到GreatSQL中，全量同步数据比较容易操作，增
......
227
0
0
2024-03-26
Tech 导读 本文以降低sharding-jdbc数据库连接数实践为主线，探究了sharding-jdbc的路由规则，对比分析了四种改造方案，给出了一种自定义分表算法的优化方案。01背景在今年的敏捷团队建设中，我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢？由此我的Runner探索之旅开始了！配运平台组的快递
......
215
0
0
2024-02-01
本文翻译自 How does database sharding work?，如有疑问，请联系译者了解什么是数据库分片，分片如何工作的，以及一些常见的分片框架和工具。How does database sharding work?如果你使用过 Google 或 YouTube，那么你很可能已经访问过分片数据。分片通过将数据分区存储在多个服务器上，而不是将所有
......
231
0
0
2024-01-05
当业务数据达到一定量级(比如：mysql单表记录量>1千万)后，通常会考虑“分库分表”将数据分散到不同的库或表中，这样可以大大提高读/写性能。但是问题来了，对于 select * from table limit offset , pagesize 这种分页方式，原来一条语句就可以简单搞定的事情会变得很复杂，本文将与大家一起探讨分库分表后”分页”面临的
......
215
0
0
2023-12-10
一：数据库分片方案客户端代理： 分片逻辑在应用端，封装在jar包中，通过修改或者封装JDBC层来实现。 当当网的 Sharding-JDBC 、阿里的TDDL是两种比较常用的实现。中间件代理： 在应用和数据中间加了一个代理层。分片逻辑统一维护在中间件服务中。 我们现在谈的 Mycat、360的Atlas、网易的DDB等等都是这种架构的实现二：Sharding
......
406
0
0
2023-12-04
Sharding – JDBC 最早是 当当网 内部使用的一款分库分表框架，到2017年的时候才开始对外开源，这几年在大量社区贡献者的不断迭代下，功能也逐渐完善，现已更名为 ShardingSphere ，2020年4⽉16日正式成为 Apache 软件基金会的顶级项目。ShardingSphere-Jdbc定位为轻量级Java框架，在 Java 的Jd
......
323
0
0
2023-10-26
尤其是对于库内分表这块的分享，当你去搜索单表数据增长过快该如何处理时，一般都会推荐你做分表处理，但你几乎找不到较为全面的实操教学，网上讲述分表技术更多是停留在表面的理论概念层次做阐述，而本章中则会结合自身之前接触的一个项目业务，再对库内分表技术进行全面阐述~PS：虽然当时负责的项目并未达到月增上亿条数据的规模，但处理这种单表数据过大的方案都是一致的，将本文看
......
446
0
0
2023-05-28
前言大家好，我是田螺。我们去面试的时候，几乎都会被问到分库分表。田螺哥整理了分库分表的15道经典面试题，大家看完肯定会有帮助的。1. 我们为什么需要分库分表在分库分表之前，就需要考虑为什么需要拆分。我们做一件事，肯定是有充分理由的。所以得想好分库分表的理由是什么。我们现在就从两个维度去思考它，为什么要分库？为什么要分表？1.1 为什么要分库如果业务量剧增，数
......
385
0
0
2023-02-22
需要带着问题来了解mysql的分库分表什么是分库分表，为什么我们需要分库分表如何进行分库分表，有什么优缺点对于分库分表有哪些架构设计，对于后期的扩容扩展怎么样目前行业内流行的解决方案有哪些？各自有什么特点自己设计一个数据库分库分表的框架，如何设计，需要考虑哪些因素为什么需要分库分表随着我们的系统运行，存储在关系型数据库的数据量会越来越大，系统的访问的压力也会
......
411
0
0
2022-12-16
众所周知，数据库很容易成为应用系统的瓶颈。单机数据库的资源和处理能力有限，在高并发的分布式系统中，可采用分库分表突破单机局限。本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。1 分库分表概述在业务量不大时，单库单表即可支撑。 当数据量过大存储不下、或者并发量过大负荷不起时，就要考虑分库分表。1.1 分库分表相关术语读
......
385
0
0
2022-12-12
前言而本篇文章的背景是在我们上线这段时间遇到的一些问题并尝试解决的方案。问题产生之前提到在分表应用上线前我们需要将原有表的数据迁移到新表中，这样才能保证业务不受影响。所以我们单独写了一个迁移应用，它负责将大表中的数据迁移到 64 张分表，而再迁移过程中产生的数据毕竟是少数，最后在上线当晚再次迁移过去即可。一切想的很美好，当这个应用上线后却发现没这么简单。数据
......
387
0
0
2022-12-11
大家好，我是小富～说在前边今天是《分库分表 ShardingSphere 原理与实战》系列的开篇文章，之前写过几篇关于分库分表的文章反响都还不错，到现在公众号:程序员小富后台不断的有人留言、咨询分库分表的问题，我也没想到大家对于分库分表的话题会这么感兴趣，可能很多人的工作内容业务量较小很难接触到这方面的技能。这个系列在我脑子里筹划了挺久的，奈何手说啥也不干活
......
392
0
0
2022-12-10
小伙伴想精准查找自己想看的MySQL文章？喏 → MySQL江湖路 | 专栏目录记得，如果有人问你做数据库优化最有效的方式是什么？SQL优化、分布式集群、分库分表！干就完了~ 但上来就考虑分库分表真的合适么，你对分库分表又理解多少呢？什么时候分？有几种分法儿？ 别想了，快上车！哈哥带你捋一下分库分表的额各种玩儿法~记得收藏目录一、朴实无华的 - 分表1、垂直
......
366
0
0
2022-11-18
Cobar 虽然是一款“古老”的数据库中间件，但目前不少公司仍然在用它，且它包含了不少有意思的算法和实现，今天就来分享 Cobar 提出的一种在分库场景下对 Order By / Limit 的优化。原算法描述参考： https://github.com/alibaba/cobar/blob/master/doc/cobarSolution.ppt背景Cob
......
394
0
0
2022-10-20