万答#7,如何批量删数据和调整系统表空间

欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答

前情提要:

业务需要删除大量数据,如果直接 delete 会造成如下问题:

1.会产生大事务,造成主从延迟,影响数据库高可用切换。
2.系统表空间会不断膨胀。
3.锁定的记录多,更容易可能导致锁等待。
问1:如何优雅的删除大量数据

答:

1.如果表不需要就直接 drop

2.如果只保留表结构用 truncate

3.如果只保留部分数据可以使用 pt-archive 进行分批删除

特别注意,如果表太大的话,直接drop会truncate可能会造成大量IO导致数据库出现短暂响应延迟,可以通过硬链接的方式对表删除处理

问2:系统表空间不断膨胀怎么处理
答:

1.如果是已存在的数据库 无法在线收缩,那就通过mysqldump的方式建立新的从库,然后主从切换

2.新实例如何处理

  • a. 可以设置独立表空间,关键参数
innodb_file_per_table

独立表空间也会产生碎片,但是可以通过 OPTIMIZE TABLE 或 ALTER TABLE xxxx ENGINE=INNODB 进行碎片回收,5.7之后该操作属online ddl,具体可以自行测试

  • b. 设置独立UNDO空间,然后设置自动回收。

5.6 版本就支持独立UNDO空间,但是不支持在线回收,关键参数

innodb_undo_directory
innodb_undo_tablespaces
innodb_undo_logs

5.7 版本增加了在线回收的功能,关键参数

innodb_undo_log_truncate
innodb_max_undo_log_size
innodb_purge_rseg_truncate_frequency

8.0 版本中undo log的管理更加灵活,主要如下改进

  • 1.可以动态创建或删除UNDO表空间
  • 2.可以动态增加或减少UNDO表空间的数量
  • 3.无论是否要进行InnoDB恢复,也可以在启动前更改相关设置

问:ibtmp文件不断增大,怎么处理

答:

5.7 版本可以设置限制ibtmp大小,但是需要重启实例;同时超过设定的最大值会导致SQL执行失败,关键参数

innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:5G

8.0 版本临时表空间有区分全局和session级;垃圾SQL生成的临时表空间随着SQL的结束也会跟着自动释放。

Enjoy GreatSQL ?

文章推荐:

GreatSQL MGR FAQ
https://mp.weixin.qq.com/s/J6wkUpGXw3YkyEUJXiZ9xA

万答#12,MGR整个集群挂掉后,如何才能自动选主,不用手动干预
https://mp.weixin.qq.com/s/07o1poO44zwQIvaJNKEoPA

『2021数据技术嘉年华·ON LINE』:《MySQL高可用架构演进及实践》
https://mp.weixin.qq.com/s/u7k99y6i7riq7ScYs7ySnA

一条sql语句慢在哪之抓包分析
https://mp.weixin.qq.com/s/AYibbzl860D90rOeyjB6IQ

万答#15,都有哪些情况可能导致MGR服务无法启动
https://mp.weixin.qq.com/s/inSGpd0Q_XIl2Mb-VsvNsA

技术分享 | 为什么MGR一致性模式不推荐AFTER
https://mp.weixin.qq.com/s/rNeq479RNsklY1BlfKOsYg

关于 GreatSQL

GreatSQL是由万里数据库维护的MySQL分支,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,是适用于金融级应用的MySQL分支版本。

Gitee:
https://gitee.com/GreatSQL/GreatSQL

GitHub:
https://github.com/GreatSQL/GreatSQL

Bilibili:
https://space.bilibili.com/1363850082/video

微信&QQ群:
可搜索添加GreatSQL社区助手微信好友,发送验证信息“加群”加入GreatSQL/MGR交流微信群

QQ群:533341697
微信小助手:wanlidbc

本文由博客一文多发平台 OpenWrite 发布!

推荐这些技术文章:

产品经理要掌握的数据知识:数据的基本概念、术语、指标,基本技术和分析方法

公众号地址
https://mp.weixin.qq.com/s/MPqC5e9szKSa14gT6zV5hA

...

那些年我们一起优化的SQL https://mp.weixin.qq.com/s/sPO-6ULwIfUexLY3V4acBg

那些年我们一起优化的SQL https://mp.weixin.qq.com/s/sPO-6ULwIfUexLY3V4acBg
那些年我们一起优化的SQL
原创 有赞技术 有赞coder 2022-02-17 18:30
作者:麦旋风 
 
一、背景
 
随着业务不断迭代,系统中出现了较多的SQL慢查。慢查虽不致命,但会让商家感知到系统...

什么是数据产品经理?需要什么能力?有哪些相关书籍可以读?

https://mp.weixin.qq.com/s/zJ-KVeN-FEeLt1lDnwBbLw

...

强大易用!新一代爬虫利器 Playwright

https://mp.weixin.qq.com/s/dJjyZhnt1lUSm5ejmJOv_g

...

这些SpringBoot天生自带Buff工具类你都用过哪些?

https://mp.weixin.qq.com/s/k0xNAEu1Dm0bVV9vrn9kRQ

...

低期望,多尝试和 最亲民的苹果桌面

文章转载自:https://mp.weixin.qq.com/s/ZgG_2r6MY0yI56F1qjp3dw

...

56种js工具函数

https://mp.weixin.qq.com/s/aU2LMBB9KJTinyIAybuzLg

 

...

2022年一季度文章分类汇总

GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源。

深入浅出MGR

1.MGR简介 | 深入浅出MGR

https://mp.weixin.qq.com/s/lbU5KaY2hEPq4gnwJ8PgCg

2.组复制技术架构

https://mp.weixin.qq.com/s/6__H3-HFsBtZk336EaAcrQ

3.安装部署MGR集群R

htt...

不要舔 Switch 游戏卡,单性生殖,永久夏令时

文章转载自:https://mp.weixin.qq.com/s/8EikwCvZgKt2TFsld-nKSA

...

vivo 推送平台架构演进

https://mp.weixin.qq.com/s/cX4uquSqDJb7MoQb7sQSxA
vivo 推送平台架构演进 https://mp.weixin.qq.com/s/cX4uquSqDJb7MoQb7sQSxA
 

...

文章标题:万答#7,如何批量删数据和调整系统表空间
文章链接:https://www.dianjilingqu.com/4702.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>