研究了下阿里云的Tablestore,发现这个产品还是蛮牛逼的。简单记录下:【性能方面】 NOSQL 数据库1. 基于LSM-tree 设计,类似Hbase, 批量插入性能好。(append 方式写入)2. 大规模可扩展,支持PB级别,单表万亿条记录。(这种和Hbase类似)3.
直接使用 SQL 查询 Tablestore 也会为 MySQL 主库卸载流量。这样,在 Tablestore 中存储近期数据,在 OSS 中存储全量历史数据,以 OSS 来支持涉及全量历史数据的分析工作。
我们关注的核心问题是为什么需要实时的多维分析,以及实时多维分析可以应用到哪些场景,解决什么问题。第二个场景是用户行为分析的场景,在做线上活动的时候,运营人员需要实时查看用户活跃趋势、转化分析、活跃度分析等来监控活动的效果,并及时调整活动策略,这个场景和上一个场景区别是,这里主要是日志类数据,日志类数据的特点是数据量比较大,每天通常都是千万甚至上亿的级别,这里相对于业务数据来说没有那么高的一致性要求,一般来说日志多一些,重复一些,只要不丢,差别在一定范围之内都是可以接受的。
也就是说 按照类BigTable的说法来定义的话,ObjectStorage is a distributed,persistent sorted map that store variable values。
在中国互联网技术圈流传着这么一个说法:MySQL 单表数据量大于 2000 万行,性能会明显下降。具体情况大概是这样的,当年的 DBA 测试 MySQL性能时发现,当单表的量在 2000 万行量级的时候,SQL 操作的性能急剧下降,因此,结论由此而来。
MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持全部数据湖能力的大数据平台,支持超大规模、serverless和完善的多租户能力,内建企业级安全能力和管理功能,支持数据保护和安全共享,数据/生态开放,可以满足数据仓库/BI、数据湖非结构化数据处理和分析、湖仓一体联邦计算、机器学习等多业务场景需求。