我看浩瀚深度说搭建了117节点的集群,一天150T写入。280个桶,感觉单个tablet都500G左右了。https://tencentcloud.csdn.net/69e9cfb80a2f6a37c5a257c1.html?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EElasticSearch%7Eactivity-1-149441210-blog-149533524.235%5Ev43%5Epc_blog_bottom_relevance_base5&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EElasticSearch%7Eactivity-1-149441210-blog-149533524.235%5Ev43%5Epc_blog_bottom_relevance_base5&utm_relevant_index=1
这个案例可信吗,有官方大佬帮忙证实一下吗?
另外doris单节点写入每秒多少万行,对应每秒多少MB。有数据吗?
我之前测试,短时间内能飙升到100万行每秒,但是compaction score很快就上涨到4000以上,甚至上万了,时间越长,写入速度越低,最后可能都10万条以下。
求助大佬指导,提供以下数据。
另外大家写入频率是怎么样的,一秒写入几次?我是一秒写入2,3次,compaction score就疯狂上涨。
我的压测集群
doris 4.0.5
机器是3fe,3be
be 32c 64g,15t虚拟机。磁盘带宽速度大概类似于单盘ssd。最高顺序写300MB。
建表语句,只有4列,是指标表。分区是auto partition,分桶写的10。
目前写入速度测试,短时间内能达到100万条每秒,长时间能稳定在40万条每秒。
但是compaction score之前一直稳定在4000多,调高参数里的线程数,score能达到12000多。压测工具是我自己写的一个工具,每次每批写100万,3个线程写,就能出现score上升。频率的话,看着像一秒写入2,3次。
这个怎么能降低compaction score。我感觉并发写入并不高。