python使用读写doris的主流使用方式是什么样的

Viewed 11

我是一个数据开发,目前刚接触Doris不久,主要是用python pandas和polars做数据处理,经常做的事,将数据从各个地方读取,处理,最后写入到Doris数据库中,目前我采取的解决措施是通过SqlAlchemy将数据写入到Doris和从Doris中读,但是目前写入瓶颈很大,pandas的to_sql方法限制数据chuck_size,太大会写入不进Doris,目前查阅官网相关资料,看到比较好的数据高效读取和高效写入方式。

  1. 数据写入,通过pydoris + streamload写入到数据库。
  2. 数据读取,Doris数据库开启flight arrow sql功能,通过qdbc驱动读取数据。

想请问一下各位大佬,目前python使用读写doris的主流,成熟的使用方式是什么样的?

1 Answers