本文共 413 字,大约阅读时间需要 1 分钟。
突发奇想,能不能把异步响应式编程的rxJava(主要用于Android开发)应用于ETL,想法源于rxJava中提供了一系列operators如distinct、concatWith、count、filter、groupBy、limit、toSortedList、isEmpty等,感觉有点像SQL。 实际试验后,原来rxJava还是比较适合于处理事件流而不是ETL,原因是rxJava缺乏dataframe这种对象,不能直接操控指定字段!so...总结一下,比较适合处理ETL的方式有: 1、图形工具如datastage、kettle等 2、SQL 3、SAS 或 R 或 COBOL 4、pandas + Python 5、Spark + sparkSql (+ Scala/Java/Python) 6、Kettle jar 包 + Java (实现起来还是有点麻烦的~) 写了个rxJava实现,想看的朋友可以参考《》转载地址:http://hdili.baihongyu.com/