博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Java适合用于ETL?
阅读量:4202 次
发布时间:2019-05-26

本文共 413 字,大约阅读时间需要 1 分钟。

突发奇想,能不能把异步响应式编程的rxJava(主要用于Android开发)应用于ETL,想法源于rxJava中提供了一系列operators如distinct、concatWith、count、filter、groupBy、limit、toSortedList、isEmpty等,感觉有点像SQL。
实际试验后,原来rxJava还是比较适合于处理事件流而不是ETL,原因是rxJava缺乏dataframe这种对象,不能直接操控指定字段!so...总结一下,比较适合处理ETL的方式有:
1、图形工具如datastage、kettle等
2、SQL
3、SAS 或 R 或 COBOL
4、pandas + Python
5、Spark + sparkSql (+ Scala/Java/Python)
6、Kettle jar 包 + Java (实现起来还是有点麻烦的~)
写了个rxJava实现,想看的朋友可以参考《》

转载地址:http://hdili.baihongyu.com/

你可能感兴趣的文章
【HTML5/CSS/JS】开发跨平台应用工具的选择(三)
查看>>
【心灵鸡汤】Give it five minutes不要让一个好主意随风而去
查看>>
【React Native】Invariant Violation: Application AwesomeProject has not been registered
查看>>
【ReactNative】真机上无法调试 could not connect to development server
查看>>
【XCode 4.6】常用快捷键 特别是格式化代码ctrl+i
查看>>
【iOS游戏开发】icon那点事 之 实际应用(二)
查看>>
【iOS游戏开发】icon那点事 之 图标设计(三)
查看>>
【IOS游戏开发】之测试发布(Distribution)
查看>>
【IOS游戏开发】之IPA破解原理
查看>>
【一天一道LeetCode】#45. Jump Game II
查看>>
【一天一道LeetCode】#46. Permutations
查看>>
【一天一道LeetCode】#47. Permutations II
查看>>
【一天一道LeetCode】#48. Rotate Image
查看>>
【一天一道LeetCode】#56. Merge Intervals
查看>>
【一天一道LeetCode】#57. Insert Interval
查看>>
【一天一道LeetCode】#58. Length of Last Word
查看>>
【一天一道LeetCode】#59. Spiral Matrix II
查看>>
【一天一道LeetCode】#30. Substring with Concatenation of All Words
查看>>
【一天一道LeetCode】#60. Permutation Sequence.
查看>>
【一天一道LeetCode】#62. Unique Paths
查看>>