博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark 读取 ftp
阅读量:5165 次
发布时间:2019-06-13

本文共 751 字,大约阅读时间需要 2 分钟。

class FtpShow(spark: SparkSession, map: Map[String, String]) {  private val path = map(FtpOptions.PATH).stripPrefix("./")  private val username = map(FtpOptions.USERNAME)  private val passwd = map(FtpOptions.PASSWORD)  private val host = map(FtpOptions.HOST)  private val port = map.getOrElse(FtpOptions.PORT, "21")  def getSampleData: String = {    val ftpUri = s"ftp://${username}:${passwd}@${host}:${port}/${path}"    spark.sparkContext      .wholeTextFiles(ftpUri)      .flatMap(s => s._2.split("\n"))      .take(DBShow.Num)      .mkString("\n")  }}

这里读取ftp文件的时候我们采用了sc.wholeTextFiles() 方法,若使用textFile() 方法,则会报错“java.io.IOException: Seek not supported”,ftp 的 InputStream 不支持seek(long:Long) 方法

转载于:https://www.cnblogs.com/jason-dong/p/10113943.html

你可能感兴趣的文章
jQuery 显示加载更多
查看>>
代理模式
查看>>
Confluence 6 系统运行信息中的 JVM 内存使用情况
查看>>
Confluence 6 升级以后
查看>>
用JS实现版面拖拽效果
查看>>
二丶CSS
查看>>
《avascript 高级程序设计(第三版)》 ---第二章 在HTML中使用Javascript
查看>>
JS一些概念知识及参考链接
查看>>
TCP/IP协议原理与应用笔记24:网际协议(IP)之 IP协议的简介
查看>>
SAP HANA开发中常见问题- 基于SAP HANA平台的多团队产品研发
查看>>
游戏中的心理学(一):认知失调有前提条件
查看>>
WHAT I READ FOR DEEP-LEARNING
查看>>
【Ruby】Ruby在Windows上的安装
查看>>
Objective C 总结(十一):KVC
查看>>
BZOJ 3747 洛谷 3582 [POI2015]Kinoman
查看>>
vue实战(7):完整开发登录页面(一)
查看>>
Visual Studio自定义模板(二)
查看>>
【Mood-20】滴滤咖啡做法 IT工程师加班必备 更健康的coffee 项目经理加班密鉴
查看>>
读《构建之法-软件工程》第四章有感
查看>>
使用 Printf via SWO/SWV 输出调试信息
查看>>