卓越飞翔博客卓越飞翔博客

卓越飞翔 - 您值得收藏的技术分享站
技术文章35128本站已运行394

如何使用 Synapse 从 ADLS gen2 读取 python 中的 pdf 或 pptx 或 docx 文件?

如何使用 synapse 从 adls gen2 读取 python 中的 pdf 或 pptx 或 docx 文件?

问题内容

我希望在 synapse 笔记本中使用 python 读取不同格式的文件。其中包括 .pdf、.pptx、.docx、.msg 和 .eml。我希望能够读取文件,然后用 python 解析和操作它们。我能够使用不同的 python 库在数据块中做到这一点。

这就是我在 data bricks 中完成此任务的方式:

from pptx import Presentation
prs = Presentation(file_name)

# for pdf
from pypdf import PdfReader
reader = PdfReader(open(filename, 'rb'))

# word docs
import docx
doc = docx.Document(file_name)

# .eml files
import email
msg = email.message_from_file(open(file_name))type here

# .msg files
import extract_msg
msg = extract_msg.Message(file_name)

在 synapse 中我收到错误: filenotfounderror:[errno 2]没有这样的文件或目录。

这些文件路径可以使用 spark 或 pandas 读取 csv、excel 或 txt 数据,因此我认为不存在授权或连接问题。格式为:abfs[s]://file_system_name@account_name.dfs.core.windows.net/file_path

我还尝试安装存储位置。这确实有助于读取文本文件,但对其他格式没有帮助。在 synapse 中安装存储位置


正确答案


安装是正确的方法,此答案进行了解释。我正在使用 synapse studio 。关键是使用从挂载存储的路径命令获取的文件格式。否则我基本上可以使用我之前在问题中提到的内容。只有 pdf 我必须从使用 pypdf 库更改为 pypdf2。

有效的格式是:

path = mssparkutils.fs.getmountpath("/mounted_name") 
# this gave me this format '/synfs/{jobid}/mounted_path/{filename}'

从 mssparkutils fs 获取的格式不起作用

mssparkutils.fs.ls("synfs:/{jobId}/mounted_path/") 
# this gave a different format which did not work   'synfs:/{jobId}/mounted_path/{filename}'
卓越飞翔博客
上一篇: 解析XML时如何获取空数组?
下一篇: 返回列表
留言与评论(共有 0 条评论)
   
验证码:
隐藏边栏