14----运行管道工作流程

刺骨的言语ヽ痛彻心扉 2023-09-27 19:21 92阅读 0赞

txtai 通过其管道框架提供了越来越多的模型列表。管道包装机器学习模型并转换数据。目前，管道可以包装 Hugging Face 模型、Hugging Face 管道或 PyTorch 模型（对 TensorFlow 的支持在待办事项中）。

以下是当前实施的管道列表。

问题- 使用文本上下文回答问题  
标签- 使用零样本分类模型将标签应用于文本。还支持相似度比较。  
摘要- 抽象文本摘要  
Textractor - 从文档中提取文本  
转录- 将音频转录为文本  
翻译- 机器翻译  
管道很棒，可以更轻松地使用各种机器学习模型。但是，如果我们想将不同管道的结果粘合在一起怎么办？例如，提取文本，对其进行总结，将其翻译成英文并将其加载到 Embedding 索引中。这将需要代码以有效的方式将这些操作连接在一起。

输入工作流程。工作流是一种简单但功能强大的构造，它接受可调用元素并返回元素。工作流不知道它们正在使用管道，但可以有效地处理管道数据。工作流本质上是流式的，可以批量处理数据，从而可以高效地处理大量数据。

安装依赖  
安装txtai和所有依赖项。由于本文使用可选的管道/工作流，我们需要安装管道和工作流附加包。  
pip install txtai\[pipeline,workflow\] sacremoses

## Get test data ##

wget -N https://github.com/neuml/txtai/releases/download/v2.0.0/tests.tar.gz  
tar -xvzf tests.tar.gz  
创建一系列管道以在此笔记本中使用  
from txtai.pipeline import Summary, Textractor, Transcription, Translation

## Summary instance ##

summary = Summary()

## Text extraction ##

textractor = Textractor()

## Transcription instance ##

transcribe = Transcription(“facebook/wav2vec2-large-960h”)

## Create a translation instance ##

translate = Translation()  
基本工作流程  
下面显示了一个基本的工作流程！  
from txtai.workflow import Workflow, Task

## Workflow that translate text to French ##

workflow = Workflow(\[Task(lambda x: translate(x, “fr”))\])

## Data to run through the pipeline ##

data = \[“The sky is blue”, “Forest through the trees”\]

## Workflows are generators for efficiency, read results to list for display ##

list(workflow(data))  
\[‘Le ciel est bleu’, ‘Forêt à travers les arbres’\]  
这与之前的管道示例没有太大区别。唯一的区别是数据是通过工作流提供的。在此示例中，工作流调用翻译管道并将文本翻译成法语。让我们看一个更复杂的例子。

多步骤工作流程  
以下工作流读取一系列音频文件，将它们转录为文本并将文本翻译成法语。这是基于来自Introducing txtai的经典 txtai 示例。

工作流有两个主要参数。要执行的操作是可调用的，也是用于过滤数据的模式。过滤器接受的数据将被处理，否则将被传递到下一个任务。  
from txtai.workflow import FileTask

tasks = \[  
FileTask(transcribe, r".wav$"),  
Task(lambda x: translate(x, “fr”))  
\]

## List of files to process ##

data = \[  
“txtai/US\_tops\_5\_million.wav”,  
“txtai/Canadas\_last\_fully.wav”,  
“txtai/Beijing\_mobilises.wav”,  
“txtai/The\_National\_Park.wav”,  
“txtai/Maine\_man\_wins\_1\_mil.wav”,  
“txtai/Make\_huge\_profits.wav”  
\]

## Workflow that translate text to French ##

workflow = Workflow(tasks)

## Run workflow ##

list(workflow(data))  
\[“Les cas de virus U sont en tête d’un million”,  
“La dernière plate-forme de glace entièrement intacte du Canada s’est soudainement effondrée en formant un berge de glace de taille manhatten”,  
“Bagage mobilise les embarcations d’invasion le long des côtes à mesure que les tensions tiwaniennes s’intensifient”,  
“Le service des parcs nationaux met en garde contre le sacrifice d’amis plus lents dans une attaque nue”,  
“L’homm