Meta 引入了 Google 在其 NotebookLM 平台中提供的生成播客功能的开放实现。这个新项目名为 NotebookLlama，利用 Meta 自己的 Llama 模型进行大部分处理。类似于 笔记本LMNotebookLlama 允许用户从文本文件创建播客风格的摘要，例如文章或博客文章的 PDF。
NotebookLlama 的工作原理
NotebookLlama 首先从给定文件（例如 PDF）创建文本。然后，系统添加戏剧化和中断等元素，使生成的内容感觉更像对话。之后，它使用开放的文本转语音模型将文字记录转换为音频。
目前 NotebookLlama 生成的播客的输出质量与 Google 的 NotebookLM 相比仍然很粗糙。这些声音有一种明显的机器人特质，而且他们经常在奇怪的时候互相交谈。然而，Meta 的研究人员指出，通过更强大的文本转语音模型可以提高这种质量。他们在 NotebookLlama 的 GitHub 页面上指出，“文本转语音模型限制了声音的自然程度。”
据 Meta 研究人员称，该项目的一个可能的改进可能是让两个单独的代理讨论一个主题并创建播客大纲，而不是依赖单一模型来处理这方面。 NotebookLlama 与 NotebookLM 和其他人工智能工具一样，也面临着“幻觉”的挑战，这意味着生成的播客有时可能包含不正确的信息。
特征
NotebookLlama 旨在提供 NotebookLM 的开源且可访问的版本，为用户提供多种好处：
- NotebookLlama 完全开源，用户可以根据需要免费使用、修改和改编。
- Jupyter 笔记本中使用的结构化方法使 NotebookLlama 适合那些在使用大型语言模型 (LLM)、提示或音频模型方面经验有限的人。
- 尽管核心功能是将 PDF 转换为播客，但 NotebookLlama 背后的原理可以适用于其他创意文本转语音工作流程。
使用 NotebookLlama 构建播客
NotebookLlama 使用 Jupyter 笔记本来指导用户完成从文本文件创建播客的每个步骤。以下是所涉及步骤的简化说明：
- 第 1 步：安装所需的库。 用户首先安装必要的库，如 Optimum、Transformers 和其他依赖项。
- 第 2 步：导入库。 这些笔记本导入了多个用于音频处理的 Python 库，例如 IPython、TQDM 和 Torch 等。
- 步骤3：处理数据并生成音频。 NotebookLlama 使用两个模型（Bark 和 Parler）生成音频片段。这些模型处理文本提示并输出音频，然后可以将其组装成完整的播客。
- 第四步：实用函数。 该过程包括生成不同扬声器声音的实用功能，确保更动态的播客体验。
- 第 5 步：组装播客。 生成的音频片段被组合到最终的播客中，创建一个完整的、可共享的音频产品。
NotebookLlama 仍在开发中，该项目还有一些可以改进的地方。提高文本转语音模型的质量可以极大地改善生成的播客的自然声音。未来的迭代还可以探索不同的方法，例如使用多个代理来创建更具吸引力的内容。
尽管存在这些限制，NotebookLlama 仍然提供了一种独特的开源方式将文本转换为音频内容。除了简单的 PDF 转换之外，该方法还可能有其他应用，为有兴趣尝试自动文本到语音工作流程的创作者提供更广泛的可能性。
对于那些寻求自动化播客创建或尝试新形式的文本到语音内容的人来说，NotebookLlama 可能成为一个有价值的工具。
特色图片来源： 凯雷姆·葛兰/表意文字
