澳鹏一站式文档智能识别，为大模型训练数据准备赋能

上海2023年12月14日 /美通社/ -- 在大模型训练过程中，许多专业领域知识是基于书籍等纸质文档的形式记录的，常见于教材、期刊论文、特定学科研究等。例如工业、教育等涉及到专业领域的行业应用，大量需要训练的数据沉淀在纸质版上亟待利用。

澳鹏Appen全新推出文档智能识别接口，可将图片、不可编辑的PDF等文档一键识别转换成可编辑的Word或Markdown格式，方便对其中数据作进一步利用。接口支持识别文档中不同模态的数据，如文本、插图、公式、表格等，并支持对不同版面进行识别和还原。

澳鹏全新推出一站式文档智能识别解决方案，为大模型训练数据准备赋能

在大模型的训练过程中，许多企业或行业数据沉淀在不可编辑的PDF、甚至是纸质文档中。若要将这些数据利用起来，无论是用作基础大模型的训练数据，还是用于RAG或微调，都需要先转化成可编辑的文档格式。

这些文档包含的内容有文本、表格、公式、插图等内容，现有的内容识别技术大多只能识别文字，而对其他形态的内容无法进行识别和转换。若要开发一个能识别所有格式内容的算法，其研发成本往往较高，识别速度和准确率亦无法得以保证。

澳鹏一站式文档智能识别解决方案集成了多种算法能力：首先使用版面识别算法，可识别出PDF中每一页的内容类型，包括文本、表格、公式、插图等；如页面中包含多种内容，则将每个独立的内容块截取出来；再根据内容块的内容类型，调用不同的识别算法，包括文本识别算法、表格识别算法、公式识别算法等。

识别完成后再将内容拼接到一个文档中，可还原成原始版面。同时，澳鹏也提供人工复核服务，进一步提升识别准确率。

在实际应用中，澳鹏一站式文档智能识别解决方案的优势主要包括：

-高效率低成本：使用澳鹏文档智能识别处理文档时，一个上百页的PDF只需耗时数分钟即可完成，远快于人工转写；可批量处理大量文件，降低人力成本。

-高安全性：无需企业外部人员参与文档内容转写过程，降低了敏感数据泄露的风险。

-易于集成：澳鹏文档智能识别方案可与企业现有的业务流程和系统集成，自动输入、输出数据。

助力高科技企业开发行业大模型，澳鹏一站式文档智能识别解决方案能够对专业细分学科数据进行结构化处理，将沉淀在纸质版、PDF等形态的数据应用于大模型训练中，帮助企业自动化地将各种类型的文档转化为结构化数据，为高效训练行业大模型赋能。