پردازش PDF فارسی و تصاویر با هوش مصنوعی: راهنمای جامع OCR

در دنیای امروز، استخراج اطلاعات از اسناد و تصاویر با سرعت و دقت بالا، امری حیاتی برای کسب‌وکارها و پژوهشگران محسوب می‌شود. در این راهنما، به چگونگی استفاده از قابلیت‌های پیشرفته پردازش PDF فارسی با OCR و درک اسناد با استفاده از مدل‌های هوش مصنوعی می‌پردازیم. هدف ما، استخراج متن و محتوای ساختاریافته از فایل‌های PDF و تصاویر، ضمن حفظ کامل قالب‌بندی، ساختار و سلسله مراتب اصلی است.

قابلیت‌های کلیدی OCR هوشی

مدل‌های پیشرفته OCR، مانند آنچه در پلتفرم هوشی ارائه می‌شود، امکان پردازش اسناد در مقیاس بزرگ با دقت فوق‌العاده‌ای را فراهم می‌کنند. این قابلیت‌ها شامل موارد زیر است:

• استخراج محتوای متنی با حفظ ساختار و سلسله مراتب سند.
• حفظ قالب‌بندی‌های مهم مانند سرفصل‌ها، پاراگراف‌ها، لیست‌ها و جداول.
• ارائه نتایج به فرمت مارک‌داون برای تسهیل تحلیل و نمایش.
• پشتیبانی از طرح‌بندی‌های پیچیده، شامل متن چند ستونی و محتوای ترکیبی.
• پردازش اسناد در مقیاس بالا با سرعت چشمگیر (تا 2000 صفحه در دقیقه).
• پشتیبانی ذاتی از زبان‌های متعدد و انواع خطوط و فونت‌های گوناگون.
• عملکرد برتر در مقایسه با مدل‌های OCR رایج در بنچمارک‌های معتبر.

موارد استفاده از OCR پیشرفته

قابلیت‌های OCR هوشی در طیف وسیعی از صنایع کاربرد دارد:

• تحقیقات علمی: تبدیل مقالات پیچیده شامل فرمول‌ها و نمودارها به فرمت‌های قابل فهم برای هوش مصنوعی.
• عملیات تجاری: استخراج خودکار داده‌ها از رسیدها، فاکتورها و فرم‌های اداری.
• حفظ میراث فرهنگی: دیجیتال‌سازی اسناد تاریخی برای دسترسی گسترده‌تر.
• خدمات مشتری: تبدیل مستندات و راهنماها به پایگاه‌های دانش قابل جستجو.
• آموزش: تبدیل یادداشت‌های درسی و ارائه‌ها به محتوای قابل جستجو و بازیابی.
• حوزه حقوقی: پردازش و استخراج اطلاعات از پرونده‌های نظارتی و اسناد حقوقی.

پردازش PDF با هوش مصنوعی در هوشی

پلتفرم هوشی، ابزارهای قدرتمندی برای پردازش PDF فارسی و سایر اسناد در اختیار توسعه‌دهندگان قرار می‌دهد. شما می‌توانید با استفاده از APIهای هوشی، فایل‌های PDF را به دو روش پردازش کنید:

1. پردازش PDF با استفاده از URL فایل

برای پردازش یک فایل PDF موجود در اینترنت، کافی است URL آن را به API هوشی ارسال کنید. این روش برای اسنادی که به صورت عمومی در دسترس هستند، بسیار کارآمد است.

مثال با Python:

from hooshi_sdk.client import Hooshi

client = Hooshi(server_url="https://api.hooshi.net", api_key="YOUR_API_KEY")

document_param = {
    "type": "document_url",
    "document_url": "https://example.com/your-document.pdf",
}

ocr_resp
    model="mistral-ocr-latest",
    document=document_param,
    pages=list(range(0, 100)),  # پردازش تا 100 صفحه
    retries=3,
)

print(ocr_response)

مثال با JavaScript:

import { Hooshi } from "hooshi_sdk";

const client = new Hooshi({
  apiKey: "YOUR_API_KEY",
  baseURL: "https://api.hooshi.net",
});

const documentParam = {
  type: "document_url",
  document_url: "https://example.com/your-document.pdf",
};

const ocrResp client.ocr.process({
  model: "mistral-ocr-latest",
  document: documentParam,
  pages: Array.from({ length: 100 }, (_, i) => i), // پردازش تا 100 صفحه
  retries: 1,
});

console.log(ocrResponse);

2. پردازش PDF با استفاده از Base64 Encoding

اگر فایل PDF شما به صورت محلی ذخیره شده است، می‌توانید آن را با استفاده از Base64 کدگذاری کرده و سپس برای پردازش به API هوشی ارسال کنید. این روش انعطاف‌پذیری بالایی را برای کار با فایل‌های آفلاین فراهم می‌کند.

مثال با Python:

import base64
from hooshi_sdk.client import Hooshi

# خواندن و کدگذاری فایل PDF
with open("document.pdf", "rb") as f:
    pdf_data = f.read()

base64_pdf = base64.b64encode(pdf_data).decode("utf-8")
document_url = f"data:application/pdf;base64,{base64_pdf}"

# پردازش PDF کدگذاری شده
client = Hooshi(server_url="https://api.hooshi.net", api_key="YOUR_API_KEY")

document_param = {"type": "document_url", "document_url": document_url}

ocr_resp
    model="mistral-ocr-latest",
    document=document_param,
    pages=list(range(0, 100)),  # پردازش تا 100 صفحه
    retries=3,
)

print(ocr_response)

مثال با JavaScript:

import fs from "fs";
import { Hooshi } from "hooshi_sdk";

// خواندن و کدگذاری فایل PDF
const pdfData = fs.readFileSync("document.pdf");
const base64Pdf = pdfData.toString("base64");
const documentUrl = `data:application/pdf;base64,${base64Pdf}`;

// پردازش PDF کدگذاری شده
const client = new Hooshi({
  apiKey: "YOUR_API_KEY",
  baseURL: "https://api.hooshi.net",
});

const documentParam = {
  type: "document_url",
  document_url: documentUrl,
};

const ocrResp client.ocr.process({
  model: "mistral-ocr-latest",
  document: documentParam,
  pages: Array.from({ length: 100 }, (_, i) => i),
  retries: 1,
});

console.log(ocrResponse);

پردازش صفحات خاص

شما می‌توانید با استفاده از پارامتر `pages`، مشخص کنید که کدام صفحات از سند PDF پردازش شوند. این قابلیت برای کاهش هزینه‌ها و افزایش سرعت در پردازش اسناد حجیم بسیار مفید است.

مثال با Python:

from hooshi_sdk.client import Hooshi

client = Hooshi(server_url="https://api.hooshi.net", api_key="YOUR_API_KEY")

document_param = {
    "type": "document_url",
    "document_url": "https://example.com/your-document.pdf",
}

# فقط صفحات 0، 1 و 5 را پردازش کنید
ocr_resp
    model="mistral-ocr-latest",
    document=document_param,
    pages=[0, 1, 5],  # فقط صفحات خاص را پردازش کنید
    retries=3,
)

print(ocr_response)

مثال با JavaScript:

import { Hooshi } from "hooshi_sdk";

const client = new Hooshi({
  apiKey: "YOUR_API_KEY",
  baseURL: "https://api.hooshi.net",
});

const documentParam = {
  type: "document_url",
  document_url: "https://example.com/your-document.pdf",
};

// فقط صفحات 0، 1 و 5 را پردازش کنید
const ocrResp client.ocr.process({
  model: "mistral-ocr-latest",
  document: documentParam,
  pages: [0, 1, 5], // فقط صفحات خاص را پردازش کنید
  retries: 1,
});

console.log(ocrResponse);

پردازش تصاویر با هوش مصنوعی

علاوه بر PDF، هوشی امکان پردازش تصاویر و استخراج متن از آن‌ها را نیز فراهم می‌کند. این قابلیت برای مواردی مانند پردازش رسیدها، کارت ویزیت یا هر تصویری که حاوی متن است، کاربرد دارد.

استفاده از URL تصویر

می‌توانید تصاویر را با ارائه URL مستقیم آن‌ها، پردازش کنید:

مثال با Python:

from hooshi_sdk.client import Hooshi

client = Hooshi(server_url="https://api.hooshi.net", api_key="YOUR_API_KEY")

# پردازش تصویر از URL
document_param = {
    "type": "image_url",
    "image_url": "https://example.com/your-image.png",
}

ocr_resp
    model="mistral-ocr-latest",
    document=document_param,
    retries=3,
)

print(ocr_response)

مثال با JavaScript:

import { Hooshi } from "hooshi_sdk";

const client = new Hooshi({
  apiKey: "YOUR_API_KEY",
  baseURL: "https://api.hooshi.net",
});

const documentParam = {
  type: "image_url",
  image_url: "https://example.com/your-image.png",
};

const ocrResp client.ocr.process({
  model: "mistral-ocr-latest",
  document: documentParam,
  retries: 1,
});

console.log(ocrResponse);

نمونه خروجی API OCR

API هوشی، علاوه بر محتوای متنی استخراج شده در قالب مارک‌داون، متادیتای ارزشمندی در مورد ساختار سند و اطلاعات مربوط به پردازش را نیز برمی‌گرداند:

{
  "pages": [
    {
      "index": 1,
      "markdown": "# LEVERAGING UNLABELED DATA TO PREDICT OUT-OF-DISTRIBUTION PERFORMANCE \n\nSaurabh Garg*
Carnegie Mellon University
sgarg2@andrew.cmu.edu
Sivaraman Balakrishnan
Carnegie Mellon University
sbalakri@andrew.cmu.edu
Zachary C. Lipton
Carnegie Mellon University
zlipton@andrew.cmu.edu\n\n## Behnam Neyshabur\n\nGoogle Research, Blueshift team\nneyshabur@google.com\n\nHanie Sedghi
Google Research, Brain team
hsedghi@google.com\n\n\n#### Abstract\n\nReal-world machine learning deployments are characterized by mismatches between the source (training) and target (the test) distributions that may cause performance drops...",
      "images": [],
      "dimensions": {
        "dpi": 200,
        "height": 2200,
        "width": 1700
      }
    }
    // صفحات اضافی...
  ],
  "model": "mistral-ocr-latest",
  "usage_info": {
    "pages_processed": 3,
    "doc_size_bytes": null
  }
}

با استفاده از این خروجی‌ها، می‌توانید به راحتی داده‌های مورد نیاز خود را از اسناد و تصاویر استخراج کرده و در فرآیندهای خودکار خود به کار ببرید. برای شروع، کافی است در هوشی ثبت‌نام کرده و توکن API خود را دریافت کنید.

چرا هوشی؟

هوشی با ارائه APIهای قدرتمند و انعطاف‌پذیر در زمینه پردازش اسناد و تصاویر، به شما کمک می‌کند تا بهره‌وری خود را افزایش دهید. با استفاده از مدل‌های پیشرفته OCR و درک اسناد، داده‌های ارزشمند خود را به سادگی استخراج کرده و در فرآیندهای هوش مصنوعی خود به کار بگیرید. برای شروع و مشاهده امکانات کامل، به هوشی مراجعه کنید.