آموزش الگوریتم CatBoost برای داده‌های طبقه‌بندی شده با هوشی

مقدمه: قدرت CatBoost در تحلیل داده‌های طبقه‌بندی شده

در دنیای امروز، داده‌های ساختاریافته (Tabular Data) بخش عمده‌ای از مسائل یادگیری ماشین را تشکیل می‌دهند. از پیش‌بینی رفتار مشتریان در تجارت الکترونیک گرفته تا تشخیص بیماری‌ها در حوزه پزشکی، همه نیازمند الگوریتم‌هایی هستند که بتوانند با دقت بالا، الگوهای پیچیده را در داده‌ها شناسایی کنند. الگوریتم‌های مبتنی بر تقویت گرادیان (Gradient Boosting Decision Trees یا GBDT) از جمله موفق‌ترین روش‌های یادگیری ماشین برای داده‌های ساختاریافته به شمار می‌روند. CatBoost که مخفف “Categorical Boosting” است، نسل جدیدی از این الگوریتم‌ها را نمایندگی می‌کند که چالش‌های اساسی روش‌های سنتی را برطرف نموده است. در این مقاله به بررسی جامع اصول نظری، معماری، پیاده‌سازی عملی و تنظیم فراپارامترهای الگوریتم CatBoost برای مسائل طبقه‌بندی می‌پردازیم و نشان می‌دهیم چگونه می‌توانید از این ابزار قدرتمند در پلتفرم هوشی بهره‌مند شوید.

اهمیت پردازش ویژگی‌های دسته‌ای در یادگیری ماشین

یکی از چالش‌های اصلی در یادگیری ماشین، پردازش صحیح ویژگی‌های دسته‌ای (Categorical Features) است. در اکثر الگوریتم‌های سنتی، نیاز به تبدیل این ویژگی‌ها به اعداد از طریق روش‌هایی مانند کدگذاری یک-گرم (One-Hot Encoding) یا کدگذاری برچسبی (Label Encoding) وجود دارد. این فرآیند علاوه بر زمان‌بر بودن، می‌تواند منجر به از دست رفتن اطلاعات مهم یا افزایش ابعاد داده شود. CatBoost با ارائه روشی هوشمند برای پردازش خودکار این ویژگی‌ها، این مشکل را به طور بنیادین حل کرده است.

مبانی نظری الگوریتم CatBoost

تقویت گرادیان: پایه و اساس

تقویت گرادیان یک روش یادگیری گروهی (Ensemble Learning) است که در آن، مدل‌های ضعیف (معمولاً درخت‌های تصمیم) به صورت متوالی آموزش داده می‌شوند. در هر مرحله، مدل جدید سعی می‌کند خطاهای مدل‌های قبلی را تصحیح کند. فرآیند کلی به شرح زیر است:

• مدل اولیه: با یک پیش‌بینی ساده (مثلاً میانگین مقادیر هدف) شروع می‌کنیم.
• محاسبه باقیمانده‌ها: خطاهای مدل فعلی محاسبه می‌شود.
• آموزش مدل جدید: یک درخت تصمیم جدید برای پیش‌بینی این خطاها آموزش داده می‌شود.
• به‌روزرسانی مدل: مدل جدید با وزن مناسب به مدل کلی اضافه می‌شود.
• تکرار: این فرآیند تا رسیدن به تعداد تکرار مشخص یا همگرایی ادامه می‌یابد.

مدل نهایی در تقویت گرادیان به صورت زیر تعریف می‌شود:

F(x) = F₀(x) + η · Σᵢ₌₁ⁿ hᵢ(x)

که در آن:

• F(x): مدل نهایی
• F₀(x): مدل اولیه
• η: نرخ یادگیری (Learning Rate)
• hᵢ(x): درخت تصمیم i-ام
• n: تعداد درخت‌ها

تابع هدف که باید کمینه شود:

L = Σⱼ L(yⱼ, F(xⱼ)) + Σᵢ Ω(hᵢ)

که در آن:

• L(y, F(x)): تابع زیان
• Ω(h): جمله منظم‌سازی

مشکل تغییر پیش‌بینی (Prediction Shift)

یکی از مشکلات اساسی در الگوریتم‌های GBDT سنتی، پدیده‌ای به نام “تغییر پیش‌بینی” است که ناشی از نشت هدف (Target Leakage) می‌باشد. این مشکل زمانی رخ می‌دهد که از همان داده‌هایی که برای آموزش مدل استفاده شده، برای محاسبه گرادیان‌ها نیز استفاده می‌شود. این امر می‌تواند منجر به بیش‌برازش (Overfitting) شود.

معماری و ویژگی‌های منحصربه‌فرد CatBoost

1. تقویت مرتب‌شده (Ordered Boosting)

تقویت مرتب‌شده مهم‌ترین نوآوری الگوریتم CatBoost است که برای حل مشکل تغییر پیش‌بینی طراحی شده است. نحوه عملکرد آن به این صورت است که CatBoost جایگشت‌های تصادفی از داده‌های آموزشی ایجاد می‌کند و برای هر نمونه، تنها از داده‌های قبلی در جایگشت برای محاسبه آمارها استفاده می‌شود. این رویکرد از الگوریتم‌های یادگیری آنلاین الهام گرفته شده و با استفاده از چند جایگشت مختلف، واریانس مدل را کاهش می‌دهد. مزایای این روش شامل جلوگیری از نشت هدف، کاهش بیش‌برازش به‌ویژه در مجموعه داده‌های کوچک و بهبود قدرت تعمیم‌دهی مدل است. CatBoost دو حالت تقویت دارد: حالت Plain (ترکیبی از GBDT استاندارد با آمارهای هدف مرتب‌شده) و حالت Ordered (استفاده کامل از تقویت مرتب‌شده با نگهداری مدل‌های پشتیبان).

2. پردازش خودکار ویژگی‌های دسته‌ای (Ordered Target Statistics)

CatBoost از روش نوآورانه‌ای برای پردازش ویژگی‌های دسته‌ای استفاده می‌کند که به آمارهای هدف مرتب‌شده (Ordered Target Statistics) معروف است. برخلاف روش سنتی که مستعد نشت هدف است، روش CatBoost تنها از داده‌های قبلی استفاده می‌کند و از نشت هدف جلوگیری می‌کند. فرمول آن به صورت زیر است:

TS(xᵢ) = (Σⱼ<ᵢ yⱼ · I[xⱼ = c] + α·P) / (Σⱼ<ᵢ I[xⱼ = c] + α)

که در آن I تابع نشانگر، α پارامتر هموارسازی و P مقدار پیشین (Prior) است.

3. درخت‌های متقارن (Symmetric Trees)

برخلاف الگوریتم‌های دیگر که درخت‌های نامتقارن می‌سازند، CatBoost از درخت‌های متقارن (Oblivious Trees) استفاده می‌کند. در این روش، در هر سطح، همه برگ‌ها با یک شرط تقسیم می‌شوند و ساختار درخت کاملاً متقارن است. عمق درخت به جای تعداد برگ‌ها کنترل می‌شود. این ویژگی منجر به سرعت پیش‌بینی بسیار بالا (تا 10 برابر سریع‌تر)، پیاده‌سازی کارآمد بر روی CPU، عمل‌کرد به عنوان یک نوع منظم‌سازی و کاهش احتمال بیش‌برازش می‌شود.

4. پشتیبانی از GPU

CatBoost از آموزش بر روی GPU به صورت کامل پشتیبانی می‌کند که منجر به تسریع چشمگیر فرآیند آموزش می‌شود. این قابلیت شامل پشتیبانی از چند GPU به صورت همزمان، تنظیمات ساده برای استفاده از GPU و بهینه‌سازی خاص برای معماری GPU است.

5. تشخیص خودکار بیش‌برازش

CatBoost دارای مکانیزم تشخیص خودکار بیش‌برازش است که می‌تواند آموزش را در صورت مشاهده نشانه‌های بیش‌برازش متوقف کند. این ویژگی به حفظ عملکرد مدل کمک شایانی می‌کند.

پیاده‌سازی عملی CatBoost با هوشی

برای بهره‌گیری از قدرت CatBoost در پروژه‌های خود، می‌توانید از پلتفرم هوشی استفاده کنید. هوشی امکانات لازم برای مدیریت و اجرای مدل‌های یادگیری ماشین را فراهم می‌کند.

نصب کتابخانه

برای نصب CatBoost می‌توانید از دستورات زیر استفاده کنید:

pip install catboost

یا برای استفاده از conda:

conda install -c conda-forge catboost

مثال 1: طبقه‌بندی دودویی ساده

در ادامه، نمونه کدی برای طبقه‌بندی دودویی با استفاده از CatBoost آورده شده است:

import pandas as pd
import numpy as np
from catboost import CatBoostClassifier, Pool
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix

# بارگذاری داده‌ها
# فرض می‌کنیم یک مجموعه داده با ویژگی‌های عددی و دسته‌ای داریم
df = pd.read_csv('data.csv')

# جداسازی ویژگی‌ها و برچسب‌ها
X = df.drop('target', axis=1)
y = df['target']

# مشخص کردن ویژگی‌های دسته‌ای
categorical_features = ['gender', 'occupation', 'education', 'marital_status']

# تقسیم داده به مجموعه آموزش و آزمون
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)

# ایجاد مدل CatBoost
model = CatBoostClassifier(
    iterati           # تعداد درخت‌ها
    learning_rate=0.03,        # نرخ یادگیری
    depth=6,                   # عمق درخت‌ها
    loss_function='Logloss',   # تابع زیان
    eval_metric='AUC',         # معیار ارزیابی
    random_seed=42,            # بذر تصادفی برای تکرارپذیری
    verbose=100                # نمایش پیشرفت هر 100 تکرار
)

# آموزش مدل
model.fit(
    X_train, y_train,
    cat_features=categorical_features,
    eval_set=(X_test, y_test),
    early_stopping_rounds=50,  # توقف زودهنگام
    plot=True                  # نمایش نمودار یادگیری
)

# پیش‌بینی
y_pred = model.predict(X_test)
y_pred_proba = model.predict_proba(X_test)

# ارزیابی
accuracy = accuracy_score(y_test, y_pred)
print(f"دقت مدل: {accuracy:.4f}")
print("\nگزارش طبقه‌بندی:")
print(classification_report(y_test, y_pred))

مثال 2: استفاده از Pool برای مدیریت بهتر داده

برای مدیریت بهتر داده‌ها و ویژگی‌های دسته‌ای، می‌توانید از کلاس Pool در CatBoost استفاده کنید:

# ایجاد Pool برای داده‌های آموزش و آزمون
train_pool = Pool(
    data=X_train,
    label=y_train,
    cat_features=categorical_features
)

test_pool = Pool(
    data=X_test,
    label=y_test,
    cat_features=categorical_features
)

# آموزش مدل با استفاده از Pool
model.fit(train_pool, eval_set=test_pool, early_stopping_rounds=50, plot=True)

با استفاده از این ساختار، می‌توانید مدل‌های پیچیده‌تری را بسازید و عملکرد آن‌ها را بهینه‌سازی کنید. برای شروع، کافی است در هوشی ثبت‌نام کرده و اولین توکن API خود را بسازید.

کاربردهای عملی CatBoost

الگوریتم CatBoost در طیف وسیعی از کاربردها مفید است، از جمله:

• پیش‌بینی ریزش مشتری
• امتیازدهی اعتباری
• تشخیص تقلب
• پیش‌بینی فروش
• تحلیل داده‌های پزشکی
• و بسیاری موارد دیگر که شامل داده‌های دسته‌ای و عددی هستند.

نتیجه‌گیری

الگوریتم CatBoost با ویژگی‌های منحصر به فرد خود مانند تقویت مرتب‌شده، پردازش خودکار ویژگی‌های دسته‌ای و درخت‌های متقارن، به ابزاری قدرتمند در جعبه ابزار هر دانشمند داده تبدیل شده است. قابلیت‌های آن در مدیریت داده‌های پیچیده و جلوگیری از بیش‌برازش، آن را به گزینه‌ای ایده‌آل برای مسائل طبقه‌بندی تبدیل می‌کند. با استفاده از پلتفرم هوشی، می‌توانید به راحتی این الگوریتم را پیاده‌سازی کرده و از مزایای آن بهره‌مند شوید. ساخت ایجنت کدنویسی سفارشی شما در هوشی، گامی بزرگ در جهت اتوماسیون فرآیندهای تحلیلی شما خواهد بود.

چرا هوشی؟

هوشی با ارائه یک پلتفرم جامع برای توسعه و استقرار مدل‌های یادگیری ماشین، به شما کمک می‌کند تا از ابزارهای پیشرفته مانند CatBoost به بهترین نحو استفاده کنید. با بیلینگ شفاف و امکانات قدرتمند، هوشی همراه شما در مسیر نوآوری خواهد بود. برای شروع، به هوشی خوش آمدید.