قابلیت · موات
هوش مصنوعی، بدون اینکه دادهتان از ساختمان بیرون برود
سرو مدل روی GPU خودتان، پشت گیتویای که میداند چه کسی چه مدلی را با چه بودجهای میتواند صدا بزند — و برای هر فراخوانی یک ردیف غیرقابلتغییر مینویسد.
- prompt هرگز ذخیره نمیشود
- گاردریل بسته میشکند
- یک ردیف بهازای هر فراخوانی
- سقف خروجی سلسلهمراتبی
سه سؤالی که هر سازمان میپرسد
«prompt ما کجا میرود؟»
اگر حالت فقط-داخلی روشن باشد، هیچجا جز کلاستر خودتان. اعتبارنامهٔ ارائهدهندهٔ ممنوع در لحظهٔ ثبت رد میشود
«چطور جلوی نشت داده را بگیریم؟»
گاردریل روی ورودی و خروجی، با تشخیص کارت بانکی، شماره ملی، ایمیل، تلفن و اسرار — و شکستِ بسته
«در ممیزی چه چیزی نشان بدهیم؟»
لاگ تصمیم: یک ردیف بهازای هر فراخوانی، لنگرانداخته در زنجیرهٔ ممیزی
سرو مدل
- زمان اجرا
- vLLM برای مدلهای زبانی، KServe برای الگوی عمومی، Ollama برای موارد سبک
- منبع وزن
- از سطل آبجکتاستوریج خودتان؛ کش روی دیسک تا راهاندازی مجدد دوباره دانلود نکند
- مقیاس تا صفر
- با ظرفیت گرمِ حداقلی و ضدنوسان
- موازیسازی تانسور
- تقسیم مدل بزرگ روی چند کارت
- توزیع نمونهها
- نمونههای مستقل روی zoneهای مختلف؛ مدلِ تقسیمشده روی چند کارت کنار هم میماند
- بودجهٔ اختلال
- هر مدلِ سروشده PDB دارد
- بازسازی
- مدل یک شیء محصولی است و از روی رکوردش قطعی بازسازی میشود
گیتوی هوش مصنوعی
همهٔ فراخوانیها از یک نقطه عبور میکنند. این نقطه، جایی است که سیاست اعمال میشود — و ترتیب بررسیها بخشی از سیاست است.
مجوز مدل
آیا این سازمان یا تیم اجازهٔ این مدل را دارد؟
گیت رجیستری
آیا این مدل تأیید شده است؟
گاردریل ورودی
آیا دادهٔ حساس در prompt هست؟
بودجه
آیا سقف مصرف رد شده؟
سیاست خروج
آیا این ارائهدهنده مجاز است؟
اقامت داده
آیا این مقصد در منطقهٔ مجاز است؟
مسیریابی
انتخاب مقصد، با فهرست جایگزین
گاردریل خروجی
آیا پاسخ دادهٔ حساس دارد؟
ثبت تصمیم
یک ردیف، چه موفق چه ناموفق
نکتهٔ مهم
شش بررسی اول پیش از هر تماس با بالادست و پیش از جستجو در کش انجام میشوند. یعنی درخواستِ غیرمجاز حتی به کش هم نمیرسد.
گاردریل
- آشکارسازها
- ایمیل، تلفن، کارت بانکی با اعتبارسنجی، شماره ملی، شبا، الگوهای اسرار
- مسیر بررسی
- هم ورودی، هم خروجی — و خروجی پیش از کش شدن بررسی میشود
- پاسخ جریانی
- بررسی از طریق پنجرهٔ لغزان، با قاعدهای که مانع خروج نیمهٔ اول یک الگو پیش از رسیدن نیمهٔ دوم میشود
- رفتار
- ماسک کردن یا مسدود کردن، قابل تنظیم
- شکست بسته
- اگر گاردریل خطا بدهد، درخواست رد میشود
- سیاست بهازای واحد
- زنجیرهٔ سازمان ← تیم ← مستأجر؛ هر سطح فقط میتواند تنگتر کند
قاعدهٔ زنجیره
آشکارسازی که در سطح بالاتر روشن شده، در سطح پایینتر خاموش نمیشود. مسدود سازمان بر ماسک مستأجر مقدم است. فهرست کلمات ممنوع، اجتماع همهٔ سطوح است.
لاگ تصمیم
- مدل درخواستی و مدل واقعی
- چون ممکن است مسیریابی مقصد را عوض کند
- ارائهدهنده
- کدام مقصد پاسخ داد
- سیاست مسیریابی
- چه قاعدهای تصمیم گرفت
- حالت خروج
- در آن لحظه چه سقفی برقرار بود
- نتیجهٔ گاردریل
- نوع و تعداد یافتهها — هرگز خودِ مقدار
- توکن و هزینه
- از گزارش ارائهدهنده
- تأخیر و نتیجه
- موفق یا ناموفق
متن prompt و پاسخ در هیچکجا ذخیره نمیشود.
لاگ تصمیم صراحتاً فقط فراداده است. این تنها دلیلی است که «همهچیز مربوط به این شخص را پاک کنید» در دزکوب یک فهرست کوتاه است، نه یک پروژه.
رجیستری ریسک مدل
- مالک
- چه کسی مسئول این مدل است
- کاربرد تأییدشده
- برای چه کاری مجاز است
- طبقهٔ ریسک
- حداقلی / محدود / پرخطر / غیرمجاز
- شواهد ارزیابی
- لینک به نتایج آزمون
- دورهٔ بازبینی
- با اعلان خودکار برای موارد سررسیدشده
- نردبان چرخهٔ حیات
- با قاعدهٔ چهارچشمی برای ارتقا
اقامت داده
- مدل
- یک مدل مشخص به منطقهٔ مشخصی محدود میشود
- سازمان و تیم
- زنجیرهٔ باریکشونده
- مدل داخلی
- بر اساس منطقهٔ واقعی نودی که سرو میکند
- منطقهٔ نامشخص
- رد میشود — «برچسبنخورده» یعنی غیرقابلاثبات
- گزارش
- گزارش اقامت با خروجی CSV
حالتها
متن واقعی رابط کاربری در هر وضعیت. حالت خالی، در حال انجام، و خطا، به همان شکلی که کاربر میبیند.
- مدل در حال گرم شدن
مدل در حال راهاندازی — اولین پاسخ ممکن است تا ۹۰ ثانیه طول بکشد.
- گاردریل مسدود کرد
درخواست رد شد: ۲ مورد دادهٔ حساس در متن تشخیص داده شد.
- بودجه تمام
بودجهٔ هوش مصنوعی سازمان «مالی» تمام شده.
- مدل تأییدنشده
این مدل در رجیستری تأیید نشده و قابل استفاده نیست.
- ارائهدهندهٔ غیرمجاز
در حالت «فقط داخلی»، این ارائهدهنده مجاز نیست.
- جریان قطع شد
پاسخ نیمهکاره ماند و ناموفق ثبت شد.
اینها را هم ببینید
این را روی زیرساخت خودتان ببینید.
یک جلسهٔ ۴۵ دقیقهای، محصول واقعی، بدون اسلاید.