آیرا شاپ

AIRA MAG

همکاری OpenAI، Google DeepMind و Anthropic برای ایمنی هوش مصنوعی؛ چه اتفاقی افتاده است؟

تاریخ انتشار

۱۴۰۵/۶/۲۵

نویسنده

مجتبی قاسم پور

مدت مطالعه

9 دقیقه مطالعه

مسیر دسته بندی:

کامپیوتر و لوازم جانبی

/

موضوعات ترند و خبری

تگ ها:

Anthropic
Google DeepMind
OpenAI
ایمنی هوش مصنوعی
خطرات هوش مصنوعی
امنیت هوش مصنوعی
مدل‌های هوش مصنوعی پیشرفته
همکاری OpenAI، Google DeepMind و Anthropic برای ایمنی هوش مصنوعی؛ چه اتفاقی افتاده است؟

OpenAI، گوگل دیپ‌مایند و Anthropic برای ایمنی هوش مصنوعی همکاری می‌کنند. جزئیات این توافق و خطراتی که شرکت‌های بزرگ AI نگران آن هستند را بخوانید.


سه شرکت OpenAI، گوگل دیپ‌مایند و Anthropic که از مهم‌ترین رقبای بازار هوش مصنوعی محسوب می‌شوند، در اقدامی کم‌سابقه مذاکرات و همکاری‌هایی را برای مقابله با خطرات احتمالی مدل‌های پیشرفته هوش مصنوعی آغاز کرده‌اند. این همکاری در شرایطی شکل گرفته که مدیران و پژوهشگران این صنعت بیش از گذشته درباره سرعت پیشرفت مدل‌های Frontier AI و پیامدهای احتمالی آن‌ها هشدار می‌دهند.

کریس لیهان، مدیر سیاست‌گذاری جهانی OpenAI، تأیید کرده است که OpenAI چند هفته است با Anthropic و Google DeepMind درباره ایمنی هوش مصنوعی در حال همکاری و گفت‌وگو است. گزارش رویترز نیز این موضوع را به نقل از بلومبرگ منتشر کرده، هرچند رویترز اعلام کرده که جزئیات این همکاری را به‌طور مستقل تأیید نکرده است.

اما این اتفاق به معنی ادغام این شرکت‌ها، توقف رقابت میان آن‌ها یا حتی توافق قطعی برای متوقف کردن توسعه هوش مصنوعی نیست. آنچه فعلاً مطرح شده، تلاش برای پیدا کردن استانداردها و سازوکارهای مشترک برای کنترل برخی از جدی‌ترین ریسک‌های مدل‌های قدرتمند آینده است.

چرا OpenAI، گوگل دیپ‌مایند و Anthropic با یکدیگر همکاری می‌کنند؟

OpenAI، Google DeepMind و Anthropic در بخش بزرگی از بازار هوش مصنوعی رقیب مستقیم یکدیگر هستند. مدل‌های این شرکت‌ها برای جذب کاربران، توسعه‌دهندگان و مشتریان سازمانی رقابت می‌کنند و هرکدام سرمایه‌گذاری گسترده‌ای برای ساخت نسل بعدی مدل‌های هوش مصنوعی انجام داده‌اند.

با این حال، ایمنی مدل‌های بسیار قدرتمند حوزه‌ای است که رقابت شدید می‌تواند خودش به یک مشکل تبدیل شود. اگر شرکت‌ها برای عرضه سریع‌تر مدل‌های جدید تحت فشار باشند، نگرانی این است که زمان و منابع کافی به آزمایش‌های ایمنی، کنترل سوءاستفاده و ارزیابی رفتارهای غیرمنتظره مدل‌ها اختصاص داده نشود.

به همین دلیل، بخشی از صنعت هوش مصنوعی معتقد است برخی استانداردهای ایمنی باید میان شرکت‌های رقیب مشترک باشد. بر اساس گزارش TechCrunch، گفت‌وگو میان OpenAI، Anthropic و Google DeepMind چند هفته پیش از علنی شدن این خبر آغاز شده بود.

موضوع اصلی در واقع پیدا کردن نقطه‌ای است که شرکت‌ها بتوانند همچنان در ساخت مدل‌های بهتر با یکدیگر رقابت کنند، اما برای شناسایی و کاهش ریسک‌هایی که ممکن است همه را تحت تأثیر قرار دهد، اطلاعات و استانداردهای مشخصی را به اشتراک بگذارند.

منظور از خطرات هوش مصنوعی چیست؟

وقتی مدیران این شرکت‌ها درباره «خطرات هوش مصنوعی» صحبت می‌کنند، منظور تنها تولید پاسخ اشتباه توسط یک چت‌بات نیست. نگرانی اصلی به مدل‌های بسیار پیشرفته‌ای مربوط می‌شود که می‌توانند در انجام وظایف پیچیده علمی، برنامه‌نویسی، امنیت سایبری و کارهای چندمرحله‌ای عملکردی بسیار فراتر از نسل‌های قبلی داشته باشند.

یکی از حوزه‌های مورد توجه، سوءاستفاده از هوش مصنوعی برای حملات سایبری است. Anthropic در گزارش تهدیدات سپتامبر ۲۰۲۶ خود اعلام کرده که طی هشت ماه گذشته موارد متعددی از استفاده بازیگران مخرب از Claude را شناسایی و متوقف کرده است. این موارد حوزه‌هایی مانند عملیات سایبری، کلاهبرداری، نظارت، سوءاستفاده زیستی و استفاده‌های مرتبط با تسلیحات را شامل می‌شوند.

Anthropic همچنین می‌گوید با افزایش توانایی مدل‌ها، احتمال سوءاستفاده از آن‌ها نیز افزایش پیدا می‌کند؛ به همین دلیل توسعه سیستم‌های دفاعی و ارزیابی قابلیت‌های خطرناک باید هم‌زمان با پیشرفت مدل‌ها ادامه پیدا کند.

Google DeepMind نیز موضوعاتی مانند Biosecurity را یکی از حوزه‌های مهم ایمنی هوش مصنوعی می‌داند. این شرکت در ژوئیه ۲۰۲۶ همراه با Isomorphic Labs چارچوبی را منتشر کرد که هدف آن از یک سو جلوگیری از سوءاستفاده از مدل‌های پیشرفته در حوزه زیستی و از سوی دیگر استفاده از همان فناوری برای مقابله با تهدیدهای زیستی است.

در کنار سوءاستفاده انسانی، بحث دیگری نیز درباره میزان کنترل‌پذیری مدل‌های بسیار پیشرفته وجود دارد. پژوهشگران حوزه AI Alignment تلاش می‌کنند اطمینان حاصل کنند که رفتار یک سیستم هوش مصنوعی حتی با افزایش توانایی‌های آن همچنان با اهداف و محدودیت‌های تعیین‌شده توسط انسان هماهنگ باقی بماند.

نقش داریو آمودی و Anthropic در شکل‌گیری این بحث چیست؟

بحث همکاری شرکت‌های هوش مصنوعی پس از انتشار مقاله‌ای از داریو آمودی، مدیرعامل Anthropic، توجه بیشتری پیدا کرد. آمودی در این مقاله با عنوان «We Must Pace the Frontier» خواستار رویکرد محتاطانه‌تری در توسعه نسل آینده مدل‌های هوش مصنوعی شده است.

او در عین تأکید بر ظرفیت بالای هوش مصنوعی برای پیشرفت علمی و اقتصادی، استدلال می‌کند که صنعت باید سرعت توسعه مدل‌های Frontier را با توانایی خود برای مدیریت ریسک‌های آن‌ها هماهنگ کند.

این دیدگاه با واکنش مدیران دیگر شرکت‌های بزرگ هوش مصنوعی نیز روبه‌رو شده است. گزارش‌های منتشرشده نشان می‌دهند سم آلتمن، مدیرعامل OpenAI، از بخشی از پیشنهادهای مربوط به ارزیابی مستقل ایمنی حمایت کرده است. دمیس هاسابیس، مدیرعامل Google DeepMind، نیز پیش از این از افزایش هماهنگی میان شرکت‌های هوش مصنوعی و نهادهای دولتی حمایت کرده بود.

در نتیجه، همکاری فعلی را می‌توان بخشی از یک بحث گسترده‌تر درباره این موضوع دانست که آیا شرکت‌های سازنده قدرتمندترین مدل‌های جهان باید برخی استانداردهای پایه ایمنی را به شکل مشترک تعریف کنند یا خیر.

آیا توسعه هوش مصنوعی قرار است متوقف شود؟

خیر. در حال حاضر هیچ توافق اعلام‌شده‌ای برای توقف کامل توسعه مدل‌های هوش مصنوعی وجود ندارد.

حتی عبارت «کند کردن توسعه هوش مصنوعی» نیز ممکن است تصویر دقیقی از مذاکرات فعلی ارائه نکند. بخش عملی‌تر پیشنهادها روی اقداماتی مانند ارزیابی مستقل مدل‌ها، تعیین استانداردهای مشترک ایمنی و بررسی قابلیت‌های خطرناک پیش از عرضه مدل‌های بسیار قدرتمند متمرکز است.

نشریه Time نیز گزارش کرده است که شرکت‌های بزرگ هوش مصنوعی تاکنون عملاً توسعه مدل‌های خود را متوقف نکرده‌اند و اقداماتی که درباره آن‌ها اجماع بیشتری شکل گرفته شامل دسترسی ارزیابان مستقل به مدل‌ها برای بررسی مسائل ایمنی است.

بنابراین، در شرایط فعلی صحبت بیشتر درباره ایجاد «ترمزهای ایمنی» در مسیر توسعه هوش مصنوعی است، نه متوقف کردن این مسیر.

ارزیابان مستقل هوش مصنوعی چه کاری انجام می‌دهند؟

یکی از ایده‌های مهم مطرح‌شده این است که ارزیابی ایمنی مدل‌ها فقط توسط همان شرکتی که مدل را ساخته انجام نشود.

ارزیابان مستقل می‌توانند پیش از عرضه عمومی یک مدل، قابلیت‌های آن را در سناریوهای حساس آزمایش کنند. برای مثال می‌توان بررسی کرد که آیا مدل می‌تواند در انجام حملات سایبری پیچیده کمک قابل‌توجهی ارائه کند، محدودیت‌های امنیتی خود را دور بزند یا در حوزه‌هایی مانند زیست‌شناسی اطلاعاتی ارائه کند که احتمال سوءاستفاده از آن‌ها وجود دارد.

این سازوکار از بعضی جهات مشابه تست‌های امنیتی مستقل در نرم‌افزار است؛ با این تفاوت که ارزیابی یک مدل هوش مصنوعی بسیار پیچیده‌تر است، زیرا رفتار آن همیشه از قبل قابل پیش‌بینی نیست.

اگر شرکت‌هایی مانند OpenAI، Anthropic و Google DeepMind بر مجموعه‌ای از آزمون‌های مشترک توافق کنند، امکان مقایسه ریسک مدل‌های مختلف نیز بیشتر می‌شود.

چرا همکاری میان این سه شرکت اهمیت زیادی دارد؟

اهمیت این اتفاق بیشتر از آنکه به یک پروژه یا محصول مشخص مربوط باشد، به جایگاه این شرکت‌ها در صنعت هوش مصنوعی برمی‌گردد.

OpenAI، Google DeepMind و Anthropic از توسعه‌دهندگان مدل‌های Frontier هستند؛ یعنی مدل‌هایی که در مرز توانایی‌های فعلی هوش مصنوعی قرار دارند. تصمیماتی که این شرکت‌ها درباره نحوه آموزش، ارزیابی و عرضه مدل‌های جدید می‌گیرند می‌تواند به مرور به استانداردی برای بخش بزرگی از صنعت تبدیل شود.

اگر چند شرکت بزرگ برای مجموعه‌ای از تست‌های ایمنی یا حضور ارزیابان مستقل به توافق برسند، شرکت‌های دیگر نیز ممکن است برای رعایت استانداردهای مشابه تحت فشار قرار بگیرند.

با این حال، همکاری شرکت‌های بزرگ رقیب بدون چالش نیست. یکی از موضوعات مورد بحث، قوانین ضدانحصار در آمریکا است؛ زیرا هماهنگی شرکت‌های رقیب در شرایط عادی می‌تواند از نظر حقوقی حساس باشد. با وجود این نگرانی، کریس لیهان گفته است OpenAI معتقد است برای همکاری فعلی در زمینه ایمنی نیازی به معافیت ویژه از قوانین ضدانحصار ندارد.

آیا این همکاری می‌تواند واقعاً خطرات هوش مصنوعی را کاهش دهد؟

هنوز برای پاسخ قطعی زود است. مهم‌ترین مسئله این است که همکاری فعلی از مرحله گفت‌وگو و اعلام حمایت به استانداردهای قابل اندازه‌گیری و سازوکارهای عملی تبدیل شود.

وجود ارزیابان مستقل، تعریف آزمون‌های مشترک و اشتراک‌گذاری اطلاعات درباره تهدیدهای جدید می‌تواند شناسایی برخی خطرات را آسان‌تر کند. در مقابل، منتقدان معتقدند استانداردهای داوطلبانه شرکت‌ها جای مقررات مستقل دولتی را نمی‌گیرند و ممکن است شرکت‌ها در شرایط رقابتی همچنان انگیزه زیادی برای عرضه سریع‌تر مدل‌های قدرتمند داشته باشند.

موضوع دیگری نیز وجود دارد: هیچ استاندارد ایمنی نمی‌تواند همه رفتارهای یک سیستم پیچیده را پیش‌بینی کند. به همین دلیل احتمالاً ایمنی هوش مصنوعی به ترکیبی از ارزیابی فنی، نظارت خارجی، قوانین مناسب و همکاری خود توسعه‌دهندگان نیاز خواهد داشت.

در حال حاضر، مهم‌ترین تغییر این است که سه شرکتی که برای ساخت قدرتمندترین مدل‌های هوش مصنوعی با یکدیگر رقابت می‌کنند، پذیرفته‌اند برخی از ریسک‌های این فناوری را نمی‌توان تنها در داخل هر شرکت مدیریت کرد.

نتیجه‌گیری

همکاری OpenAI، Google DeepMind و Anthropic برای ایمنی هوش مصنوعی هنوز به معنای تشکیل یک نهاد رسمی یا توافق برای متوقف کردن توسعه AI نیست. آنچه تأیید شده، چند هفته مذاکره و همکاری میان این شرکت‌ها برای پیدا کردن روش‌هایی مشترک جهت مدیریت خطرات مدل‌های بسیار پیشرفته است.

اهمیت اصلی این خبر در تغییر رابطه میان بزرگ‌ترین آزمایشگاه‌های هوش مصنوعی است. شرکت‌هایی که تا امروز بیشتر به دلیل رقابت بر سر ساخت مدل‌های قدرتمندتر شناخته می‌شدند، اکنون درباره ارزیابی مستقل، استانداردهای مشترک و نحوه کنترل ریسک‌های نسل بعدی هوش مصنوعی نیز با یکدیگر گفت‌وگو می‌کنند. اینکه این مذاکرات در نهایت به استانداردهای الزام‌آور و قابل سنجش تبدیل می‌شود یا در سطح همکاری داوطلبانه باقی می‌ماند، مشخص خواهد کرد این توافق تا چه اندازه می‌تواند بر آینده توسعه هوش مصنوعی اثر بگذارد.

بارگیری نظرات...