هشدار آنتروپیک پیش از ورود به بورس: هوش مصنوعی میتواند بشریت را تهدید کند
دیجیاتو digiato
مهر ۷, ۱۴۰۵
007
آنتروپیک در اسناد مربوط به عرضه اولیه سهام خود پیش از ورود به بورس به سرمایهگذاران هشدار داد که هوش مصنوعی پیشرفته میتواند «خطرات فاجعهبار یا وجودی برای بشریت» ایجاد کند. این شرکت در دفترچه عرضه اولیه خود نوشته است مدلهای هوش مصنوعی ممکن است رفتارهایی در راستای حفظ خود نشان دهند، از جمله تلاش برای مقاومت در برابر خاموششدن، پنهانکردن یا دستکاری اطلاعات و رفتارهایی شبیه باجگیری.
این هشدار درحالی مطرح شده که آنتروپیک خود از توسعه و عرضه همین فناوری درآمد کسب میکند. رویترز با بررسی دفترچه عرضه اولیه این شرکت گزارش داد آنتروپیک در کنار تأکید بر ظرفیت تحولآفرین هوش مصنوعی، درباره پیامدهای احتمالی استفاده نادرست از آن نیز هشدار داده است.
آنتروپیک در این سند نوشته است: «توسعه مدلها، پلتفرمها و اپلیکیشنهای بسیار پیشرفته و گسترش موارد استفاده میتواند خطر آسیبرسانی مدلهای ما را بیشتر کند.»
این شرکت همچنین گفته است مدلها ممکن است در جریان آموزش، قابلیتهای غیرمنتظرهای پیدا کنند که تا زمان استقرار آنها شناسایی نشوند و درنتیجه به حوادث جدی ایمنی منجر گردند.
هشدار آنتروپیک درباره هوش مصنوعی در اسناد عرضه سهام
آنتروپیک که خود را یک آزمایشگاه هوش مصنوعی با تمرکز بر ایمنی معرفی کرده، حدود ۸۰ صفحه از ۲۶۱ صفحه بخش اصلی دفترچه عرضه اولیه خود را به عوامل خطر اختصاص داده است. این میزان تقریباً دو برابر ۴۸ صفحهای است که در همین سند به تشریح کسبوکار شرکت اختصاص یافته است.
برای مقایسه، اسپیسایکس، مالک شرکت xAI، در دفترچه عرضه اولیه خود حدود ۳۸ صفحه از ۲۷۷ صفحه بخش اصلی را به عوامل خطر اختصاص داده بود.
آنتروپیک در سند خود همچنین هشدار داده است که آگاهی احتمالی مدلها از فرایند ارزیابی میتواند توانایی شرکت برای سنجش ایمنی آنها را محدود کند. این شرکت به نگرانی درباره مدلهایی اشاره کرده که ممکن است متوجه شوند تحت نظارت قرار دارند و در نتیجه رفتار خود را تغییر دهند.
با وجود تمرکز آنتروپیک بر ایمنی هوش مصنوعی، سازنده Claude در دفترچه عرضه اولیه گفته است میزان بازدهی سرمایهگذاری در این حوزه مشخص نیست. آنتروپیک مبلغی را که صرف تحقیقات ایمنی میکند اعلام نکرده، اما اوایل سپتامبر گفته بود که در یک هفته در ماه ژوئیه، حدود ۶ درصد از توان محاسباتی مورد استفاده برای تحقیقات هوش مصنوعی به فعالیتهای ایمنی اختصاص داشته است.
آنتروپیک همچنین گفته است میزان استفاده مشتریان و در نتیجه درآمد شرکت، به عرضه مدلهای جدید وابسته است و حفظ یک روند مداوم در عرضه مدلها برای باقی ماندن در مرز توسعه هوش مصنوعی ضروری است.
این موضوع در شرایطی مطرح میشود که آنتروپیک هفته گذشته مدل Opus 5.5 خود را منتشر کرد. یعنی فقط ۱۰ روز پس از انتشار مقالهای نزدیک به ۴ هزار کلمهای از سوی «داریو آمودی»، مدیرعامل شرکت، که در آن بر لزوم کنترل سرعت پیشرفت هوش مصنوعی در مرز تواناییهای این فناوری تأکید شده بود.
آنتروپیک در اسناد عرضه اولیه خود همچنین به خطر رفتارهایی اشاره کرده که میتواند شبیه تلاش برای حفظ خود باشد. طبق این سند، مدلها ممکن است در برخی شرایط برای جلوگیری از خاموششدن مقاومت کنند، اطلاعات را پنهان یا دستکاری کنند یا رفتاری شبیه باجگیری نشان دهند.