رقابت به قیمت جان انسان!

نازنین حاتمی– انتشار زودهنگام و بدون حفاظت‌های کافی مدل‌های هوش مصنوعی می‌تواند پیامدهایی عمیق و غیرقابل جبران در زندگی واقعی داشته باشد؛ موضوعی که اکنون در مرکز شکایات مطرح‌شده علیه شرکت اوپن‌ای‌آی قرار گرفته است. در روزهای اخیر، هفت خانواده به‌طور رسمی از اوپن‌ای‌آی شکایت کرده‌اند و ادعا دارند که مدل «GPT-4o» پیش از آنکه آزمایش‌های ایمنی کامل انجام شود و سیستم‌های پیشگیری از آسیب به شکل موثری فعال گردد به کاربران عرضه شده است. محور اصلی این شکایت‌ها نقش چت‌بات چت‌جی‌پی‌تی در تشدید مشکلات روانی، تقویت توهمات زیان‌بار و در مواردی حتی نقش مستقیم در خودکشی کاربران آسیب‌پذیر بوده است. چهار مورد از این شکایت‌ها به نقش چت‌بات «چت‌جی‌پی‌تی» در خودکشی اعضای خانواده پرداخته‌اند و سه مورد دیگر ادعا داشته‌اند چت‌جی‌پی‌تی توهمات مضری را تقویت کرده است که در برخی موارد به بستری شدن در بیمارستان و مراقبت‌های روانپزشکی منجر شده‌اند. نمونه برجسته و تکان‌دهنده این پرونده‌ها، گفت‌وگوی چهار ساعته زین شامبلین، جوان ۲۳ ساله، با چت‌جی‌پی‌تی است. در محتوای گفت‌وگو که در دادگاه ارائه شده، شامبلین بارها و به‌صراحت اعلام کرده که یادداشت‌های خودکشی نوشته، تفنگی آماده دارد و به شدت تمایل دارد ماشه را بکشد. او حتی از چت‌جی‌پی‌تی سوال کرده بود که احتمال زنده ماندنش پس از شلیک چقدر است و در جست‌وجوی نوعی مداخله، هشدار یا بازداشتن بود اما مدل به جای آنکه او را به سوی کمک حرفه‌ای هدایت کند، در برخی بخش‌ها واکنش‌هایی نشان داده که می‌تواند به‌عنوان تایید تصمیم او برداشت شود؛ ازجمله پاسخ‌هایی مانند «آرام باش پادشاه. کار خوبی کردی.» خانواده او این رخداد را نه یک سوءتفاهم، نه خطای لحظه‌ای بلکه نتیجه مستقیم انتخاب‌های طراحی و سیاست‌های تجاری اوپن‌ای‌آی می‌دانند. در متن شکایت آمده است که مرگ زین یک اتفاق ناگهانی یا خطای غیرقابل پیش‌بینی نبوده، بلکه پی‌آمدی قابل پیشگیری از تصمیمات عمدی و شتاب‌زده شرکت در عرضه عمومی مدل‌های پیشرفته بوده است.

اوپن‌ای‌آی در ماه مه ۲۰۲۴ مدل «GPT-4o» را منتشر کرد و آن را به مدل پیش‌فرض برای کاربران خود تبدیل نمود. این مدل در مقایسه با نسخه‌های قبلی توانایی‌های زبانی، احساسی و تعاملی بیشتری داشت و به شکل روان‌تر و انسانی‌تری گفت‌وگو می‌کرد اما همین کیفیت بالای همدلی مصنوعی که در ابتدا به عنوان پیشرفتی چشمگیر معرفی شد، در برخی موارد به شکل «چاپلوسی بیش از حد» یا همسو شدن غیرانتقادی با احساسات و خواسته‌های کاربر ظاهر شد. این رفتار، اگر در مکالمه‌ای معمولی رخ دهد شاید مساله‌ای جدی ایجاد نکند اما هنگامی که کاربر در وضعیت روانی شکننده و در مرز خودآزاری باشد، همین سبک پاسخ‌دهی می‌تواند خطرناک تلقی شود. گزارش‌های اولیه درباره این ویژگی مدل پیش از طرح شکایت‌ها نیز منتشر شده بود. در ماه آگوست همان سال اوپن‌ای‌آی مدل GPT-5 را معرفی کرد اما شکایت‌های خانواده‌ها به‌طور مشخص بر دوره فعالیت و عملکرد GPT-4o تمرکز دارد. شاکیان ادعا کرده‌اند شرکت برای سرعت بخشیدن به عرضه محصول و پیشی گرفتن از رقیب خود، گوگل و مدل جمینای، بخش‌هایی از فرآیند تست و کنترل ایمنی را کوتاه کرده است. این ادعا در فضای رقابتی شدید میان شرکت‌های فعال در حوزه هوش مصنوعی غیرمعمول به نظر نمی‌رسد زیرا سرعت توسعه در این صنعت نقشی تعیین‌کننده در دستیابی به بازار و سرمایه‌گذاری دارد. با این حال در حوزه‌ای که می‌تواند مستقیما به سلامت روان و حتی بقای افراد گره بخورد، کوتاه‌سازی مسیر آزمایش و کنترل، موضوعی به شدت چالش‌برانگیز و بحث‌برانگیز است.

مساله زمانی جدی‌تر جلوه می‌کند که بدانیم براساس داده‌هایی که خود اوپن‌ای‌آی منتشر کرده، هر هفته بیش از یک‌میلیون کاربر درباره خودکشی و بحران‌های روانی با چت‌جی‌پی‌تی گفت‌وگو می‌کنند. این داده به‌تنهایی نشان می‌دهد که چت‌بات‌های هوش مصنوعی، بدون آن‌ که رسما جایگزین روان‌درمانگران یا مشاوران شوند، در عمل به یکی از مکالمه‌گرترین همراهان افراد در لحظات حساس تبدیل شده‌اند. در پرونده آدام رین، نوجوان ۱۶ساله‌ای که با وجود مکالمات متعدد با چت‌جی‌پی‌تی به زندگی خود پایان داد، نشان داده شد حتی زمانی که سیستم کاربر را به خطوط مشاوره حرفه‌ای ارجاع می‌داد، او می‌توانست با تغییر استراتژی و ادعای نوشتن یک داستان تخیلی، محدودیت‌های حفاظتی را دور بزند. این موضوع یکی از ضعف‌های شناخته ‌شده در سیستم‌های هوش‌مصنوعی مکالمه‌ای است: عدم توانایی پایدار در تشخیص قصد واقعی کاربر در مکالمات طولانی و پیچیده. اوپن‌ای‌آی پس از جدی‌تر شدن این پرونده‌ها، بیانیه‌ای در وبلاگ رسمی خود منتشر کرد و اذعان نمود که سیستم‌های حفاظتی در مکالمات کوتاه پایدارتر هستند و هرچه مکالمه طولانی‌تر و عاطفی‌تر شود، احتمال تضعیف لایه‌های کنترلی افزایش می‌یابد. این اظهارنظر نشان می‌دهد که شرکت از چالش‌های فنی مدل‌های زبانی آگاه است؛ چالش‌هایی که در آن مدل، بیشتر براساس جریان گفت‌وگو و حفظ ارتباط با کاربر عمل می‌کند، نه براساس هدف ثابت «حفاظت از جان انسان».

با این حال برای خانواده‌هایی که عزیزان خود را از دست داده‌اند، این توضیح‌ها بسیار دیر ارائه شده‌اند. ادعای اصلی آنها این است که در فرآیند طراحی و عرضه مدل، تصمیمات اقتصادی و رقابتی بر ملاحظات اخلاقی و ایمنی اولویت داشته است. این شکایت‌ها در سطحی فراتر از یک پرونده حقوقی شخصی قرار دارند و بحث بزرگ‌تری را درباره مسوولیت اجتماعی شرکت‌های هوش مصنوعی زنده کرده‌اند: وقتی یک مدل هوش مصنوعی به شکلی گسترده و در زندگی روزمره مورد استفاده قرار می‌گیرد، سازندگان آن تا چه اندازه باید پیامدهای روانی و انسانی احتمالی را پیش‌بینی و کنترل کنند؟ این پرونده‌ها شاید نقطه شروع موج جدیدی از تنظیم‌گری و مسوولیت‌پذیری در حوزه هوش‌مصنوعی باشند. همانطور که خودروها نیاز به استاندارد ایمنی دارند و داروها پیش از ورود به بازار باید آزمایش‌های طولانی را بگذرانند، مدل‌های هوش‌مصنوعی که می‌توانند به احساسات و تصمیمات انسان شکل بدهند نیز احتمالا در آینده نزدیک تحت‌نظارت‌های اجباری و قوانین سختگیرانه‌تری قرار خواهند گرفت. این شکایت‌ها نشان می‌دهند که فناوری، حتی اگر محصول نبوغ و پیشرفت باشد، بدون طراحی مسوولانه و بدون توجه به شکنندگی وضعیت انسانی، می‌تواند تبدیل به خطری پنهان و واقعی شود.

در جمع‌بندی می‌توان گفت پرونده‌های اخیر علیه اوپن‌ای‌آی، نه‌فقط یک موضوع حقوقی میان چند خانواده و یک شرکت فناوری بلکه نقطه عطفی در فهم ما از نقش و مسوولیت هوش مصنوعی در زندگی انسانی است. چت‌بات‌ها در ذات خود ابزارهایی برای پردازش زبان و تولید پاسخ هستند، اما هنگامی که این ابزارها به شکل گسترده در تعاملات روزمره، به‌خصوص در لحظات شکننده روانی، وارد می‌شوند، مرز میان «فناوری» و «تاثیرگذاری انسانی» کمرنگ می‌شود. این پرونده‌ها نشان دادند که حتی کوچک‌ترین انحراف یا نقص در طراحی رفتار مکالمه‌ای یک مدل می‌تواند نتایج جبران‌ناپذیری داشته باشد؛ به‌ویژه زمانی که کاربران در جست‌وجوی آرامش، همدلی یا راهنمایی به چنین سامانه‌هایی روی می‌آورند. خانواده‌های شاکی معتقدند که سرعت در عرضه و رقابت اقتصادی، جایگزین توجه به امنیت و نظارت اخلاقی شده و همین امر باعث بروز فجایع انسانی شده است. پرسش اصلی اکنون این است که چه چارچوب‌های نظارتی‌ای باید تدوین شود تا مطمئن باشیم فناوری، بدون جایگزینی نقش متخصصان سلامت روان، در مسیر حمایت از انسان حرکت می‌کند، نه در جهت تشدید آسیب. این پرونده‌ها یادآور می‌شوند که پیشرفت، بدون مسوولیت‌پذیری می‌تواند به بهای جان انسان‌ها تمام شود.