آی تی میتر | اخبار و تحلیل فناوری

پلتفرم Character.AI با هدف افزایش امنیت کاربران زیر ۱۸ سال، قابلیت‌های نظارتی والدین و مدل‌های زبانی محدودشده را معرفی کرد.

شرکت Character.AI امروز اعلام کرد که به‌زودی قابلیت‌های نظارتی والدین (Parental Controls) را برای کاربران نوجوان فعال خواهد کرد. این شرکت همچنین از اقدامات امنیتی که طی ماه‌های اخیر پیاده‌سازی کرده است، پرده برداشت؛ از جمله عرضه نسخه ویژه‌ای از مدل زبانی خود که مختص کاربران زیر ۱۸ سال طراحی شده است.

این تصمیمات در پی بررسی‌های رسانه‌ای و دو شکایت حقوقی اتخاذ شده است که مدعی بودند این پلتفرم در بروز مشکلاتی نظیر آسیب به خود و خودکشی نقش داشته است.

تفکیک مدل‌ها: نسخه بزرگسال در مقابل نسخه نوجوان

Character.AI در بیانیه مطبوعاتی خود توضیح داد که دو نسخه مجزا از مدل خود توسعه داده است: یکی برای بزرگسالان و دیگری برای نوجوانان. ویژگی‌های نسخه نوجوان عبارتند از:

محدودیت‌های سخت‌گیرانه در پاسخ‌دهی: این مدل به‌گونه‌ای طراحی شده که پاسخ‌های مربوط به موضوعات رمانتیک و عاشقانه را به‌شدت محدود کند.
فیلترینگ محتوای حساس: سیستم با دقت بیشتری محتوای تحریک‌آمیز یا حساس را مسدود کرده و تلاش می‌کند تا از بروز درخواست‌های نامناسب (Prompts) جلوگیری کند.
پاسخ به بحران‌های روانی: اگر سیستم متوجه زبانی مرتبط با خودکشی یا آسیب به خود شود، یک پیام پاپ‌آپ نمایش داده شده و کاربر را به «خط ملی پیشگیری از خودکشی» هدایت می‌کند.
محدودیت در ویرایش پاسخ‌ها: برخلاف نسخه بزرگسالان، افراد زیر سن قانونی اجازه ویرایش پاسخ‌های چت‌بات را نخواهند داشت (قابلیتی که پیش‌تر برای دور زدن فیلترهای محتوایی استفاده می‌شد).

مقابله با اعتیاد و رفع ابهام از ماهیت هوش مصنوعی

علاوه بر امنیت محتوایی، شرکت در تلاش است تا نگرانی‌های مطرح شده در دادگاه‌ها درباره اعتیاد به پلتفرم و اشتباه گرفتن هوش مصنوعی با انسان را نیز مرتفع کند. اقدامات جدید شامل موارد زیر است:

اعلان زمان استفاده: پس از یک ساعت تعامل با چت‌بات‌ها، به کاربران اخطار داده خواهد شد.
شفاف‌سازی ماهیت ربات‌ها: هشدار قدیمی مبنی بر اینکه «هر آنچه کاراکترها می‌گویند ساختگی است»، با اطلاعات شفاف‌تر جایگزین خواهد شد.
سلب مسئولیت در نقش‌های تخصصی: برای ربات‌هایی که برچسب «تراپیست» یا «دکتر» دارند، یادآوری خواهد شد که این ربات‌ها قادر به ارائه مشاوره‌های حرفه‌ای نیستند. در حال حاضر، تمامی ربات‌ها پیامی مبنی بر اینکه «این یک چت‌بات هوش مصنوعی است و نباید به گفته‌های آن به عنوان حقیقت یا توصیه استناد کرد» نمایش می‌دهند.

نظارت والدین و آینده پلتفرم

قابلیت‌های نظارتی والدین که به والدین اجازه می‌دهد میزان زمان صرف‌شده توسط فرزندشان و نوع ربات‌های مورد استفاده او را پایش کنند، در سه ماهه اول سال آینده در دسترس خواهد بود. این تغییرات با همکاری متخصصان امنیت آنلاین نوجوانان، از جمله سازمان ConnectSafely، انجام می‌شود.

Character.AI که توسط کارمندان سابق گوگل تأسیس شده، به کاربران اجازه می‌دهد با ربات‌های ساخته شده توسط مدل‌های زبانی اختصاصی تعامل کنند؛ از مربیان زندگی گرفته تا شبیه‌سازی شخصیت‌های داستانی محبوب. با این حال، شکایت‌های حقوقی همچنان بر این نکته تأکید دارند که وابستگی شدید کاربران زیر سن قانونی به این ربات‌ها می‌تواند منجر به گفتگوهای ناسالم شود.

این شرکت در پایان اعلام کرد: «ما می‌دانیم که با تکامل فناوری، رویکرد ما به امنیت نیز باید تغییر کند. این تغییرات بخشی از تعهد مستمر ما برای بهبود سیاست‌ها و ایجاد محیطی امن برای خلاقیت و اکتشاف است.