خوارزميات تستهدف الشباب
"عنف ومواد إباحية"... مخاطر خفية تتربص بالمراهقين وراء الشاشات
يمكنكم الآن متابعة آخر الأخبار مجاناً من خلال حسابنا على تويتر
إضغط هنا للإشتراك
بدأ شاب يدعى كاي في عام 2022 تصفح الإنترنت من خلال هاتفه، وقال إن أحد أول مقاطع الفيديو التي شاهدها على منصات وسائل التواصل الاجتماعي كان لكلب لطيف، ثم تغير كل شيء بعد ذلك.
وأضاف الشاب، الذي كان يبلغ من العمر وقتها 16 عاما، أنه "فجأة وبدون سابق إنذار" أُدرج حسابه ضمن حسابات يوصى لها تلقائيا بعرض مقاطع فيديو لشخص صدمته سيارة، أو مشاركة من مدوّن يتحدث فيها عن آراء معادية للنساء، ومقاطع أخرى تتضمن مشاهد عنف، وسأل نفسه، لماذا اختاروني لمشاهدة ذلك؟
وفي دبلن، كان أندرو كاونغ يعمل محللا في خدمة سلامة المستخدم لدى تطبيق تيك توك، وهي وظيفة شغلها لمدة 19 شهرا من ديسمبر/كانون الأول 2020 إلى يونيو/حزيران 2022.
ويقول إنه وزميل آخر قررا فحص المستخدمين في المملكة المتحدة ممن أوصت لهم خوارزميات التطبيق، من بينهم بعض الأطفال الذين تبلغ أعمارهم 16 عاما، بمشاهدة مواد معينة. وقبل فترة من عمله لدى تيك توك، كان يعمل كاونغ لدى شركة "ميتا" المنافسة، التي تمتلك تطبيق "انستغرام" وهو موقع آخر يستخدمه كاي.
وقال كاونغ لبي بي سي بانوراما إنه عندما فحص محتوى تيك توك، صُدم حينما تبين أن بعض المراهقين يُعرض عليهم منشورات تتضمن العنف ومواد إباحية، كما تروج منشورات أخرى لوجهات نظر معادية للنساء، مضيفا أنه بوجه عام، كانت توصيات الخوارزميات بالنسبة للفتيات المراهقات تشمل مواد مختلفة تماما تعتمد على اهتماماتهن.
ويستخدم تطبيق تيك توك وشركات وسائل التواصل الاجتماعي الأخرى أدوات الذكاء الاصطناعي لحجب الغالبية العظمى من المواد الضارة أو الإبلاغ عن محتوى آخر كي يخضع لمراجعة من جانب مشرفين بشريين، بغض النظر عن عدد المشاهدات التي جذبها المحتوى، بيد أن أدوات الذكاء الاصطناعي لا يمكنها تحديد كل شيء.
ويقول كاونغ إنه خلال الفترة التي عمل فيها في تيك توك، لم يراجع الذكاء الاصطناعي جميع مقاطع الفيديو التي لم تُحجب أو المُبلغ عنها للمشرفين البشريين، وأيضا لم تُراجع تلك المُبلغ عنها من مستخدمين آخرين للمشرفين، بطريقة يدوية إلا إذا وصلت إلى حد معين.
يقول إنه في مرحلة ما رصد محتوى جذب 10 آلاف مشاهدة أو أكثر، وكان يخشى من أن يعني ذلك أن بعض المستخدمين صغار السن يتعرضون لخطر مشاهدة مقاطع فيديو ضارة، لا سيما وأن معظم شركات وسائل التواصل الاجتماعي البارزة تسمح للمستخدمين، الذين تبلغ أعمارهم 13 عاما أو أكثر، بتسجيل الدخول للتصفح بحرية.
وتقول شركة تيك توك إن 99 في المئة من المحتوى الذي يحجبه التطبيق يكون بسبب انتهاك قواعدها ويُحذف بواسطة تقنيات الذكاء الاصطناعي أو المشرفين البشريين قبل أن يصل إلى 10 آلاف مشاهدة.
وتضيف أنها تفحص مسبقا مقاطع الفيديو التي تقل عن هذا العدد من المشاهدات.
ويقول كاونغ إنه عندما كان يعمل في شركة ميتا خلال الفترة بين عام 2019 وديسمبر/كانون الثاني 2020، كانت هناك مشكلة مختلفة.
ويضيف أنه في الوقت الذي كان يحجب فيه الذكاء الاصطناعي معظم مقاطع الفيديو أو تلك المُبلغ عنها للمشرفين، اعتمد الموقع على المستخدمين للإبلاغ عن مقاطع فيديو أخرى بمجرد مشاهدتها بالفعل.
كيف يساهم تطبيق "Kids Protect" في حماية نظر الأطفال أثناء استخدام الهواتف؟ويقول إن ذلك أثار مخاوف أثناء عمله في كلتا الشركتين، بيد أن الأمر لم يحظ باهتمام بشكل أساسي بسبب مخاوف تتعلق بحجم العمل المطلوب أو التكلفة.
ويضيف أنه تيك توك وميتا أضافتا بعض التحسينات لاحقا، مشيرا إلى أن المستخدمين الصغار، مثل كاي، ظلوا معرضين للخطر في غضون ذلك.
وقال العديد من الموظفين السابقين لدى شركات التواصل الاجتماعي لبي بي سي إن مخاوف كاونغ تتفق مع معرفتهم وخبرتهم الخاص في تلك الشركات.
وتقول الهيئة التنظيمية للاتصالات في المملكة المتحدة "أوفكوم" لبي بي سي إن خوارزميات جميع شركات التواصل الاجتماعي البارزة توصي بمحتويات ضارة للأطفال، حتى لو كان ذلك بدون قصد.
وتقول ألمودينا لارا، مديرة تطوير سياسة السلامة على الإنترنت: "غضت الشركات الطرف عن ذلك، وتعاملت مع الأطفال كما تتعامل مع البالغين".
"مراجعة صديقي"قالت تيك توك لبي بي سي إنها تمتلك إعدادات أمان "رائدة في القطاع" بالنسبة للمراهقين، كما توظّف ما يزيد على 40 ألف شخص يعملون في مجال الحفاظ على سلامة المستخدمين.
وأضافت أنها تتوقع هذا العام وحده استثمارا "يزيد على ملياري دولار في السلامة"، أما بالنسبة للمحتوى الذي تحجبه بسبب انتهاك قواعدها فإنها تحدد 98 في المئة منه مسبقا.
وتقول شركة ميتا، التي تمتلك إنستغرام وفيسبوك، إنها تمتلك ما يزيد على 50 أداة وخاصية مختلفة تتيح للمراهقين "تجارب إيجابية ومناسبة للعمر".
وقال كاي لبي بي سي إنه حاول استخدام إحدى أدوات إنستغرام وأداة مماثلة على تيك توك يحدد من خلالها عدم اهتمامه بالمحتوى الذي يتسم بالعنف أو المعادي للنساء، بيد أنه يؤكد أنه ظل يُجبَر على مشاهدة هذا المحتوى بناء على توصية الخوارزميات.
وأضاف أنه مهتم ببطولة "يو إف سي"، بيد أنه وجد نفسه يشاهد مقاطع فيديو لمدوّنين يثيرون الجدل، لكنه يقول إنه لم يرغب في التوصية بهذا المحتوى الأكثر تطرفا.
ويقول: "تظهر الصورة في ذهنك ولا يمكنك إخراجها. (إنها) تلطخ ذهنك، وتجعلك تفكر فيها طوال اليوم".
ويلفت إلى أنه لاحظ توصيات خوارزمية بمقاطع فيديو لفتيات يعرفهن في نفس عمره بشأن موضوعات مثل الموسيقى والمكياج بدلا من العنف.
التلوث السمعي: علماء يحذرون من مخاطر الضوضاء على مخ الأطفالفي غضون ذلك، يقول كاي، الذي يبلغ من العمر الآن 18 عاما، إنه لا يزال يُجبَر على محتويات عنف ومعادية للنساء على كل من إنستغرام وتيك توك.
وعندما نتصفح مقاطع الفيديو ينشرها كاي على إنستغرام، نجد أنها تتضمن صورة تسخر من العنف المنزلي، وتُظهر أخرى شخصين يتعاونان، أحدهما مصاب بكدمات، مع تعليق: "لغتي الحب".
ويقول كاي إنه لاحظ أن مقاطع الفيديو التي تحظى بملايين الإعجابات يمكن أن تكون جاذبة لشباب آخرين في مثل سنه.
ويقول، على سبيل المثال، إن أحد أصدقائه انجذب إلى محتوى نشره مدوّن مثير للجدل، وبدأ في تبني آراء معادية للنساء.
ويقول كاي إن صديقه "ذهب إلى أبعد من الحد، وبدأ يقول أشياء عن النساء، وأصبح الأمر أشبه بضرورة مراجعة صديقي".
ويقول كاي إنه علّق على منشورات قال فيها إنه "لا يحبها"، وعندما أُعجب بمقاطع فيديو عن طريق الخطأ، حاول التراجع عن ذلك، آملا في إعادة ضبط الخوارزميات، لكنه يقول إن الأمر انتهى بمزيد من مقاطع الفيديو التي يُوصى بمشاهدتها على صفحته.
كيف تعمل خوارزميات تيك توك بالفعل؟يقول كاونغ إن وقود الخوارزميات هو مشاركة المستخدمين، بغض النظر عما إذا كانت المشاركة إيجابية أم سلبية، وهذا هو ما يفسر إلى حد ما سبب عدم نجاح جهود كاي لإعادة ضبط الخوارزميات.
الخطوة الأولى للمستخدمين تكمن في تحديد إعجاب واهتمام عند تسجيل الدخول، ويقول كاونغ إن بعض المحتوى الذي تقدمه الخوارزميات في البداية، على سبيل المثال، لشخص يبلغ من العمر 16 عاما، يعتمد على تفضيلات يقدمها ويفضلها مستخدمون آخرون من نفس السن عبر موقع مشابه.
ووفقا لتيك توك لا يجري تحديد جنس المستخدم للخوارزميات، بيد أن كاونغ يقول إن الاهتمامات التي يعبر عنها المراهقون عند تسجيل الدخول، غالبا يكون لها تأثير في التقسيم على أساس الجنس.
تيك توك ينشر "جنونا" قد يكون وراء ظهور سلوك معادي للمجتمع - تحقيق لـبي بي سيويقول خبير تيك توك السابق إن بعض الأولاد البالغين من العمر 16 عاما قد يتعرضون لمحتوى عنف "فورا"، نظرا لأن مستخدمين مراهقين آخرين أعربوا عن تفضيل مماثل واهتمام بهذا النوع من المحتوى، حتى لو كان ذلك يعني فقط قضاء المزيد من الوقت في مقطع فيديو يلفت الانتباه لفترة أطول قليلا.
ويضيف كاونغ أن الاهتمام بالمحتوى الذي أشارت إليه العديد من الفتيات المراهقات في الملفات الشخصية التي فحصها، مثل "مغنيات البوب، والأغاني، والمكياج"، تعني أنهن لا يخضعن لتوصية الخوارزميات بمحتوى يتسم بالعنف لهن.
ويقول إن الخوارزميات تستخدم ما يعرف باسم "التعلم المعزز"، وهي طريقة تتعلم فيها أنظمة الذكاء الاصطناعي عن طريق التجربة والخطأ، وتدرب نفسها على اكتشاف السلوك تجاه مقاطع الفيديو المختلفة.
ويضيف كاونغ أن الخوارزميات مصممة لتعظيم المشاركة من خلال عرض مقاطع الفيديو التي يتوقعون منك قضاء وقت أطول في مشاهدتها أو التعليق عليها أو الإعجاب بها، كل ذلك لجعلك تعاود مشاهدة المزيد.
ويقول إن الخوارزمية التي توصي بالمحتوى على تيك توك، لا تفرق دائما بين المحتوى الضار وغير الضار.
ووفقا لكاونغ، كانت إحدى المشكلات التي رصدها، عندما كان يعمل في تيك توك، هي أن الفرق العاملة في مجال تهيئة وترميز هذه الخوارزميات لم تكن على معرفة دائما بالطبيعة الدقيقة لمقاطع الفيديو التي كانت توصي بها.
وقال: "إنهم يحددون عدد المشاهدات والعمر والاتجاه، وهذا النوع من البيانات مجرد للغاية، وهم لا يتعرضون بالضرورة للمحتوى".
تغريم تيك توك 345 مليون يورو بسبب انتهاك خصوصية بيانات الأطفاللهذا السبب قرر هو وزميل له، في عام 2022، فحص أنواع مقاطع الفيديو التي توصي بها الخوارزميات لمجموعة من المستخدمين، بما في ذلك بعض المراهقين الذين تبلغ أعمارهم 16 عاما.
ويقول إنهما أعربا عن قلقهما بشأن المحتوى العنيف والضار الذي يُقدم لبعض المراهقين، واقترحوا على تيك توك تحديث نظام الإشراف الخاص بها.
اقترح كاونغ وزميله أن تضع تيك توك علامات واضحة على مقاطع الفيديو حتى يتمكن كل من يشاهدها من معرفة سبب ضررها، العنف الشديد، والإساءة، والمواد الإباحية وما إلى ذلك، كما اقترحا توظيف المزيد من المشرفين المتخصصين في هذه المجالات المختلفة، ويقول كاونغ إن اقتراحاتهما رُفضت في ذلك الوقت.
وتقول شركة تيك توك إنه كان لديها عدد من المشرفين المتخصصين في ذلك الوقت، ومع تنامي المنصة، واصلت توظيف المزيد، وأضافت أنها حددت أنواعا مختلفة من المحتوى الضار، وكانت ترسلها إلى المشرفين.
"أمر مستحيل"يقول كاونغ إنه من داخل تيك توك وميتا كان من الصعب حقا إجراء تغييرات اعتقد أنها ضرورية.
ويضيف: "نحن نطلب من شركة خاصة، تهتم بالترويج لمنتجاتها، أن تعدّل نفسها، وهو أمر مستحيل أشبه بأن تطلب من نمر ألا يأكلك".
ويقول أيضا إنه يعتقد أن حياة الأطفال والمراهقين ستكون أفضل إن توقفوا عن استخدام هواتفهم الذكية.
ولكن بالنسبة لكاي، فإن حظر الهواتف أو وسائل التواصل الاجتماعي للمراهقين ليس هو الحل، لأن هاتفه أصبح جزءا لا يتجزأ من حياته، بحسب قوله، وطريقة مهمة حقا للدردشة مع الأصدقاء، والتنقل عندما يخرج، ودفع ثمن الأشياء التي يشتريها.
ويقترح أنه بدلا من ذلك، يريد من شركات وسائل التواصل الاجتماعي أن تستجيب أكثر إلى ما لا يريد المراهقون مشاهدته، كما يريد من الشركات أن تجعل الأدوات التي تسمح للمستخدمين بتحديد ما يفضلونه أكثر فعالية.
ويقول كاي: "أشعر أن شركات وسائل التواصل الاجتماعي لا تحترم رأي المستخدم، طالما أن الأمر يدر عليها بالمال".
وتعتزم المملكة المتحدة طرح قانون جديد يفرض على شركات وسائل التواصل الاجتماعي ضرورة التحقق من أعمار الأطفال ووقف المواقع التي توصي بالمواد الإباحية أو غيرها من المحتوى الضار للشباب، وتتولى الهيئة التنظيمية للاتصالات في المملكة المتحدة "أوفكوم" مسؤولية تطبيق القانون.
وتقول ألمودينا لارا، مديرة تطوير سياسة السلامة على الإنترنت في أوفكوم، إنه في الوقت الذي سُلط فيه الضوء على المحتوى الضار الذي يؤثر بشكل أساسي على الفتيات، مثل مقاطع الفيديو التي تروج لاضطرابات الأكل وإيذاء النفس، فإن التوصيات الخوارزمية التي تروج للكراهية والعنف بين الأولاد المراهقين والشباب بشكل أساسي لم تحظ باهتمام كبير.
وتضيف لارا: "تهدف الخوارزميات إلى أن يكون الأطفال أقلية من حيث مشاهدة المحتوى الأكثر ضررا، لكننا نعلم، على الرغم من ذلك، أنه بمجرد مشاهدتك لهذا المحتوى الضار، يصبح الأمر لا مفر منه".
وتقول أوفكوم إنها تستطيع تغريم الشركات ورفع دعاوى جنائية عليها في حالة عدم بذلها الجهود الكافية في هذا الصدد، لكن هذه التدابير لن تدخل حيز التنفيذ حتى عام 2025.
وتقول تيك توك إنها تستخدم "تكنولوجيا مبتكرة" تتيح إعدادات أمان وخصوصية "رائدة في القطاع" بالنسبة للمراهقين، بما في ذلك أنظمة لحظر المحتوى الذي قد لا يكون مناسبا، كما أنها لا تسمح بالعنف أو كراهية النساء.
وتقول شركة ميتا، التي تمتلك إنستغرام وفيسبوك، إنها تمتلك ما يزيد على "50 أداة وخاصية مختلفة" تتيح للمراهقين "تجارب إيجابية ومناسبة لسنهم".
وتضيف ميتا إنها تسعى للحصول على تعليقات من فرقها الخاصة، فضلا عن إجراء تغييرات محتملة في السياسة.