Yayınlanma tarihi: 13 Kasım 2024
Nefret söylemi, taciz ve internetteki kötüye kullanım, internette yaygın bir sorun haline geldi. Toksik yorumlar önemli sesleri susturur ve kullanıcıları ve müşterileri uzaklaştırır. Toksik içerik algılama, kullanıcılarınızı korur ve daha güvenli bir internet ortamı oluşturur.
Bu iki bölümden oluşan seride, toksik içerikleri kaynağından (kullanıcı klavyeleri) tespit edip azaltmak için yapay zekanın nasıl kullanılacağını inceliyoruz.
Bu ilk bölümde, bu yaklaşımın kullanım alanlarını ve avantajlarını ele alıyoruz.
İkinci bölümde, kod örnekleri ve kullanıcı deneyimi ipuçları da dahil olmak üzere uygulamayı paylaşıyoruz.
İstemci tarafında toksisite algılamayı neden gerçekleştirmelisiniz?
Avantajları
İstemci tarafında toksik içerik algılama, faydalı bir ilk savunma hattı ve sunucu tarafındaki kontrollerin mükemmel bir tamamlayıcısıdır. İstemci tarafında toksik içerik algılama, birçok avantaj sunar:
- Kötü niyetli davranışları erken tespit edin. İstemci tarafı kontrolleri sayesinde, sunucuya dokunmadan toksisiteyi kaynağında yakalayabilirsiniz.
- Anlık kontrolleri etkinleştirin. Düşük gecikmeli uygulamalar oluşturmak ve kullanıcılarınıza anında geri bildirim sağlamak için istemci tarafı hızını kullanın.
- Sunucu tarafı iş yükünü azaltın veya optimize edin. Sunucu tarafında toksik içerik algılamayla ilgili iş yükünüzü ve maliyetlerinizi azaltın: Öncelikle, kullanıcılara yönelik ipuçlarınızın toksik yorumların hacmini azaltmaya yardımcı olabileceği için, ancak aynı zamanda belirli yorumları sunucunuza ulaşmadan önce toksik olma olasılığı yüksek olarak işaretlemenin, sunucu tarafındaki kontrollerinizde bu yorumlara öncelik vermenize yardımcı olacağı için.
- İnsan yükünü azaltın. Gerçek kişilerden oluşan moderatörlerin üzerindeki yükü azaltın.
Kullanım alanları
İstemci tarafında toksisite algılama oluşturmanın olası nedenlerinden bazıları şunlardır:
- Yorum sistemlerinde anında algılama Rahatsız edici yorumlar yazan kullanıcılara anında geri bildirim göndererek mesajlarını yayınlamadan önce yeniden ifade etmelerini isteyin. İstemci tarafı yapay zeka ile bunu API anahtarı, çalışma zamanında sunucu tarafı sınıflandırma maliyetleri ve düşük gecikme süresi olmadan yapabilirsiniz. Bu, sohbet uygulamaları için ideal olabilir.
- Canlı sohbette gerçek zamanlı moderasyon Kullanıcılardan gelen zararlı mesajları hızlıca tespit edip işaretleyerek moderatörlerin hemen müdahale etmesine olanak tanıyın.
Sunucu tarafı kontrollerinizi sürdürün
İstemci tarafında toksisite algılama hızlı olsa da kötü amaçlı ve ön uç konusunda bilgili bir kullanıcı bunu devre dışı bırakabilir. Ayrıca, hiçbir toksisite algılama sistemi %100 doğru değildir.
Bu nedenlerle, yalnızca istemci tarafında toksisite algılamasına güvenmek yerine sunucu tarafında ek bir inceleme uygulamanızı veya uygulamaya devam etmenizi önemle tavsiye ederiz. Örneğin, Perspective API'yi kullanarak gerçek zamanlı istemci tarafı kontrolünüzü sunucu tarafında eşzamansız bir incelemeyle tamamlayın. Kapsamlı bir yaklaşım için bu yöntemleri gerçek kişiler tarafından yapılan moderasyonla birleştirebilirsiniz.
Uyarılar
İstemci tarafında toksisite algılama için web sayfanıza bir sınıflandırma modeli ve genellikle istemci tarafı yapay zeka kitaplığı indirmeniz gerekir.
Sonuçları göz önünde bulundurun:
- Model barındırma ve yayınlama maliyetleri. Model büyük olabilir.
- Performans ve kullanıcı deneyimi. Kitaplık ve model, paketinizin boyutunu artırır.
Bu özelliğin kullanım alanınız için uygun olup olmadığına karar vermeden önce avantajlarını göz önünde bulundurun. İstemci tarafı yapay zeka için performansla ilgili en iyi uygulamaları uygulayın ve modeli önbelleğe alın. Böylece, indirme işlemi tek seferlik bir maliyete dönüşür.
İçerik toksisitesi sınıflandırmasının işleyiş şekli
Tam uygulamaya göz atmadan önce toksisite algılamanın temel özelliklerini inceleyin.
Zararlı içerik algılama modeli, yeni içerik oluşturmak (üretken yapay zeka) yerine mevcut metni analiz eder. Bu, klasik bir NLP (Doğal Dil İşleme) görevidir.
Kötü niyetli davranış tespiti, metni muhtemelen kötü niyetli veya zararsız olarak sınıflandıran metin sınıflandırıcılarına dayanır. Kötü niyetli davranış sınıflandırıcıları, metni giriş olarak alır ve metne bir puanla birlikte çeşitli kötü niyetli davranış etiketleri atar. Puanlar 0 ile 1 arasında değişir. Daha yüksek puanlar, girişin zararlı olma olasılığının daha yüksek olduğunu gösterir.
Kötü niyetli davranış tespiti, metni muhtemelen kötü niyetli veya zararsız olarak sınıflandıran metin sınıflandırıcılarına dayanır.
unitary/toxic-bert modelinin web uyumlu bir sürümü olan Xenova/toxic-bert modelini örnek olarak alalım. Altı etiket sunar:
toxic
severe_toxic
insult
obscene
identity_hate
threat
toxic
ve severe_toxic
gibi etiketler genel toksisiteyi gösterir.
Diğer etiketler daha ayrıntılıdır. Örneğin identity_hate
(bir kişinin kimliğiyle ilgili (ör. ırk, din, cinsiyet kimliği vb.) zorbalık veya tehditler) ya da threat
(zarar verme niyetiyle ilgili bir beyan) gibi belirli toksiklik türlerini tanımlar.
Farklı toksisite modelleri, sınıflandırmaya farklı yaklaşımlar sunar. Aşağıda birkaç örnek verilmiştir.
Bu örnekte, aşağıdaki giriş "nefret" kelimesini içeriyor ve bir kişiye yönelik olduğu için toxicity
puanı yüksek (0.92
). Belirli bir toksisite türü tanımlanmadığı için diğer puanlar düşüktür.
Input: I hate you
Output of the toxicity classifier:
[
{ label: 'toxic', score: 0.9243140482902527 },
{ label: 'insult', score: 0.16187334060668945 },
{ label: 'obscene', score: 0.03452680632472038 },
{ label: 'identity_hate', score: 0.0223250575363636 },
{ label: 'threat', score: 0.16187334060668945 },
{ label: 'severe_toxic', score: 0.005651099607348442 }
]
Sonraki örnekte, girişin genel tonu nefret barındırdığı için yüksek bir toxicity
puanı (0.92
) verilmiştir. Zarardan açıkça bahsedildiği için threat
puanı da yüksektir (0.81
).
Input: I hate your garden, and I will kill your plants
Output of the toxicity classifier:
[
{ label: 'toxic', score: 0.9243140482902527 },
{ label: 'insult', score: 0.16187334060668945 },
{ label: 'obscene', score: 0.03452680632472038 },
{ label: 'identity_hate', score: 0.0223250575363636 },
{ label: 'threat', score: 0.819197041168808937 },
{ label: 'severe_toxic', score: 0.005651099607348442 }
]
Sıradaki
Bağlamı anladığınıza göre istemci tarafı yapay zeka toksisitesi algılama sistemi oluşturmaya başlayabilirsiniz.