Yapay zeka şirketleri ve yayıncılar arasındaki anlaşmaların nasıl sonuçlanacağını söylemek için henüz çok erken. Ancak OpenAI şimdiden web bir galibiyet elde etti: Net tarayıcıları, önde gelen haber kaynakları tarafından eskisi kadar engellenmiyor.
Üretken yapay zeka patlaması, veriye altın hücumunu tetikledi ve ardından yayıncıların yapay zeka tarayıcılarını engellemeye ve çalışmalarının izinsiz eğitim verisi haline gelmesini engellemeye çalıştığı bir veri koruma telaşını (en azından çoğu haber sitesi için) ateşledi. Örneğin, Apple bu yaz yeni bir yapay zeka ajanını piyasaya sürdüğünde, çok sayıda önde gelen haber kaynağı, internet yöneticilerinin botları kontrol etmesine olanak tanıyan robots.txt dosyasını veya Robots Hariç Tutma Protokolü’nü kullanarak Apple’ın internet kazıma özelliğini hızla devre dışı bıraktı. Sahnede o kadar çok yeni yapay zeka botu var ki, onlara ayak uydurmak için köstebek vurmak gibi bir his var.
OpenAI’nin GPTBot’u en fazla advert tanıma özelliğine sahip ve aynı zamanda Google AI gibi rakiplere göre daha sık engelleniyor. 1.000 kişi üzerinde yapılan bir analize göre, OpenAI’nin GPTBot’una “izin vermemek” için robots.txt kullanan üst düzey medya internet sitelerinin sayısı, Ağustos 2023’teki lansmanından o sonbahara kadar önemli ölçüde arttı, ardından Kasım 2023’ten Nisan 2024’e kadar istikrarlı bir şekilde (ancak daha kademeli olarak) arttı. Ontario merkezli yapay zeka tespit girişiminin popüler haber kaynakları Özgünlük Yapay Zekası. Zirvede, internet sitelerinin üçte birinden biraz fazlası yüksekti; şimdi çeyreğe yaklaştı. En önde gelen haber kaynaklarının daha küçük bir havuzunda blok oranı hala yüzde 50’nin üzerinde ancak bu yılın başında neredeyse yüzde 90 olan yüksek seviyelere göre daha düşük.
Ancak geçen Mayıs ayında Dotdash Meredith, OpenAI ile lisans anlaşmasını duyurmasının ardından bu sayı önemli ölçüde azaldı. Daha sonra Vox’un Mayıs ayının sonunda tekrar düştüğü görüldü. duyuruldu kendi düzenlemesiyle – ve WIRED’in ana şirketi Condé Nast bu Ağustos ayında bir kez daha anlaşmaya vardığında. Artan engelleme eğilimi en azından şimdilik sona ermiş gibi görünüyor.
Bu düşüşler bariz bir anlam taşıyor. Şirketler ortaklıklar kurduğunda ve verilerinin kullanılmasına izin verdiğinde, artık verileri engellemeye teşvik edilmiyorlar, bu nedenle robots.txt dosyalarını taramaya izin verecek şekilde güncelleyecekler; Yeterli anlaşma yaparsanız tarayıcıları engelleyen sitelerin genel yüzdesi neredeyse kesinlikle düşecektir. The Atlantic gibi bazı satış noktaları, bir anlaşmayı duyurdukları gün OpenAI tarayıcılarının engelini kaldırdı. Mayıs ayının sonunda ortaklığını açıklayan ancak Haziran ayının sonuna doğru mülklerindeki GPTBot’un engellemesini kaldıran Vox gibi diğerleri birkaç günden birkaç haftaya kadar sürdü.
Robots.txt yasal olarak bağlayıcı değildir ancak uzun süredir internet tarayıcısının davranışını belirleyen standart olarak işlev görmektedir. İnternetin varlığının büyük bölümünde, internet sayfalarını çalıştıran insanlar birbirlerinden dosyaya uymalarını bekliyordu. Bu yazın başlarında yapılan bir WIRED araştırması, yapay zeka girişimi Perplexity’nin muhtemelen robots.txt komutlarını görmezden gelmeyi seçtiğini ortaya çıkardığında Amazon’un bulut bölümü, Perplexity’nin kurallarını ihlal edip etmediğine dair bir soruşturma başlattı. Robots.txt dosyasını göz ardı etmek iyi bir görünüm değil; bu muhtemelen OpenAI dahil olmak üzere pek çok önde gelen yapay zeka şirketinin nedenini açıklıyor.açıkça belirtmek neyi tarayacaklarını belirlemek için bunu kullanıyorlar. Originality AI CEO’su Jon Gillham, bunun OpenAI’nin anlaşma yapma çabasına ekstra aciliyet kattığına inanıyor. Gillham, “OpenAI’nin engellenmeyi gelecek hedeflerine yönelik bir tehdit olarak gördüğü açık” diyor.
