Cloudflare, אחת מחברות התשתית המרכזיות באינטרנט שמגנה על כ-20% מהאתרים בעולם, משנה את חוקי המשחק: בקרוב, בוטים של AI לא יוכלו יותר לסרוק תוכן באינטרנט – אלא אם ישלמו על זה.
ההחלטה התקבלה לאחר גל תביעות ומחלוקות משפטיות של יוצרי תוכן נגד חברות בינה מלאכותית. זחלנים (Crawlers) של חברות כמו OpenAI, Google, Anthropic ואחרות, סורקים אתרים כדי לאמן את המודלים שלהם – לרוב בלי לבקש רשות, בלי לשלם, ובלי להחזיר תנועה.
יותר בוטים – פחות גולשים:
לפי נתונים שפרסמה Cloudflare, בזמן שגוגל סורקת 6 עמודים על כל גולש אנושי, הבוטים של ChatGPT סורקים 250 עמודים, ואילו Anthropic קופצת ליחס מטורף של 6,000:1. מדובר בעומס תעבורתי שמייצר עלויות לבעלי האתרים – אך לא מביא תועלת ממשית או הכנסה.
Pay Per Crawl – המהפכה החדשה:
החברה הכריזה על שירות חדש בשם Pay Per Crawl – מערכת שתאפשר לבעלי אתרים לגבות תשלום עבור כל גישה של בוט AI לתוכן שלהם.
לראשונה, במקום שבעלי אתרים יחפשו איך לחסום בוטים לא רצויים, חסימה תהפוך לברירת מחדל, והחברות יצטרכו לבקש אישור.
בעלי אתרים יוכלו לקבוע תעריפים, להבחין בין סוגי שימוש (כמו חיפוש, אימון מודלים או שאלות בזמן אמת), ולעקוב אחרי כל סריקה של הבוטים.
מי תומך במהלך?
גופי תוכן מובילים בעולם כמו BuzzFeed, Time, Sky News, Quora ו-Universal Music כבר הודיעו על תמיכתם. גם מנכ"לים כמו סטיב הופמן (Reddit) ורוג'ר לינץ' (Condé Nast) בירכו על המהלך וקראו ל"חילופי ערך הוגנים" בין יוצרי התוכן לחברות ה-AI.
