الوسم: robots.txt

دليل عملي محدث لبوتات AI: أسماء User-Agent وروابط IP الرسمية لـ ChatGPT وGemini وClaude وPerplexity، وطريقة ضبط robots.txt وWordPress وCloudflare ...