تحلیل و رفع مشکلات Crawl و Indexing

موفقیت وب سایت در دنیای دیجیتال به شدت وابسته به قابلیت کشف و نمایه شدن آن توسط موتورهای جستجو است. اگر موتورهای جستجو نتوانند محتوای یک وب سایت را به درستی خزش و سپس ایندکس کنند، آن محتوا در نتایج جستجو ظاهر نمی شود و عملاً از دید کاربران پنهان می ماند.

مدیریت یک وب سایت می تواند همچون هدایت یک کشتی در اقیانوسی پهناور باشد. گاهی اوقات امواج و طوفان های پیش بینی نشده ای به نام مشکلات Crawl و Indexing مسیر حرکت را دشوار می کنند. این موانع، اگر به درستی شناسایی و رفع نشوند، می توانند مانع از رسیدن کشتی (وب سایت) به مقصد (مخاطبان هدف) شوند. فردی که مسئولیت وب سایت را بر عهده دارد، باید با پیچیدگی های این مسیر آشنا باشد تا اطمینان حاصل کند که محتوای ارزشمندش در دریای بی کران وب گم نمی شود. در این مسیر، ابزارهایی مانند گوگل سرچ کنسول (Google Search Console) نقش قطب نما را ایفا می کنند و به او کمک می کنند تا مشکلات را تشخیص دهد و مسیر درست را بیابد. در واقع، این فرآیندها نه تنها ستون فقرات سئوی فنی را تشکیل می دهند، بلکه تضمین می کنند که تلاش های بی وقفه برای تولید محتوا و بهینه سازی، به ثمر نشیند و وب سایت در دسترس چشمان کنجکاو کاربران قرار گیرد.

درک مبانی Crawl و Indexing: پایه و اساس حضور آنلاین

برای هر وب سایتی که آرزوی دیده شدن در موتورهای جستجو را دارد، درک عمیق از دو فرآیند حیاتی خزش (Crawling) و ایندکسینگ (Indexing) ضروری است. این دو مرحله، پله های اولیه و اساسی هستند که محتوای وب سایت از طریق آن ها به دیتابیس گوگل راه پیدا می کند و در نهایت می تواند در نتایج جستجو به نمایش درآید. تصور کنید که وب سایت شما یک کتابخانه بزرگ است؛ خزش، فرآیند گشت وگذار ربات ها برای پیدا کردن کتاب های جدید و به روز شده است و ایندکسینگ، مرتب کردن و فهرست نویسی این کتاب ها در قفسه های گوگل است تا در زمان نیاز، به سرعت پیدا شوند.

خزش (Crawling) چیست؟

خزش، اولین گام در مسیر دیده شدن آنلاین است. در این مرحله، ربات های هوشمند گوگل که اغلب به آن ها Googlebot یا Spider گفته می شود، وارد عمل می شوند. آن ها همچون کاوشگرانی کنجکاو، در دنیای وب به گشت وگذار می پردازند تا صفحات جدید و به روز شده را پیدا کنند. این ربات ها از لینک های داخلی و خارجی سایت ها پیروی می کنند، فایل های نقشه سایت (sitemap.xml) را بررسی می کنند و حتی با کاوشگرهای خود، به صورت تصادفی URLهای جدید را نیز کشف می کنند. هدف اصلی این ربات ها، کشف هرچه بیشتر محتوا در وب است تا هیچ اطلاعات ارزشمندی از دست نرود. پس از کشف یک صفحه، ربات ها محتوای آن را می خوانند، تصاویر را بررسی می کنند، لینک ها را شناسایی می کنند و اطلاعات ساختاری صفحه را نیز تحلیل می کنند تا برای مرحله بعدی آماده شوند.

مفهوم Crawl Budget (بودجه خزش)

مفهوم بودجه خزش (Crawl Budget) یکی از جنبه های کلیدی در فرآیند خزش است که اغلب نادیده گرفته می شود. گوگل برای هر وب سایت، مقدار مشخصی از زمان و منابع خود را برای خزش صفحات آن اختصاص می دهد. این مقدار، بودجه خزش نامیده می شود. این بودجه، بر اساس عواملی مانند اعتبار دامنه، حجم صفحات، سرعت بارگذاری سایت، و میزان به روزرسانی محتوا تعیین می شود. اگر وب سایت بزرگی دارید یا صفحات زیادی با محتوای کم ارزش و تکراری دارید، یا سایت شما سرعت پایینی دارد، ممکن است بودجه خزش شما به سرعت مصرف شود و ربات های گوگل نتوانند به تمامی صفحات مهم سایت شما دسترسی پیدا کنند و آن ها را خزش کنند. این امر می تواند منجر به این شود که صفحات جدید یا به روز شده شما دیرتر یا هرگز ایندکس نشوند.

برای بررسی و بهینه سازی بودجه خزش، باید به چند نکته توجه کرد: نخست، از گزارش آمار خزش در گوگل سرچ کنسول استفاده کنید تا ببینید گوگل چه تعداد صفحه از سایت شما را روزانه خزش می کند و چه بخش هایی از سایت بیشتر مورد توجه قرار می گیرد. دوم، صفحات بی اهمیت یا تکراری را با تگ noindex یا دستورات robots.txt از خزش ربات ها مستثنی کنید تا بودجه خزش شما صرف صفحات ارزشمند شود. سوم، سرعت سایت را افزایش دهید؛ زیرا سرعت بالاتر، به معنای خزش سریع تر و بهره وری بیشتر از بودجه خزش است. در نهایت، با لینک سازی داخلی صحیح، به ربات ها کمک کنید تا مسیرهای مهم سایت را به درستی تشخیص دهند و بین صفحات ارزشمند سایت شما به سادگی حرکت کنند.

ایندکسینگ (Indexing) چیست؟

پس از مرحله خزش، نوبت به ایندکسینگ می رسد. این مرحله جایی است که گوگل تصمیم می گیرد آیا محتوای خزش شده، ارزش ورود به دیتابیس عظیم خود را دارد یا خیر. در این فرآیند، گوگل محتوای صفحات را پردازش، تحلیل و سپس در پایگاه داده خود ذخیره می کند. این تحلیل شامل بررسی کلمات کلیدی، ساختار محتوا، کیفیت محتوا، ارتباط آن با موضوعات مختلف و سایر سیگنال های مربوط به اعتبار و ارزش صفحه است. اگر یک صفحه از نظر گوگل باکیفیت و ارزشمند تشخیص داده شود، وارد فهرست ایندکس گوگل می شود. به عبارت دیگر، صفحه شما در کتابخانه گوگل ثبت و مرتب می شود تا هنگام جستجوی کاربران، امکان نمایش آن وجود داشته باشد.

تفاوت کلیدی بین Crawl و Index

یکی از رایج ترین ابهامات، تفاوت بین خزش و ایندکسینگ است. این دو مرحله اگرچه به هم پیوسته اند، اما کاملاً مجزا عمل می کنند. ممکن است یک صفحه توسط ربات های گوگل خزش شود، یعنی ربات ها آن را پیدا کرده و محتوایش را خوانده باشند، اما به دلایل مختلف ایندکس نشود. این دلایل می تواند شامل موارد زیر باشد: محتوای صفحه کیفیت پایینی دارد، کپی شده است، یا از نظر گوگل ارزش کافی برای نمایش در نتایج جستجو را ندارد. همچنین ممکن است صفحات از طریق تگ noindex یا تنظیمات دیگر، از ایندکس شدن منع شده باشند. درک این تفاوت حیاتی است؛ زیرا به مدیران وب سایت کمک می کند تا مشکل را به درستی تشخیص دهند. یک صفحه خزش شده ولی ایندکس نشده، هنوز راه طولانی تا دیده شدن دارد و نیاز به بررسی دقیق تر دارد.

رتبه بندی (Ranking)

رتبه بندی مرحله ای است که پس از ایندکسینگ اتفاق می افتد. هنگامی که کاربر عبارتی را در گوگل جستجو می کند، الگوریتم های رتبه بندی گوگل از میان میلیون ها صفحه ایندکس شده، مرتبط ترین و باکیفیت ترین صفحات را انتخاب کرده و آن ها را بر اساس معیارهای مختلفی مانند ارتباط کلمات کلیدی، کیفیت محتوا، اعتبار دامنه، تجربه کاربری و صدها عامل دیگر، رتبه بندی می کنند. در واقع، رتبه بندی تعیین می کند که کدام صفحات در بالاترین جایگاه نتایج جستجو ظاهر شوند. بدون خزش و ایندکسینگ صحیح، حتی بهترین محتوا نیز هرگز به مرحله رتبه بندی نخواهد رسید و فرصت دیده شدن را از دست خواهد داد.

ابزار طلایی شما – Google Search Console (GSC) برای Crawl و Indexing

گوگل سرچ کنسول (GSC) ابزاری حیاتی و رایگان از سوی گوگل است که به هر مدیر وب سایت یا کارشناس سئو کمک می کند تا عملکرد سایت خود را در نتایج جستجو پایش، تحلیل و بهینه سازی کند. این ابزار به مثابه یک داشبورد جامع عمل می کند که وضعیت فنی سایت را از دیدگاه گوگل نشان می دهد و مشکلات مربوط به خزش و ایندکسینگ را آشکار می سازد. کسی که با این ابزار آشنا باشد، می تواند نبض وب سایت خود را در دست بگیرد و در صورت بروز هرگونه نارسایی، به سرعت آن را تشخیص دهد و اقدامات لازم را برای رفع آن به کار گیرد.

معرفی گزارش های کلیدی GSC

در GSC، گزارش های متعددی وجود دارد که هر یک اطلاعات ارزشمندی را ارائه می دهند. برای مسائل مربوط به خزش و ایندکسینگ، چند گزارش از اهمیت ویژه ای برخوردارند:

گزارش Pages (گزارش پوشش ایندکس سابق)

گزارش Pages، جامع ترین و قدرتمندترین بخش برای شناسایی مشکلات ایندکسینگ است. در این گزارش، می توانید وضعیت تمامی صفحات وب سایت خود را از نظر ایندکس شدن مشاهده کنید. این گزارش صفحات را به چند دسته اصلی تقسیم می کند:

• Indexed: صفحاتی که به درستی ایندکس شده اند و می توانند در نتایج جستجو ظاهر شوند.
• Not Indexed: صفحاتی که گوگل از وجود آن ها باخبر است اما به دلایلی آن ها را ایندکس نکرده است. این بخش شامل وضعیت هایی مانند Crawled – currently not indexed و Discovered – currently not indexed و سایر خطاهای ایندکسینگ می شود.
• Error: صفحاتی که هنگام خزش آن ها، گوگل با خطایی مواجه شده است.

فردی که از این گزارش استفاده می کند، می تواند با فیلتر کردن وضعیت های مختلف، به سرعت صفحات مشکل دار را شناسایی کند. مثلاً با انتخاب گزینه Not Indexed، تمامی دلایل عدم ایندکس شدن صفحات نمایش داده می شود و می توان روی هر دلیل کلیک کرد تا لیست کامل URLهای مربوطه را مشاهده کرد. این گزارش به ما اجازه می دهد تا بفهمیم که مشکل از کجاست و چه نوع صفحاتی بیشتر تحت تأثیر قرار گرفته اند. این اطلاعات برای تصمیم گیری در مورد راهکارهای رفع مشکل، بسیار حیاتی است.

ابزار URL Inspection

ابزار URL Inspection (بازرسی URL) یک امکان فوق العاده کاربردی در GSC است که به شما امکان می دهد وضعیت یک URL خاص را به صورت لحظه ای و دقیق بررسی کنید. با وارد کردن آدرس یک صفحه مشخص، گوگل اطلاعات کاملی درباره وضعیت خزش و ایندکسینگ آن صفحه، آخرین زمان خزش، مشکلات احتمالی، و حتی کدهای HTML رندر شده را ارائه می دهد. این ابزار به ما این توانایی را می دهد تا ببینیم گوگل دقیقاً چه چیزی را در آن صفحه می بیند و آیا مشکلی در دسترسی یا پردازش محتوا وجود دارد یا خیر. یکی از قابلیت های مهم این ابزار، امکان Request Indexing (درخواست ایندکس مجدد) است. اگر تغییری در صفحه ای ایجاد کرده اید یا فکر می کنید صفحه باید سریع تر ایندکس شود، می توانید با استفاده از این گزینه، از گوگل بخواهید تا آن صفحه را مجدداً بررسی کند. این ابزار برای رفع سریع مشکلات و اطمینان از اعمال تغییرات، بسیار مفید است.

گزارش Sitemaps

نقشه های سایت (Sitemaps) فایل هایی هستند که به موتورهای جستجو کمک می کنند تا ساختار سایت شما را بهتر درک کنند و تمامی صفحات مهم را کشف کنند. گزارش Sitemaps در GSC، وضعیت ارسال و پردازش نقشه های سایت شما را نمایش می دهد. این گزارش نشان می دهد که آیا نقشه سایت شما با موفقیت به گوگل ارسال شده است، چه تعداد URL در آن کشف شده، و آیا خطایی در پردازش آن وجود داشته است یا خیر. عدم وجود نقشه سایت یا وجود خطا در آن می تواند مانع از کشف صحیح صفحات توسط گوگل شود. بنابراین، فردی که می خواهد سایتش به درستی خزش شود، باید اطمینان حاصل کند که نقشه سایت معتبری دارد و به درستی در GSC ثبت شده است.

گزارش Removals

گزارش Removals به مدیران وب سایت اجازه می دهد تا به طور موقت یا دائم، درخواست حذف URLهای خاصی را از ایندکس گوگل ثبت کنند. این ابزار زمانی مفید است که نیاز دارید یک صفحه را به سرعت از نتایج جستجو حذف کنید، مثلاً محتوای محرمانه ای که ناخواسته منتشر شده یا صفحاتی که دیگر وجود ندارند و نمی خواهید کاربران به آن ها دسترسی داشته باشند. البته استفاده از این ابزار باید با دقت انجام شود، زیرا حذف ناخواسته صفحات مهم می تواند به سئوی سایت آسیب برساند. فردی که قصد حذف صفحه ای را دارد، باید ابتدا اطمینان حاصل کند که این اقدام ضروری است و پیامدهای آن را در نظر گرفته باشد.

تحلیل و رفع مشکلات رایج Crawl (خطاهای خزش)

ربات های گوگل هنگام گشت وگذار در وب سایت ها، ممکن است با موانع متعددی روبرو شوند که مانع از خزش کامل و صحیح صفحات شوند. این موانع، همان خطاهای خزش هستند. شناسایی و رفع این خطاها برای اطمینان از دسترسی کامل گوگل به محتوای سایت و در نهایت ایندکس شدن آن، بسیار ضروری است. نادیده گرفتن این خطاها می تواند به معنای از دست دادن فرصت های مهمی برای دیده شدن در نتایج جستجو باشد.

۱. خطاهای Robots.txt

فایل robots.txt یک فایل متنی ساده است که در ریشه دامنه وب سایت قرار می گیرد و دستورالعمل هایی را برای ربات های موتورهای جستجو ارائه می دهد. این فایل به ربات ها می گوید که به کدام قسمت های سایت اجازه دسترسی دارند و کدام بخش ها نباید خزش شوند. هدف اصلی آن مدیریت بودجه خزش و جلوگیری از خزش صفحات بی اهمیت یا محرمانه است. با این حال، اگر این فایل به درستی پیکربندی نشود، می تواند به طور ناخواسته مانع از خزش صفحات مهم سایت شود.

برای شناسایی خطاهای Robots.txt، باید به گزارش Robots.txt Tester در گوگل سرچ کنسول مراجعه کرد. این ابزار به شما نشان می دهد که آیا فایل robots.txt شما به درستی عمل می کند و آیا دسترسی ربات ها به صفحات مورد نظر مسدود شده است یا خیر. همچنین، گزارش Coverage (پوشش) در GSC نیز می تواند صفحاتی را نشان دهد که به دلیل robots.txt مسدود شده اند.

برای رفع این خطاها، باید دستورات Disallow در فایل robots.txt را بازبینی و اصلاح کرد. مطمئن شوید که صفحات مهم و ارزشمند سایت شما با دستور Disallow بلاک نشده باشند. برای مثال، اگر به طور تصادفی کل پوشه wp-admin یا یک دسته محصول مهم را مسدود کرده اید، باید آن دستور را حذف یا اصلاح کنید. همیشه پس از اعمال تغییرات، از ابزار Robots.txt Tester برای تأیید صحت تغییرات استفاده کنید تا از دسترسی صحیح ربات ها اطمینان حاصل شود.

۲. خطاهای DNS

سیستم نام دامنه (DNS) مانند یک دفترچه تلفن برای اینترنت عمل می کند. زمانی که یک کاربر آدرس وب سایت شما را در مرورگر وارد می کند، DNS آن نام دامنه را به آدرس IP سرور شما ترجمه می کند تا مرورگر بتواند به سرور متصل شود. خطاهای DNS زمانی رخ می دهند که این فرآیند ترجمه با مشکل مواجه می شود و گوگل نمی تواند نام دامنه وب سایت شما را به درستی شناسایی کند.

شناسایی و رفع خطاهای DNS معمولاً نیازمند بررسی تنظیمات دامنه در پنل ارائه دهنده سرویس دامنه (DNS Registrar) یا ارائه دهنده میزبانی (Host) است. ممکن است رکوردهای DNS به درستی پیکربندی نشده باشند یا مشکلی در سرورهای DNS وجود داشته باشد. در بسیاری از موارد، تماس با پشتیبانی هاست یا ثبت کننده دامنه برای بررسی و اصلاح این تنظیمات ضروری است. اطمینان از صحت رکوردهای A و CNAME برای دامنه از اهمیت بالایی برخوردار است.

۳. خطاهای سرور (5xx Errors)

خطاهای سرور با کد وضعیت 5xx (مانند 500، 502، 503، 504) نشان دهنده این هستند که سرور وب سایت قادر به پردازش درخواست گوگل نیست، حتی اگر دامنه به درستی شناسایی شده باشد. این خطاها می توانند از جمله مخرب ترین مشکلات برای سئو باشند، زیرا به گوگل پیام می دهند که سایت شما در دسترس نیست و ممکن است در نهایت منجر به حذف صفحات از ایندکس شوند.

• 500 Internal Server Error: یک خطای عمومی سمت سرور است که دلیل دقیق آن مشخص نیست.
• 502 Bad Gateway: سرور به عنوان یک Gateway یا Proxy عمل می کند و پاسخ نامعتبر از سرور بالادستی دریافت می کند.
• 503 Service Unavailable: سرور موقتاً قادر به پاسخگویی نیست، معمولاً به دلیل نگهداری یا بارگذاری بیش از حد.
• 504 Gateway Timeout: سرور به عنوان یک Gateway یا Proxy عمل می کند و زمان پاسخگویی از سرور بالادستی به اتمام رسیده است.

دلایل رایج این خطاها شامل فشار بیش از حد بر سرور به دلیل ترافیک بالا، پیکربندی اشتباه در فایل های سرور (مانند htaccess)، مشکلات در کدنویسی سایت، یا نقص در منابع سرور است.

برای رفع خطاهای 5xx، ابتدا باید دلیل اصلی را شناسایی کرد. گزارش Server errors در GSC می تواند نقطه شروع خوبی باشد. سپس می توان با بهینه سازی منابع سرور، بهبود کدنویسی سایت برای کاهش بار، استفاده از یک شبکه توزیع محتوا (CDN) برای مدیریت ترافیک و کاهش فشار بر سرور اصلی، و در نهایت تماس با ارائه دهنده هاست برای بررسی مشکلات سرور، این خطاها را برطرف کرد. اطمینان از اینکه سرور شما به اندازه کافی قدرتمند است و به درستی پیکربندی شده، برای حفظ سلامت خزش بسیار مهم است.

۴. خطاهای 404 (Not Found) و Soft 404

خطاهای 404 زمانی رخ می دهند که ربات گوگل به URLی دسترسی پیدا کند که وجود ندارد. این خطاها معمولاً به دلیل حذف یک صفحه، تغییر آدرس آن بدون ریدایرکت، یا وجود لینک های شکسته اتفاق می افتند. در حالی که خطاهای 404 برای صفحاتی که عمداً حذف شده اند، طبیعی هستند، اما تعداد زیاد آن ها برای صفحات مهم می تواند به تجربه کاربری و سئو آسیب بزند.

Soft 404 حالتی متفاوت است که در آن، یک صفحه به ظاهر وجود دارد و کد وضعیت 200 (OK) را برمی گرداند، اما محتوای آن به قدری کم، نامرتبط یا بی ارزش است که گوگل آن را عملاً یک صفحه 404 تلقی می کند. این صفحات می توانند بودجه خزش را هدر دهند و سیگنال های منفی به گوگل ارسال کنند.

برای مدیریت این خطاها:

• برای صفحات مهمی که جابجا شده اند، از ریدایرکت 301 (Permanent Redirect) استفاده کنید تا کاربران و ربات ها به آدرس جدید هدایت شوند و اعتبار صفحه منتقل شود.
• صفحاتی که دیگر مورد نیاز نیستند و محتوایشان کاملاً حذف شده، باید از نقشه سایت (sitemap.xml) حذف شوند تا گوگل تلاش نکند آن ها را خزش کند.
• برای صفحات Soft 404، محتوا را بهبود بخشید و آن را غنی تر و ارزشمندتر کنید تا از دید گوگل دیگر Soft 404 نباشد، یا در صورت عدم نیاز، آن را حذف و ریدایرکت 301 کنید.

۵. Access Denied / Blocked by other means

این خطا زمانی رخ می دهد که گوگل نمی تواند به یک صفحه خاص دسترسی پیدا کند، اما دلیل آن نه Robots.txt است و نه خطاهای سرور. معمولاً این مشکل به دلیل محدودیت های دسترسی دیگری رخ می دهد.

دلایل می تواند شامل موارد زیر باشد: وجود تگ `noindex` ناخواسته در بخش

صفحه (که به گوگل می گوید این صفحه را ایندکس نکن)، محدودیت های امنیتی در فایل htaccess (مانند مسدود کردن IPهای خاص یا User-Agentها)، نیاز به ورود با رمز عبور برای دسترسی به صفحه، یا مشکلات مربوط به فایروال.

برای رفع این خطاها، باید تنظیمات امنیتی وب سایت را بررسی کرد. اطمینان حاصل کنید که تگ `noindex` به اشتباه در صفحات عمومی و مهم شما قرار نگرفته باشد. فایل htaccess را برای هرگونه دستور `Deny` که ممکن است ربات های گوگل را مسدود کند، بررسی کنید. اگر صفحات شما به رمز عبور نیاز دارند، برای گوگل راهی برای دسترسی به نسخه ای عمومی یا بدون رمز عبور فراهم کنید، یا آن ها را از ایندکس شدن مستثنی کنید.

۶. Connection Timeout / Host Load Issues

این خطا نشان دهنده آن است که سرور وب سایت به درخواست گوگل پاسخ نمی دهد و زمان معینی که گوگل برای اتصال به آن اختصاص داده، به پایان رسیده است. این مشکل معمولاً به دلیل کندی شدید پاسخ سرور یا ناکافی بودن منابع سرور برای مدیریت همزمان درخواست های متعدد رخ می دهد.

دلایل اصلی شامل: سرور کند، منابع پردازشی و حافظه ناکافی، استفاده از کدنویسی غیربهینه در سایت، یا حجم بالای ترافیک بدون زیرساخت مناسب است.

برای رفع این مشکلات، ابتدا باید بهینه سازی های فنی را در سرور و سایت خود اعمال کنید. بهبود سرعت سرور با ارتقاء پلن میزبانی، بهینه سازی کد سایت (کاهش پلاگین های غیرضروری، فشرده سازی تصاویر، بهینه سازی دیتابیس)، و استفاده از مکانیزم های کشینگ (Caching) برای کاهش بار روی سرور، می تواند بسیار مؤثر باشد. در صورت لزوم، با ارائه دهنده هاست خود تماس بگیرید تا منابع سرور را بررسی و در صورت نیاز افزایش دهید.

«گوگل به صورت مداوم الگوریتم های خزش و ایندکسینگ خود را به روزرسانی می کند تا محتوای مرتبط و باکیفیت را به کاربران ارائه دهد. بنابراین، نظارت فعال بر وضعیت سایت و رفع مشکلات فنی برای هر وب مستری ضروری است.»

تحلیل و رفع مشکلات رایج Indexing (خطاهای نمایه سازی)

پس از اینکه ربات های گوگل یک صفحه را خزش کردند، مرحله ایندکسینگ آغاز می شود. اما گاهی اوقات، حتی پس از خزش موفقیت آمیز، صفحه به دلایل مختلفی ایندکس نمی شود. این مشکلات می تواند وب سایت را از دیده شدن در نتایج جستجو محروم کند. درک دلایل این مشکلات و اتخاذ راه حل های مناسب، برای حضور مؤثر در وب بسیار حیاتی است.

۱. خطای Crawled – currently not indexed

یکی از رایج ترین و گیج کننده ترین پیام هایی که مدیران وب سایت در گوگل سرچ کنسول با آن مواجه می شوند، وضعیت Crawled – currently not indexed است. این پیام به این معنی است که ربات های گوگل صفحه مورد نظر را خزش کرده اند، یعنی محتوای آن را دیده اند و خوانده اند، اما به دلایلی تصمیم گرفته اند آن را در ایندکس خود قرار ندهند. نتیجه این وضعیت، عدم نمایش صفحه در نتایج جستجو است که می تواند تأثیر منفی زیادی بر ترافیک و دیده شدن سایت داشته باشد.

چرا رخ می دهد؟ دلایل متعددی برای این اتفاق وجود دارد که معمولاً حول محور کیفیت و ارزش محتوا می چرخند:

• کیفیت محتوا: گوگل به دنبال ارائه بهترین و مرتبط ترین نتایج به کاربران است. اگر محتوای صفحه از نظر کیفیت پایین، سطحی، یا فاقد ارزش کافی باشد، گوگل ممکن است آن را ایندکس نکند.
• محتوای تکراری (Duplicate Content): اگر محتوای صفحه شما کپی شده از جای دیگری است یا نسخه های متعددی از آن در وب سایت شما یا جاهای دیگر وجود دارد، گوگل ممکن است آن را ایندکس نکند تا از نمایش نتایج تکراری جلوگیری کند.
• Over-optimization: تلاش بیش از حد برای سئو، مانند انباشت کلمات کلیدی، می تواند به عنوان اسپم تلقی شود و مانع از ایندکس شدن صفحه شود.
• سیگنال های منفی: تجربه کاربری ضعیف، سرعت پایین صفحه، یا نداشتن سازگاری با موبایل می تواند سیگنال های منفی به گوگل ارسال کند و شانس ایندکس شدن را کاهش دهد.
• ارزش پایین برای کاربر: صفحاتی که اطلاعات کمی دارند، تنها برای اهداف داخلی سایت طراحی شده اند یا کاربرد عمومی ندارند، ممکن است ایندکس نشوند.

نحوه رفع خطای Crawled – currently not indexed

رفع این خطا نیازمند یک رویکرد جامع و توجه به جزئیات است:

A. بهبود کیفیت و اصالت محتوا

برای گوگل، محتوا پادشاه است. بنابراین، اولین قدم برای رفع این مشکل، تمرکز بر بهبود محتوای صفحه است. فردی که می خواهد محتوایش ایندکس شود، باید اطمینان حاصل کند که:

• ارائه اطلاعات جامع و عمیق (E-E-A-T): محتوا باید اطلاعات کامل، دقیق و قابل اعتمادی را ارائه دهد. تخصص (Expertise)، تجربه (Experience)، اعتبار (Authoritativeness)، و قابل اعتماد بودن (Trustworthiness) محتوا باید آشکار باشد.
• پرهیز از محتوای سطحی و کم ارزش (Thin Content): صفحاتی که محتوای کمی دارند یا فقط کلمات کلیدی را تکرار می کنند، اغلب ایندکس نمی شوند. محتوای خود را غنی تر کنید.
• عدم تولید محتوای تکراری (Duplicate Content) و مدیریت آن با Canonical Tag: هرگز محتوای کپی شده تولید نکنید. اگر به دلایلی نسخه های مشابهی از یک محتوا در سایت شما وجود دارد، با استفاده صحیح از تگ canonical در بخش صفحه، نسخه اصلی را به گوگل معرفی کنید.

B. بهینه سازی ساختار سایت و لینک سازی داخلی

ساختار یک وب سایت به گوگل کمک می کند تا ارتباط بین صفحات را درک کند و اهمیت هر صفحه را بسنجد:

• ایجاد سلسله مراتب منطقی و واضح: وب سایت باید ساختاری منطقی و سازمان یافته داشته باشد. کاربران و ربات ها باید به راحتی بتوانند در سایت حرکت کنند.
• استفاده صحیح از لینک های داخلی برای توزیع PageRank و کمک به خزش: لینک های داخلی به صفحات ارزشمند و مرتبط، نه تنها به توزیع اعتبار (PageRank) در سراسر سایت کمک می کنند، بلکه به ربات ها نشان می دهند که کدام صفحات مهم تر هستند و باید بیشتر خزش شوند.
• به کارگیری Breadcrumbs برای بهبود تجربه کاربر و درک ربات ها: Breadcrumbs یک مسیر ناوبری واضح برای کاربران و ربات ها فراهم می کند و ساختار سایت را به صورت سلسله مراتبی نشان می دهد.

C. بررسی تگ های متا و X-Robots-Tag

گاهی اوقات، دلیل عدم ایندکس شدن به سادگی وجود یک تگ است:

• اطمینان از عدم وجود تگ noindex ناخواسته: در بخش صفحات خود، بررسی کنید که تگ `` یا `` به اشتباه قرار نگرفته باشد. این تگ ها به صراحت به گوگل می گویند که صفحه را ایندکس نکند.

D. بهبود تجربه کاربری و عملکرد فنی

گوگل به شدت به تجربه کاربری اهمیت می دهد:

• Mobile-friendliness: با توجه به رویکرد Mobile-first indexing گوگل، سایت شما باید کاملاً با دستگاه های موبایل سازگار باشد و تجربه کاربری خوبی را در این دستگاه ها ارائه دهد.
• Page Speed و Core Web Vitals: سرعت بارگذاری صفحات و معیارهای حیاتی وب (Core Web Vitals) مانند LCP، FID و CLS، از عوامل مهم در رتبه بندی هستند. بهبود این موارد، می تواند شانس ایندکس شدن را افزایش دهد.

E. درخواست ایندکس مجدد (Request Indexing) در GSC

پس از اعمال تمامی تغییرات و بهینه سازی ها، می توانید از ابزار URL Inspection در گوگل سرچ کنسول استفاده کرده و با کلیک بر روی گزینه Request Indexing، از گوگل بخواهید تا صفحه را مجدداً بررسی و ایندکس کند. این کار معمولاً روند ایندکسینگ را تسریع می بخشد، اما تنها زمانی مؤثر است که مشکلات اساسی محتوایی و فنی صفحه حل شده باشند.

۲. خطای Discovered – currently not indexed

این خطا به این معنی است که گوگل از وجود صفحه شما مطلع شده است (آن را کشف کرده)، اما هنوز آن را خزش نکرده یا تصمیم به ایندکس آن نگرفته است. در واقع، ربات های گوگل به این صفحه نرسیده اند یا آن را به دلیل اولویت های دیگر به تعویق انداخته اند.

تفاوت با Crawled – currently not indexed: تفاوت اصلی در این است که در حالت Discovered، گوگل حتی هنوز صفحه را به طور کامل نخزیده است، در حالی که در حالت Crawled، صفحه خزش شده اما ایندکس نشده است.

دلایل: این مشکل معمولاً به دلیل بودجه خزش کم، عدم اهمیت کافی صفحه از نظر گوگل (مثلاً محتوای کم ارزش)، یا لینک سازی داخلی ضعیف که ربات ها را به این صفحه هدایت نمی کند، رخ می دهد. گاهی اوقات نیز صفحات جدید به دلیل نیاز به زمان بیشتر برای کشف و خزش اولیه، در این وضعیت قرار می گیرند.

نحوه رفع: برای رفع این مشکل، باید بر روی بهبود Crawl Budget تمرکز کرد. این شامل تقویت لینک های داخلی به صفحه مورد نظر (به ویژه از صفحات مهم تر و پربازدیدتر)، اطمینان از قرار گرفتن صفحه در نقشه سایت (sitemap.xml)، افزایش کیفیت و اهمیت محتوای صفحه و همچنین بهینه سازی سرعت سایت است. هرچه صفحه از نظر گوگل مهم تر و در دسترس تر باشد، شانس خزش و ایندکس شدن آن بیشتر می شود.

۳. خطای Blocked by robots.txt

این خطا زمانی رخ می دهد که شما یا سیستم مدیریت محتوای شما، به طور ناخواسته با استفاده از فایل robots.txt، دسترسی ربات های گوگل به یک یا چند صفحه را مسدود کرده اید. این مشکل قبلاً در بخش خطاهای خزش به تفصیل توضیح داده شد، اما از آنجا که مستقیماً بر ایندکسینگ نیز تأثیر می گذارد، مجدداً در اینجا به آن اشاره می شود.

توضیح و راه حل: اگر صفحه ای به دلیل robots.txt مسدود شده باشد، گوگل نمی تواند آن را خزش کند و در نتیجه هرگز ایندکس نخواهد شد. برای رفع این مشکل، باید فایل robots.txt را بررسی کرده و اطمینان حاصل کنید که دستورات `Disallow` به اشتباه صفحات مهم را مسدود نکرده باشند. پس از اصلاح فایل، آن را ذخیره و مجدداً در GSC با ابزار Robots.txt Tester بررسی کنید.

۴. خطای Duplicate, submitted URL not selected as canonical

این خطا نشان می دهد که شما یک URL را به گوگل ارسال کرده اید (مثلاً از طریق نقشه سایت یا ابزار URL Inspection)، اما گوگل URL دیگری را به عنوان نسخه اصلی (canonical) آن صفحه انتخاب کرده است. این اتفاق زمانی می افتد که گوگل تشخیص می دهد چندین نسخه از یک محتوا وجود دارد و نسخه ارسالی شما، از نظر گوگل، نسخه اصلی و معتبر نیست.

دلایل: می تواند شامل موارد زیر باشد:

• وجود پارامترهای URL متفاوت که منجر به ایجاد نسخه های تکراری از یک صفحه می شوند (مثلاً `example.com/page?color=red` و `example.com/page`).
• وجود نسخه های `http` و `https` یا `www` و `non-www` از یک URL بدون ریدایرکت مناسب.
• اشتباه در پیاده سازی تگ canonical (مثلاً اشاره به نسخه اشتباه).
• محتوای بسیار مشابه در چندین صفحه که گوگل را به این نتیجه می رساند که یک صفحه اصلی وجود دارد.

نحوه رفع:

• بررسی و اصلاح تگ canonical: اطمینان حاصل کنید که تگ canonical در صفحات تکراری به درستی به URL نسخه اصلی و مورد نظر شما اشاره می کند.
• بهبود کیفیت نسخه اصلی: اگر گوگل نسخه دیگری را به عنوان canonical انتخاب کرده، ممکن است به این دلیل باشد که آن نسخه از نظر گوگل قوی تر یا باکیفیت تر است. تلاش کنید نسخه اصلی مورد نظرتان را بهینه سازی کنید.
• حذف نسخه های تکراری غیرضروری: اگر نسخه های تکراری وجود دارند که هیچ ارزشی ندارند، آن ها را حذف کنید و با ریدایرکت 301 به نسخه اصلی هدایت کنید.
• مدیریت پارامترهای URL: در GSC، می توانید به گوگل بگویید که چگونه پارامترهای URL را مدیریت کند.

در نهایت، هدف این است که گوگل به وضوح بداند کدام نسخه از محتوای شما، نسخه اصلی و مهم است تا آن را ایندکس کند و اعتبار را به آن نسبت دهد.

نکات پیشگیرانه و نگهداری برای Crawl و Indexing سالم

مدیریت صحیح خزش و ایندکسینگ، یک فرآیند یک باره نیست، بلکه نیازمند نظارت و نگهداری مداوم است. برای اطمینان از اینکه وب سایت شما همواره در مسیر درست قرار دارد و محتوای ارزشمندتان به دست مخاطبان می رسد، رعایت نکات پیشگیرانه زیر ضروری است. فردی که به موفقیت بلندمدت سایتش می اندیشد، این موارد را در برنامه کاری خود جای می دهد و به صورت مستمر آن ها را پایش می کند.

1. نظارت منظم بر Google Search Console: مهم ترین گام، بررسی هفتگی یا ماهانه گزارش های GSC است. گزارش های Pages و Sitemaps باید به طور مداوم برای شناسایی هرگونه خطا یا هشدار جدید بررسی شوند. این نظارت به شما کمک می کند تا مشکلات را قبل از اینکه به بحرانی تبدیل شوند، شناسایی و رفع کنید.
2. تولید و به روزرسانی مداوم محتوای باکیفیت و ارزشمند: محتوای تازه و باکیفیت، نه تنها کاربران را جذب می کند، بلکه به ربات های گوگل نیز سیگنال می دهد که وب سایت شما فعال و پویا است. این امر می تواند بودجه خزش شما را افزایش داده و شانس ایندکس شدن صفحات جدید را بیشتر کند. همچنین، به روزرسانی محتوای قدیمی و بهبود آن، به گوگل نشان می دهد که محتوای شما همچنان مرتبط و معتبر است.
3. حفظ ساختار لینک سازی داخلی قوی و منطقی: یک ساختار لینک سازی داخلی محکم و منطقی، به ربات ها کمک می کند تا به راحتی در سایت شما حرکت کنند و تمامی صفحات مهم را کشف کنند. این کار همچنین به توزیع اعتبار (PageRank) در سراسر سایت کمک می کند و صفحات جدید و عمیق تر را نیز در دسترس گوگل قرار می دهد.
4. بهینه سازی مستمر سرعت سایت و تجربه کاربری (UX): سرعت بارگذاری صفحات و یک تجربه کاربری روان، از عوامل حیاتی برای گوگل و کاربران است. هرچه سایت سریع تر و کاربرپسندتر باشد، گوگل با رغبت بیشتری آن را خزش و ایندکس می کند و کاربران نیز رضایت بیشتری خواهند داشت. معیارهای Core Web Vitals را به طور مداوم پایش و بهبود بخشید.
5. استفاده صحیح و به روزرسانی منظم نقشه سایت (Sitemap.xml): نقشه سایت، یک فهرست راهنما برای گوگل است. اطمینان حاصل کنید که نقشه سایت شما به روز است و تمامی صفحات مهم و قابل ایندکس سایت در آن گنجانده شده اند. آن را به طور منظم به GSC ارسال کنید تا گوگل از جدیدترین تغییرات ساختاری سایت شما مطلع شود.
6. تست منظم Mobile-friendliness: با توجه به رویکرد Mobile-first indexing، وب سایت شما باید تجربه کاربری بی نقصی در دستگاه های موبایل ارائه دهد. به صورت دوره ای با استفاده از ابزارهای گوگل، سازگاری سایت خود را با موبایل بررسی کنید.

نتیجه گیری

تحلیل و رفع مشکلات Crawl و Indexing، به مثابه مراقبت از سلامت قلب یک وب سایت است. این فرآیندها، حیاتی ترین عناصر برای حضور آنلاین و دیده شدن در موتورهای جستجو هستند. همانطور که گفته شد، خزش و ایندکسینگ دو مرحله کلیدی هستند که محتوای ارزشمند شما را از گمنامی خارج کرده و در معرض دید میلیون ها کاربر قرار می دهند. نادیده گرفتن این جنبه های فنی سئو می تواند منجر به از دست رفتن تلاش های بی شمار در تولید محتوا و بهینه سازی های دیگر شود.

مدیریت صحیح و جامع این مسائل، یک پروژه یک باره نیست، بلکه یک مسیر مداوم است که نیازمند نظارت فعال، تحلیل دقیق و واکنش سریع به تغییرات است. استفاده هوشمندانه از ابزارهایی مانند گوگل سرچ کنسول، به فردی که وب سایتی را اداره می کند، امکان می دهد تا وضعیت سایت خود را در هر لحظه پایش کرده، مشکلات را شناسایی و با راه حل های عملی و مستند، آن ها را برطرف سازد. این دیدگاه فعالانه، تضمین می کند که وب سایت نه تنها به درستی کار می کند، بلکه همواره در حال رشد و بهبود است و در دنیای رقابتی آنلاین، جایگاه شایسته ای را به دست می آورد.

همین حالا سایت خود را با ابزارهای معرفی شده تحلیل کنید و از دیده شدن محتوای ارزشمندتان اطمینان حاصل کنید!