چرا سایت شما در گوگل ایندکس نمیشود

شاید برای شما این سوال نیز پیش آمده باشد که چرا گوگل سایت را ایندکس نمی کند؟
آیا مشکل جدی در پشت مسئله ایندکس نکردن سایت وجود دارد؟

در برخی از مواقع برخلاف زحماتی که برای تولید یک محتوا می کشیم، در گوگل ایندکس نمیشود. با وجود این که محتوای شما کاملا یونیک است و شخصا آن را تولید کرده اید و تکنیک های سئو محتوا را به درستی برروی آن پیاده سازی کرده اید. اما باز هم محتوای شما ایندکس نمیشود!
در این شرایط بهتر است به سرچ کنسول گوگل مراجعه کنید. زیرا رفع خطاهای موجود در بخش Coverage سرچ کنسول، در ایندکس شدن محتوای شما تاثیر بسزایی دارند. پس با چک کردن روزانه آن ها میتوانید خطاهای موجود را پیش از افزایش آنها، بررسی و رفع کنید.

اگر هنوز سایت خود را در سرچ کنسول ثبت نکرده اید، نگران نباشید! میتوانید از آموزش زیر کمک بگیرید:

آموزش ثبت سایت در گوگل سرچ کنسول

پس تا انتهای این آموزش همراه ما باشید تا به شما دلایل ایندکس نشدن سایت در گوگل را به صورت کامل توضیح دهیم.

دلایل عدم ایندکس سایت در گوگل

دلایل عدم ایندکس سایت در گوگل
دلایل عدم ایندکس سایت در گوگل

نخستین مسئله مهم این است که در طی ماه های اخیر آپدیت های گوگل در مورد الگوریتم ها بسیار سختگیرانه برخورد نموده و همین مورد، فرآیند را کمی پیچیده میکند. آپدیت جدید گوگل یک سری از تست های ریز بینانه در محتوای سایت ها انجام می دهد و این مسئله تنها محدود به ایران نیست و تمامی سایت ها در سراسر دنیا را شامل می شود.

اکنون میخواهیم در این بخش دلایل ایندکس نشدن سایت در گوگل را بررسی کنیم:

وجود خطاها در سایت

یکی از دلایل رایج ایندکس نشدن سایت در گوگل، وجود خطاهای متعدد در سایت است. خطاهای مهم میتوانند عملکرد سایت را مختل کنند و به این ترتیب مانع ایندکس محتوا شوند. در ادامه به بررسی برخی از این خطاها میپردازیم:

خطای DNS

این خطا هنگامی ایجاد می شود که سعی داریم به صفحه‌ سایت دسترسی پیدا کنیم. اما ارتباط با سرور DNS برقرار نمیشود. این خطا میتواند به این دلیل باشد که سرورتان از کار افتاده است یا مشکلی در DNS Timeout یا DNS Lookup دامنه شما وجود دارد.

این خطاها اهمیت بسیاری دارند و باید در اولین فرصت آنها را رفع کنید؛ چون وجود خطاهای DNS باعث میشود تا ربات های گوگل نتوانند به سایت شما دسترسی پیدا کنند.

رفع خطای DNS

برای رفع این خطا پیش از هر چیز باید:

  • وارد صفحه اصلی گوگل سرچ کنسول شوید و از منوی crawl گزینه Fetch as Google را پیدا نمایید و روی آن کلیک کنید.
  • در کادر جستجو URL صفحه مورد نظرتان را وارد نموده و گزینه FETCH AND RENDER را انتخاب نمایید.
  • با کلیک روی این گزینه، گوگل نتایج بررسی را به شما نمایش می دهد.

اگر مشکلی وجود داشته باشد، در مقابل آدرس صفحه ای که وارد کردید، یک تیک قرمز میخورد. و اگر گوگل بدون هیچ مشکلی با صفحه اول سایت‌ شما ارتباط برقرار کرد، یعنی هیچ مشکلی در این سایت وجود ندارد.

خطای سرور

خطای سرور زمانی اتفاق می افتد که مدت زمان پاسخگویی سرور بیش از حد طولانی شود، ربات های گوگل دست از کراول میکشند و سایت را ترک میکنند. این خطا ممکن است وقتی رخ دهد که ترافیک سایت شما، بیش از اندازه ای باشد که سرور بتواند آن را اداره کند. در این حالت دلیل ایندکس نشدن سایت، مدت بارگذاری طولانی آن است.

درست مانند خطاهای DNS، خطاهای سرور هم باید درجا رفع شوند. زیرا این خطا یک خطای مهم و اساسی است. در صورت مشاهده خطاهای سرور در Search Console، برای رفع آن‌ها هر چه سریعتر اقدام کنید.

خطای فایل robots.txt

خطای فایل robots.txt
خطای فایل robots.txt

درصورتی که فایل robot.txt مشکل داشته باشد، امکان ایندکس نشدن سایت وجود دارد. و Googlebot نمیتواند به فایل robots.txt شما دسترسی پیدا کند. همچنین تگ No index در این فایل را بررسی کنید؛ زیرا پس از تگ No index دسترسی به یکسری از صفحات یا حتی کل سایت مسدود میشود. پس در صورتی که این مسدود سازی از طرف شما نبوده باشد، می تواند برای ایندکس سایت مشکل ساز شود.

شما در robots.txt میتوانید رفتار کراول های موتور جستجو گوگل را درباره سایتتان تعیین کنید و به آنها بفهمانید که کدام قسمت از صفحات وبسایت‌ را نباید جستجو و ایندکس کنند. برای این کار میتوانید از متاتگ no index استفاده کنید. اما اگر مشابه کد زیر، از این متاتگ به شکل اشتباه استفاده کنید، ممکن است گوگل نتواند سایت شما را ایندکس کند:

<“meta name=”robots” content=”noindex, nofollow>

کندی سرعت در بارگذاری سایت

اگر سایت شما کند است، می بایست در جهت افزایش سرعت بارگذاری آن تلاش کنید. زیرا این امر باعث میشود کاربران سایت را به سرعت ترک کنند. و این خود یک امتیاز منفی از دیدگاه گوگل است.

عدم وجود لینک سازی داخلی و خارجی

عدم وجود لینک سازی در سایت شما میتواند یکی دیگر از دلایل ایندکس نشدن محتوا در گوگل باشد. لینک سازی داخلی موجب می شود که کاربر با ورود به یک صفحه، صفحات دیگر سایت شما نیز بازدید کند و این امر تعامل کاربر با سایت را افزایش می دهد. همچنین شما میتوانید با استفاده از بک لینک ها (قرار دادن لینک سایت خود در دیگر سایت ها) سایت خود را به کاربران معرفی نمایید.

تولید محتوای بی کیفیت

اگر از محتواهای بی کیفیت، کوتاه و یا کپی در سایت خود استفاده میکنید؛ قطعا دلیل عدم ایندکس سایت شما در گوگل همین مورد می باشد. این شکل از محتواها مورد قبول گوگل نیستند. سعی کنید، محتوای تکراری در سایت ایجاد نکنید. زیرا حکم داپلیکیت دارند و توسط گوگل رد خواهد شد.

وجود محدودیت IP برای نمایش سایت

گاهی ممکن است بدون اینکه حواستان باشد، بازدید از سایت خود را به IP های خاصی محدود کنید. این امر موجب میشود ربات های گوگل نتوانند این محتواها را ببینند و در نتیجه ایندکس نخواهند شد. و همچنین محتواهای مختص به کاربران ویژه سایت نیز توسط گوگل ایندکس نمیشوند. پس به این موضوع دقت نمایید.

استفاده از حجم بالای JS

استفاده از حجم بالای JS
استفاده از حجم بالای JS

درصورتی که شما حجم بسیاری از جاوا اسکریپت را بر روی صفحات سایت خود استفاده نموده اید، این امر موجب هدر رفتن منابع سرورهای گوگل و کاربر میشود. در انتها گوگل صفحه های سایت شما را ایندکس نخواهد کرد. پس سعی کنید از جاوا اسکریپت در حجم معمولی استفاده کنید.

داون شدن سرور

وقتی ربات های گوگل نتوانند محتوایی را ببینند، امکان ایندکس کردن آن را هم ندارند. اگر هاست شما به صورت مداوم قطع میشود، ممکن است ربات های گوگل نتوانند در سایت شما کراول کنند. در این مواقع توصیه می شود هاست تان را عوض کرده و از هاست باکیفیت تری استفاده کنید.

ممکن است در ظاهر هم هاست شما مشکلی نداشته باشد، اما طبق تجربه‌ای که بر روی چندین سایت بزرگ و کوچک بدست آوردیم، باتغییر دادن هاست، صفحات سایت ایندکس شدند.

وجود خطای URL

منظور از خطاهای URL، خطاهای مربوط با یک صفحه خاصی از سایت است. شما میتوانید این دسته از خطاها را در بخش Coverage گوگل سرچ کنسول مشاهده نموده و نسبت به رفع آنها اقدام کنید.

بررسی خطای کراول در coverage

گاهی گوگل به این دلیل که نمیتواند صفحات وب شما را دریافت و بررسی کند، امکان ایندکس ندارد. برای یافتن خطاهای Crawl درسرچ کنسول گوگل می توانید مراحل زیر را طی کنید:

  • از قسمت Index روی Coverage کلیک کنید.
  • روی گزینه Error کلیک نمایید. تا نمودار اخطارها به شما نمایش داده شود. سایر گزینه ها مانندValid و Excluded را خاموش نمایید.
  • در بخش Details روی هر کدام از خطاها کلیک نمایید. و لیست صفحاتی که این خطا در آنها وجود دارد را ببینید.

رفع مشکلات coverage در گوگل سرچ کنسول

رفع مشکلات coverage در گوگل سرچ کنسول
رفع مشکلات coverage در گوگل سرچ کنسول

از جمله خطاهایی که برای شما توضیح خواهیم داد، موارد زیر هستند:

خطای ۴۰۴ Hard

هنگامی که یک صفحه دیگر بر روی سایت وجود نداشته باشد، URL مربوط به آن خطای ۴۰۴ را نمایش میدهد.

خطای ۴۰۴ Soft

  • در صورتی که اعتبار آدرس یک صفحه از بین برود، این خطا برای کاربر نماش داده میشود. این خطا کمی با خطای پیشین متفاوت است و نحوه رفع آن هم کمی تفاوت دارد:
  • درصورتی که صفحه حذف شده است. میتوانید اجازه دهید خطای ۴۰۴ یا ۴۱۰ نمایش داده شود. مطمئن شوید کد ۲۰۰ نشان داده نشود.
  • صفحات قدیمی را به کمک ریدایرکت ۳۰۱ به صفحات مرتبط با محتوای مشابه سایت ریدایرکت کنید.
  • کم بودن محتوای صفحه سایت شما، می تواند دلیل خطای ۴۰۴ باشد. پس محتوای آن را افزایش دهید.

خطای Access Denied

خطای Access Denied به این معناست که امکان دسترسی به لینک موردنظر برای ربات گوگل وجود ندارد. این موضوع توسط یکی از موارد زیر اتفاق می افتد:
ربات گوگل نمیتواند آن محتوا را ببیند، چون فقط کاربرانی که در سایت ثبت‌نام کرده‌اند و رمز عبور دارند، این اجازه را دارند تا به مطلب دسترسی داشته باشند.
ممکن است txt فایل شما، دسترسی بات گوگل به برخی از فایل های سایت تان را مسدود کرده باشد.

امکان دارد سروری که سایت شما روی آن قرار دارد، یک سری موارد امنیتی برای کاربران خود در نظر گرفته باشد و در تنظیمات خود، به صورت کلی دسترسی ربات گوگل مسدود شده باشد.

رفع خطای Access denied

  • امکان لاگین کردن را از صفحاتی که میخواهید گوگل در آن کراول کند بردارید.
  • فایل txt خود را بررسی کنید تا مطمئن شوید صفحات ذکر شده در آنجا به منظور جلوگیری از کراول و ایندکس شدن، مسدود نشده باشند.
  • از ابزار Fetch Google استفاده کنید. تا متوجه ظاهر سایت تان در Googlebot شوید.
  • سایت خود را با ابزار Screaming Frog اسکن کنید.

خطای Not Followed

این خطا نشان دهنده آن است که گوگل نمیتواند یک URL مشخص از سایت شما را دنبال کند. گوگل موارد زیر را به عنوان ویژگی هایی شناسایی نموده که باعث میشوند، ربات های گوگل و سایر موتورهای جستجو در کراول کردن مشکل داشته باشند:
Frames
Cookies
Flash
JavaScript
DHTML
Session IDs

رفع خطای not followed

  • از Fetch گوگل استفاده کنید تا ببینید سایت شما دقیقا چطور برای گوگل نشان داده میشود.
  • اگر به طور دائم از یک صفحه به صفحه دیگری ریدایرکت می‌شوید، مطمئن شوید که کد وضعیت HTTP مناسب (یعنی کد ۳۰۱) بازگردانده میشود.
  • URL های ریدایرکت شده را در سایت مپ خود وارد نکنید.
  • URL های خود را کوتاه کنید.
  • مطمئن شوید ریدایرکت ها به صفحات درست انجام می شوند.

عدم وجود سایت مپ

اگر سایت مپ یا نقشه سایت نداشته باشید؛ ایندکس نشدن سایت شما طبیعی است. باید حتما یک سایت مپ داشته باشید و به طرز صحیح آن را پیکربندی و معرفی کنید. نداشتن نقشه سایت، یک مانع جدی سر راه ایندکس شدن سایت شما در گوگل است. همچنین پس از ساخت سایت مپ، نیاز است درخواست کراول گوگل به منظور ایندکس شدن سایت را برای گوگل ارسال کنید. تا گوگل بعد از بررسی، برای ایندکس نمودن سایت اقدام کند.

پیکربندی نادرست فایل HT access

فایل HT access یک فایل پیکربندی سرور است. این فایل می تواند برای ایجاد ریدایرکت ها، بازنویسی URL های خراب به نسخه های بهتر و تمیزتر و حتی مسدود کردن صفحات، جهت جلوگیری از کراول کردن ربات های گوگل، استفاده میشود. اگر سایت یا صفحه شما در robots.txt یا از طریق دستورالعمل های روی صفحه مانند تگ no index مسدود نشده اما همچنان امکان کراول برای آن وجود ندارد، درصورتی که دستورهای نادرستی در این فایل وارد شده باشد. میتواند مشکلات بسیاری از جمله عدم ایندکس محتوای سایت را به همراه داشته باشد.

سخن آخر

امیدواریم این آموزش برای شما مفید بوده باشد و به وسیله آن دلیل عدم ایندکس سایت خود توسط گوگل را متوجه شده باشید. درصورتی که درمورد این مقاله هرگونه سوال یا مشکلی دارید، میتوانید آن را در بخش دیدگاه بنویسید. تا کارشناسان ما در اسرع وقت به آن پاسخ دهند.

ارسال یک نظر

نشانی ایمیل شما منتشر نخواهد شد.