CARA MENYEMBUNYIKAN BACKLINK DARI AHREFS, SEMRUSH, MOZ DAN MAJECTIC DARI INTIPAN

Pada postingan kali ini saya akan berbagi tips memblokir perayapan bot crawl dari alat-alat SEO seperti ahrefs, majestic, moz dan semrush yang biasa dipakai oleh mastah-mastah untuk melihat footprint backlink, keyword potensial pada suatu website/blog. 

Siapa sih yang suka di intipin? risih kali ya kalau tiba-tiba muncul similiar site yang isinya mengambil apa yang terbaik dari website/blog kita doang khususnya pada artikel-artikel yang potensial mendatangkan trafik, tentunya ini bisa mengurangi kunjungan organik karena keyword kita ditiru oleh pesaing-pesaing apalagi kalau mereka memakai AGC mungkin peringkat anda bisa tersingkir dari halaman pertama google

Blogger jaman sekarang pinter-pinter, yang dulunya sekedar asal ngeblog kini hanya fokus membuat konten yang bisa mendulang keuntungan. Kebanyakan tutorial diforum-forum telah membahas penggunaan layanan SEO seperti ahrefs, semrush, moz dan majestic untuk mengintip backlink kompetitor, mengetahui daftar kata kunci bertrafic dengan tingkat persaingan middle pada situs kompetitor dan membongkar berbagai kelemahan lainnya

Karena hampir sebagian orang sudah melek internet, cepat atau lambat sebagai blogger mereka akan segera beradaptasi dengan layanan SEO service semacam ini. 

Sama dengan google yang menggunakan botcrawl untuk merayapi situs anda.

Layanan service SEO dari ahrefs, majestic, moz dan semrush juga menggunakan botcrawl untuk mengumpulkan data situs anda. Sebenarnya perilaku dari botcrawl bisa kita atur melalui robots.txt atau htaccess.. kita dapat menolak crawling yang berasal dari layanan service SEO seperti ahrefs, moz, semrush dan majestic dengan mudah tanpa harus takut kehilangan visibilitas digoogle.

Cara botcrawl bekerja

Bot bekerja dengan cara merayapi seluruh bagian halaman/url dari website anda untuk mengumpulkan data-data penting seperti perubahan konten, tautan perujuk/backlink, popular keywords, halaman baru dan sebagainya. Keberadaan botcrawl juga sering disebut dengan istilah crawl frontier

Keuntungan memblokir bot dari layanan SEO

Kompetitor tidak akan bisa melihat data-data dari situs anda seperti daftar backlink, trafik, skor domain, keyword potensial dan sebagainya. Kasian juga kalau kompetitor anda berlangganan paket lite $99/minggu diAhrefs kalau tidak bisa dipakai untuk menganalisis situs anda hehe

Kekurangan memblokir bot dari layanan SEO

Layanan SEO Service tidak hanya digunakan oleh kompetitor, pemilik website juga bisa berlangganan untuk memonitoring performasi website melalui halaman audit, itu termasuk menemukan broken link, element halaman penghambat bot crawl dari mesin pencari, tautan spam dan sebagainya

Cara memblokir bot crawl dari SEO Service

Anda bisa menggunakan robots.txt untuk memblokir nama agen dari bot layanan SEO tertentu, kebanyakan webmaster memang menggunakan robots.txt karena dianggap lebih mudah, cepat dan instruksi baris kodenya jelas

Kalau nama botcrawl dari mesin pencari google adalah googlebot, mediapartners-google

Sementara kalau dari layanan SEO, Majestic SEO -> User-agent: MJ12bot, MOZ OpenSiteExplorer -> User-agent: rogerbot, Ahrefs -> User-agent: AhrefsBot, Semrush -> User-agent: SemrushBot

Kalau anda pakai platform blogger masuk ke menu setelan > crawler dan pengindeksan > aktifkan robots.txt > paste teks berikut :

User-agent: Rogerbot

User-agent: Exabot

User-agent: MJ12bot

User-agent: SemrushBot

User-agent: Dotbot

User-agent: Gigabot

User-agent: AhrefsBot

User-agent: BlackWidow

User-agent: ChinaClaw

User-agent: Custo

User-agent: DISCo

User-agent: Download\ Demon

User-agent: eCatch

User-agent: EirGrabber

User-agent: EmailSiphon

User-agent: EmailWolf

User-agent: Express\ WebPictures

User-agent: ExtractorPro

User-agent: EyeNetIE

User-agent: FlashGet

User-agent: GetRight

User-agent: GetWeb!

User-agent: Go!Zilla

User-agent: Go-Ahead-Got-It

User-agent: GrabNet

User-agent: Grafula

User-agent: HMView

User-agent: HTTrack

User-agent: Image\ Stripper

User-agent: Image\ Sucker

User-agent: Indy\ Library

User-agent: InterGET

User-agent: Internet\ Ninja

User-agent: JetCar

User-agent: JOC\ Web\ Spider

User-agent: larbin

User-agent: LeechFTP

User-agent: Mass\ Downloader

User-agent: MIDown\ tool

User-agent: Mister\ PiX

User-agent: Navroad

User-agent: NearSite

User-agent: NetAnts

User-agent: NetSpider

User-agent: Net\ Vampire

User-agent: NetZIP

User-agent: Octopus

User-agent: Offline\ Explorer

User-agent: Offline\ Navigator

User-agent: PageGrabber

User-agent: Papa\ Foto

User-agent: pavuk

User-agent: pcBrowser

User-agent: RealDownload

User-agent: ReGet

User-agent: SiteSnagger

User-agent: SmartDownload

User-agent: SuperBot

User-agent: SuperHTTP

User-agent: Surfbot

User-agent: tAkeOut

User-agent: Teleport\ Pro

User-agent: VoidEYE

User-agent: Web\ Image\ Collector

User-agent: Web\ Sucker

User-agent: WebAuto

User-agent: WebCopier

User-agent: WebFetch

User-agent: WebGo\ IS

User-agent: WebLeacher

User-agent: WebReaper

User-agent: WebSauger

User-agent: Website\ eXtractor

User-agent: Website\ Quester

User-agent: WebStripper

User-agent: WebWhacker

User-agent: WebZIP

User-agent: Wget

User-agent: Widow

User-agent: WWWOFFLE

User-agent: Xaldon\ WebSpider

User-agent: Zeus

Disallow: /

Setelah itu simpan dan cek apakah aturan robots.txt yang baru sudah diterapkan atau belum. Caranya cukup tambahkan /robots.txt dibelakang nama domain

Contoh: https://otobemoberodatiga.com/robots.txt

Bagi pengguna wordpress bisa disetting melalui file .htaccess, buka cpanel > file manager > temukan file .htaccess (kalau tidak ketemu buka menu settings > show hidden files)

Paste kode berikut dibawahnya :

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot

SetEnvIfNoCase User-Agent .*exabot.* bad_bot

SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot

SetEnvIfNoCase User-Agent .*dotbot.* bad_bot

SetEnvIfNoCase User-Agent .*gigabot.* bad_bot

SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot

SetEnvIfNoCase User-Agent .*sitebot.* bad_bot

<Limit GET POST HEAD>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

Setelah itu cek blog/website anda apakah sudah berhasil memblokir perayapan dari layanan service SEO intip backlink Ahrefs atau belum, 

Ceknya disini https://ahrefs.com/robot menyembunyikan backlink dari ahrefs, apa sudah diblokir ?

Yang lainnya ceknya disini :

https://www.semrush.com/bot/

https://www.mj12bot.com/

Persaingan sengit dalam dunia SEO memang tidak terelakkan lagi mengingat google hanya membatasi 10 hasil result terbaik disetiap halamannya, SEO bukan hanya tentang bagaimana mencapai halaman pertama google tetapi juga bagaimana menjadi lebih baik dari kompetitor anda saat ini

Kenapa statusnya masih allow?

Anda mungkin harus menunggu sampai 1x24 jam hingga penerapan robots.txt yang baru benar-benar diaplikasikan ke website/blog anda

Kenapa ketika dianalisis hasilnya tidak null, padahal botcrawlnya sudah diblokir?

Ini karena layanan SEO seperti Ahrefs masih menyimpan data anda dari hasil analisis sebelumnya

Demikian artikel mengenai cara memblokir perayapan bot dari layanan Service SEO Ahrefs, Majectis, Moz dan Semrush. Semoga apa yang saya bagikan bermanfaat terlepas dari pro dan kontra selama ini. Cara cepat menghasilkan uang dari blog/website adalah dengan banyak melakukan riset, mengambil apa yang terbaik dari kompetitor (footprint backlink, keyword) dan tentunya menjaga kesehatan website kita sendiri dengan layanan SEO Audit Tools. Baca juga : Format-gambar-terbaik-untuk-menjaga

Bagaimana Reaksi Anda Tentang Artikel Ini?