CARA MENYEMBUNYIKAN BACKLINK DARI AHREFS, SEMRUSH, MOZ DAN MAJECTIC DARI INTIPAN CARA MENYEMBUNYIKAN BACKLINK DARI AHREFS, SEMRUSH, MOZ DAN MAJECTIC DARI INTIPAN - SUARA HARIAN OTO BEMO BERODA TIGA
Suara Harian Oto Bemo Beroda Tiga

Komunikasi, Media Ilmu & Pengetahuan Umum Blogging

Langsung ke konten utama

"OTO BEMO.. OTO BEMO.. BERODA TIGA .. TEMPAT BERHENTI.. DITENGAH TENGAH KOTA..PANGGIL NONA..PANGGIL NONA..NAIK KERETA..NONA BILANG..TIDAK PUNYA UANG.. JALAN KAKI SAJA"

CARA MENYEMBUNYIKAN BACKLINK DARI AHREFS, SEMRUSH, MOZ DAN MAJECTIC DARI INTIPAN

Pada postingan kali ini saya akan berbagi tips memblokir perayapan bot crawl dari alat-alat SEO seperti ahrefs, majestic, moz dan semrush yang biasa dipakai oleh mastah-mastah untuk melihat footprint backlink, keyword potensial pada suatu website/blog. 

Siapa sih yang suka di intipin? risih kali ya kalau tiba-tiba muncul similiar site yang isinya mengambil apa yang terbaik dari website/blog kita doang khususnya pada artikel-artikel yang potensial mendatangkan trafik, tentunya ini bisa mengurangi kunjungan organik karena keyword kita ditiru oleh pesaing-pesaing apalagi kalau mereka memakai AGC mungkin peringkat anda bisa tersingkir dari halaman pertama google

Blogger jaman sekarang pinter-pinter, yang dulunya sekedar asal ngeblog kini hanya fokus membuat konten yang bisa mendulang keuntungan. Kebanyakan tutorial diforum-forum telah membahas penggunaan layanan SEO seperti ahrefs, semrush, moz dan majestic untuk mengintip backlink kompetitor, mengetahui daftar kata kunci bertrafic dengan tingkat persaingan middle pada situs kompetitor dan membongkar berbagai kelemahan lainnya

Karena hampir sebagian orang sudah melek internet, cepat atau lambat sebagai blogger mereka akan segera beradaptasi dengan layanan SEO service semacam ini. 

Sama dengan google yang menggunakan botcrawl untuk merayapi situs anda.

Layanan service SEO dari ahrefs, majestic, moz dan semrush juga menggunakan botcrawl untuk mengumpulkan data situs anda. Sebenarnya perilaku dari botcrawl bisa kita atur melalui robots.txt atau htaccess.. kita dapat menolak crawling yang berasal dari layanan service SEO seperti ahrefs, moz, semrush dan majestic dengan mudah tanpa harus takut kehilangan visibilitas digoogle.

Cara botcrawl bekerja

Bot bekerja dengan cara merayapi seluruh bagian halaman/url dari website anda untuk mengumpulkan data-data penting seperti perubahan konten, tautan perujuk/backlink, popular keywords, halaman baru dan sebagainya. Keberadaan botcrawl juga sering disebut dengan istilah crawl frontier

Keuntungan memblokir bot dari layanan SEO

Kompetitor tidak akan bisa melihat data-data dari situs anda seperti daftar backlink, trafik, skor domain, keyword potensial dan sebagainya. Kasian juga kalau kompetitor anda berlangganan paket lite $99/minggu diAhrefs kalau tidak bisa dipakai untuk menganalisis situs anda hehe

Kekurangan memblokir bot dari layanan SEO

Layanan SEO Service tidak hanya digunakan oleh kompetitor, pemilik website juga bisa berlangganan untuk memonitoring performasi website melalui halaman audit, itu termasuk menemukan broken link, element halaman penghambat bot crawl dari mesin pencari, tautan spam dan sebagainya

Cara memblokir bot crawl dari SEO Service

Anda bisa menggunakan robots.txt untuk memblokir nama agen dari bot layanan SEO tertentu, kebanyakan webmaster memang menggunakan robots.txt karena dianggap lebih mudah, cepat dan instruksi baris kodenya jelas

Kalau nama botcrawl dari mesin pencari google adalah googlebot, mediapartners-google

Sementara kalau dari layanan SEO, Majestic SEO -> User-agent: MJ12bot, MOZ OpenSiteExplorer -> User-agent: rogerbot, Ahrefs -> User-agent: AhrefsBot, Semrush -> User-agent: SemrushBot

Kalau anda pakai platform blogger masuk ke menu setelan > crawler dan pengindeksan > aktifkan robots.txt > paste teks berikut :

User-agent: Rogerbot

User-agent: Exabot

User-agent: MJ12bot

User-agent: SemrushBot

User-agent: Dotbot

User-agent: Gigabot

User-agent: AhrefsBot

User-agent: BlackWidow

User-agent: ChinaClaw

User-agent: Custo

User-agent: DISCo

User-agent: Download\ Demon

User-agent: eCatch

User-agent: EirGrabber

User-agent: EmailSiphon

User-agent: EmailWolf

User-agent: Express\ WebPictures

User-agent: ExtractorPro

User-agent: EyeNetIE

User-agent: FlashGet

User-agent: GetRight

User-agent: GetWeb!

User-agent: Go!Zilla

User-agent: Go-Ahead-Got-It

User-agent: GrabNet

User-agent: Grafula

User-agent: HMView

User-agent: HTTrack

User-agent: Image\ Stripper

User-agent: Image\ Sucker

User-agent: Indy\ Library

User-agent: InterGET

User-agent: Internet\ Ninja

User-agent: JetCar

User-agent: JOC\ Web\ Spider

User-agent: larbin

User-agent: LeechFTP

User-agent: Mass\ Downloader

User-agent: MIDown\ tool

User-agent: Mister\ PiX

User-agent: Navroad

User-agent: NearSite

User-agent: NetAnts

User-agent: NetSpider

User-agent: Net\ Vampire

User-agent: NetZIP

User-agent: Octopus

User-agent: Offline\ Explorer

User-agent: Offline\ Navigator

User-agent: PageGrabber

User-agent: Papa\ Foto

User-agent: pavuk

User-agent: pcBrowser

User-agent: RealDownload

User-agent: ReGet

User-agent: SiteSnagger

User-agent: SmartDownload

User-agent: SuperBot

User-agent: SuperHTTP

User-agent: Surfbot

User-agent: tAkeOut

User-agent: Teleport\ Pro

User-agent: VoidEYE

User-agent: Web\ Image\ Collector

User-agent: Web\ Sucker

User-agent: WebAuto

User-agent: WebCopier

User-agent: WebFetch

User-agent: WebGo\ IS

User-agent: WebLeacher

User-agent: WebReaper

User-agent: WebSauger

User-agent: Website\ eXtractor

User-agent: Website\ Quester

User-agent: WebStripper

User-agent: WebWhacker

User-agent: WebZIP

User-agent: Wget

User-agent: Widow

User-agent: WWWOFFLE

User-agent: Xaldon\ WebSpider

User-agent: Zeus

Disallow: /

Setelah itu simpan dan cek apakah aturan robots.txt yang baru sudah diterapkan atau belum. Caranya cukup tambahkan /robots.txt dibelakang nama domain

Contoh: https://otobemoberodatiga.com/robots.txt

Bagi pengguna wordpress bisa disetting melalui file .htaccess, buka cpanel > file manager > temukan file .htaccess (kalau tidak ketemu buka menu settings > show hidden files)

Paste kode berikut dibawahnya :

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot

SetEnvIfNoCase User-Agent .*exabot.* bad_bot

SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot

SetEnvIfNoCase User-Agent .*dotbot.* bad_bot

SetEnvIfNoCase User-Agent .*gigabot.* bad_bot

SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot

SetEnvIfNoCase User-Agent .*sitebot.* bad_bot

<Limit GET POST HEAD>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

Setelah itu cek blog/website anda apakah sudah berhasil memblokir perayapan dari layanan service SEO intip backlink Ahrefs atau belum, 

Ceknya disini https://ahrefs.com/robot menyembunyikan backlink dari ahrefs, apa sudah diblokir ?

Yang lainnya ceknya disini :

https://www.semrush.com/bot/

https://www.mj12bot.com/

Persaingan sengit dalam dunia SEO memang tidak terelakkan lagi mengingat google hanya membatasi 10 hasil result terbaik disetiap halamannya, SEO bukan hanya tentang bagaimana mencapai halaman pertama google tetapi juga bagaimana menjadi lebih baik dari kompetitor anda saat ini

Kenapa statusnya masih allow?

Anda mungkin harus menunggu sampai 1x24 jam hingga penerapan robots.txt yang baru benar-benar diaplikasikan ke website/blog anda

Kenapa ketika dianalisis hasilnya tidak null, padahal botcrawlnya sudah diblokir?

Ini karena layanan SEO seperti Ahrefs masih menyimpan data anda dari hasil analisis sebelumnya

Demikian artikel mengenai cara memblokir perayapan bot dari layanan Service SEO Ahrefs, Majectis, Moz dan Semrush. Semoga apa yang saya bagikan bermanfaat terlepas dari pro dan kontra selama ini. Cara cepat menghasilkan uang dari blog/website adalah dengan banyak melakukan riset, mengambil apa yang terbaik dari kompetitor (footprint backlink, keyword) dan tentunya menjaga kesehatan website kita sendiri dengan layanan SEO Audit Tools. Baca juga : Format-gambar-terbaik-untuk-menjaga



Bagaimana Reaksi Anda Tentang Artikel Ini?

Komentar

POPULAR POST

MENILAI SEBUAH PRISTIWA JANGAN LEBAY

Setiap melihat dan menilai sebuah peristiwa, apakah dalam peristiwa itu membuat rasa spiritual dan rasa cinta kita kepadaNya bertambah? Ataukah justru kebencian dan dosa kita yang bertambah? Bagiku Basuki Tjahaya dan Habib Riziek adalah guru kehidupan sebagai pelajaran bagi diri kita dalam perjalanan kedalam diri. Mengapa kita sangat membenci salah satunya? bukankah keduanya diciptakan oleh Tuhan yang kita sembah setiap saat. Mari lihat lebih dalam daripada sekedar perbedaan yang kita ributkan selama ini. Apakah dengan membenci salah satunya kesucian kita akan meningkat? Apakah dengan menghujat seseorang itu artinya kita adalah orang yang lebih suci dari seseorang yang kita hujat? Apakah dengan mengutuk kegelapan, terang akan hadir ? Apakah dengan membenci panas, rasa panas akan hilang ? Apakah marah akan membuat suasana menjadi damai? Jika tidak, mengapa kita tidak belajar dan berlatih dikesempatan dalam peristiwa ini? Belajar mengurangi penghakim...

BERPIKIRAN TERBUKA DAPAT MENGEVALUASI DIRI

Pikiran terbuka menjadi jalan untuk dapat mengevaluasi diri sendiri. Melalui pikiran terbuka, anda mampu untuk menilai diri secara objektif. Pikiran terbuka tidak hanya mampu membuat orang lain sekitar anda bertahan dan merasa nyaman. Sebab, pikiran terbuka juga mendatangkan kebaikan bagi anda di masa mendatang. Berpikiran terbuka termasuk salah satu karakter wirausahawan sukses. Dengan mengembangkan pikiran terbuka, anda dapat mengambil hal positif yang berada di luar diri sendiri. Jika terbiasa berpikir positif, anda akan selalu melihat peluang di setiap kesempatan hidup. Seorang pekerja yang berorientasi sukses akan selalu memiliki pikiran terbuka untuk memunculkan ide-ide kreatif, aplikatif, serta penuh solusi. Berpikir terbuka pada hakikatnya sama dengan berpikir positif. Secara definitif, berfikir terbuka atau open minded  ialah memiliki kemampuan untuk menerima hal atau ide baru dan berbeda dari orang lain. Meskipun gagasan orang lain tampak buruk, dengan pikiran...

NAMUN AKU BUKAN AKU, BUKAN AKU ADALAH AKU

Hmmmm! jangan katakan bahwa aku adalah aku, aku bukan aku, bukan aku adalah aku. Meskipun kau adalah kau dan aku adalah aku. Namun aku bukan aku, bukan aku adalah aku. Batin dan zahirku adalah engkau, aku bukan aku, bukan aku adalah aku. Gaib dan kehadiranku adalah engkau, aku bukan aku, bukan aku adalah aku. #Ghazal Maulana Rumi dalam Divan Syams Tabrizi# Dalam syair diatas, Maulana Rumi ingin menjelaskan ada 'aku' yang palsu dan ada 'aku' yang asli. Namun tidak mudah menafikan 'aku' yang palsu tuk menemukan 'aku yang asli. Karena itu Rumi senantiasa mengulang-ngulangnya; aku bukan aku Bukan aku adalah aku. Aku palsu adalah aku yang senantiasa nampak. aku palsu adalah aku yang senantiasa menunjukkan identitasnya. Namun bukankah aku pasti menunjukkan identitasnya ? Bukankah identitas pasti menunjukkan aku ? Dan juga bukankah jika aku dinafikan bermakna tak ada lagi yang terlihat atau tak ada lagi identitas ? Maulana ingin men...

JANGAN TERLALU MEMBANGGAKAN IBADAHMU

Dari kisah sebelumnya bisa disimpulkan ilmu syareat yang saya pelajari dahulu tidaklah salah.. ilmu syareat itu benar.. hanya syareat tanpa tasawwuf sama saja kosong.. Sholat siang dan malam tapi sering menyakiti dan mendzalimi orang lain padahal Allah berfirman dalam hadits qudsi : “Wahai hamba-Ku, Aku telah mengharamkan kedzaliman atas diri-Ku dan Aku jadikan ia sebagai sesuatu yang haram di antara kalian. Karena itu, jangan kalian saling mendzalimi. Wahai hamba-Ku, kalian semua lapar kecuali yang telah  Aku beri makan. Wahai hamba-Ku kalian semua telanjang, kecuali yang Aku beri pakaian. Karena itu, mintalah pakaian kepada-Ku pasti akan Aku beri kalian pakaian. Wahai hamba-Ku, kalian senantiasa berbuat salah siang dan malam, sementara Aku mengampuni semua dosa kalian. Karena itu, mintalah ampunan kepada-Ku pasti Aku mengampuni kalian. Wahai hamba-Ku, kalian semua tidak akan bisa memberikan bahaya kepada-Ku sehingga mencelakakan-Ku dan tidak akan bisa memberikan manfa...

TIPS SEBELUM MEMUTUSKAN PENSIUN DINI

Hampir semua orang orang yang bekerja mendambakan pensiun dini yang sejahtera. Pensiun dini memiliki   keuntungan-keuntungan : 1.      Keuntungan Finansial. Memutuskan untuk pensiun dini, berpotensi mendapatkan uang pesangon yang lebih tinggi karena pada umumnya perusahaan menawarkan pesangon besar untuk banyak menarik minat para karyawannya guna kepentingan kepegawaiannya. 2.      Keuntungan Kesempatan. Pensiun dini memberikan kesempatan untuk memulai usaha baru, sebuah cita-cita banyak karyawan kantoran yang jarang sekali terwujud. 3.      Keuntungan Kesehatan. Pensiun dini juga memberikan manfaat kesehatan karena tidak mengalami stress yang terlalu besar akibat bekerja, kurang tidur, atau kurang waktu berolah-raga. Pertimbangkan sebelum mengambil pensiun Dini : 1. Tentukan Penghasilan Pengganti Setelah Pensiun. Pensiun bukan berakhirnya kehidupan, justru akan memasuki kehidupan babak baru. S...