CARA MENYEMBUNYIKAN BACKLINK DARI AHREFS, SEMRUSH, MOZ DAN MAJECTIC DARI INTIPAN CARA MENYEMBUNYIKAN BACKLINK DARI AHREFS, SEMRUSH, MOZ DAN MAJECTIC DARI INTIPAN - SUARA HARIAN OTO BEMO BERODA TIGA
Suara Harian Oto Bemo Beroda Tiga

Komunikasi, Media Ilmu & Pengetahuan Umum Blogging

Langsung ke konten utama

"OTO BEMO.. OTO BEMO.. BERODA TIGA .. TEMPAT BERHENTI.. DITENGAH TENGAH KOTA..PANGGIL NONA..PANGGIL NONA..NAIK KERETA..NONA BILANG..TIDAK PUNYA UANG.. JALAN KAKI SAJA"

CARA MENYEMBUNYIKAN BACKLINK DARI AHREFS, SEMRUSH, MOZ DAN MAJECTIC DARI INTIPAN

Pada postingan kali ini saya akan berbagi tips memblokir perayapan bot crawl dari alat-alat SEO seperti ahrefs, majestic, moz dan semrush yang biasa dipakai oleh mastah-mastah untuk melihat footprint backlink, keyword potensial pada suatu website/blog. 

Siapa sih yang suka di intipin? risih kali ya kalau tiba-tiba muncul similiar site yang isinya mengambil apa yang terbaik dari website/blog kita doang khususnya pada artikel-artikel yang potensial mendatangkan trafik, tentunya ini bisa mengurangi kunjungan organik karena keyword kita ditiru oleh pesaing-pesaing apalagi kalau mereka memakai AGC mungkin peringkat anda bisa tersingkir dari halaman pertama google

Blogger jaman sekarang pinter-pinter, yang dulunya sekedar asal ngeblog kini hanya fokus membuat konten yang bisa mendulang keuntungan. Kebanyakan tutorial diforum-forum telah membahas penggunaan layanan SEO seperti ahrefs, semrush, moz dan majestic untuk mengintip backlink kompetitor, mengetahui daftar kata kunci bertrafic dengan tingkat persaingan middle pada situs kompetitor dan membongkar berbagai kelemahan lainnya

Karena hampir sebagian orang sudah melek internet, cepat atau lambat sebagai blogger mereka akan segera beradaptasi dengan layanan SEO service semacam ini. 

Sama dengan google yang menggunakan botcrawl untuk merayapi situs anda.

Layanan service SEO dari ahrefs, majestic, moz dan semrush juga menggunakan botcrawl untuk mengumpulkan data situs anda. Sebenarnya perilaku dari botcrawl bisa kita atur melalui robots.txt atau htaccess.. kita dapat menolak crawling yang berasal dari layanan service SEO seperti ahrefs, moz, semrush dan majestic dengan mudah tanpa harus takut kehilangan visibilitas digoogle.

Cara botcrawl bekerja

Bot bekerja dengan cara merayapi seluruh bagian halaman/url dari website anda untuk mengumpulkan data-data penting seperti perubahan konten, tautan perujuk/backlink, popular keywords, halaman baru dan sebagainya. Keberadaan botcrawl juga sering disebut dengan istilah crawl frontier

Keuntungan memblokir bot dari layanan SEO

Kompetitor tidak akan bisa melihat data-data dari situs anda seperti daftar backlink, trafik, skor domain, keyword potensial dan sebagainya. Kasian juga kalau kompetitor anda berlangganan paket lite $99/minggu diAhrefs kalau tidak bisa dipakai untuk menganalisis situs anda hehe

Kekurangan memblokir bot dari layanan SEO

Layanan SEO Service tidak hanya digunakan oleh kompetitor, pemilik website juga bisa berlangganan untuk memonitoring performasi website melalui halaman audit, itu termasuk menemukan broken link, element halaman penghambat bot crawl dari mesin pencari, tautan spam dan sebagainya

Cara memblokir bot crawl dari SEO Service

Anda bisa menggunakan robots.txt untuk memblokir nama agen dari bot layanan SEO tertentu, kebanyakan webmaster memang menggunakan robots.txt karena dianggap lebih mudah, cepat dan instruksi baris kodenya jelas

Kalau nama botcrawl dari mesin pencari google adalah googlebot, mediapartners-google

Sementara kalau dari layanan SEO, Majestic SEO -> User-agent: MJ12bot, MOZ OpenSiteExplorer -> User-agent: rogerbot, Ahrefs -> User-agent: AhrefsBot, Semrush -> User-agent: SemrushBot

Kalau anda pakai platform blogger masuk ke menu setelan > crawler dan pengindeksan > aktifkan robots.txt > paste teks berikut :

User-agent: Rogerbot

User-agent: Exabot

User-agent: MJ12bot

User-agent: SemrushBot

User-agent: Dotbot

User-agent: Gigabot

User-agent: AhrefsBot

User-agent: BlackWidow

User-agent: ChinaClaw

User-agent: Custo

User-agent: DISCo

User-agent: Download\ Demon

User-agent: eCatch

User-agent: EirGrabber

User-agent: EmailSiphon

User-agent: EmailWolf

User-agent: Express\ WebPictures

User-agent: ExtractorPro

User-agent: EyeNetIE

User-agent: FlashGet

User-agent: GetRight

User-agent: GetWeb!

User-agent: Go!Zilla

User-agent: Go-Ahead-Got-It

User-agent: GrabNet

User-agent: Grafula

User-agent: HMView

User-agent: HTTrack

User-agent: Image\ Stripper

User-agent: Image\ Sucker

User-agent: Indy\ Library

User-agent: InterGET

User-agent: Internet\ Ninja

User-agent: JetCar

User-agent: JOC\ Web\ Spider

User-agent: larbin

User-agent: LeechFTP

User-agent: Mass\ Downloader

User-agent: MIDown\ tool

User-agent: Mister\ PiX

User-agent: Navroad

User-agent: NearSite

User-agent: NetAnts

User-agent: NetSpider

User-agent: Net\ Vampire

User-agent: NetZIP

User-agent: Octopus

User-agent: Offline\ Explorer

User-agent: Offline\ Navigator

User-agent: PageGrabber

User-agent: Papa\ Foto

User-agent: pavuk

User-agent: pcBrowser

User-agent: RealDownload

User-agent: ReGet

User-agent: SiteSnagger

User-agent: SmartDownload

User-agent: SuperBot

User-agent: SuperHTTP

User-agent: Surfbot

User-agent: tAkeOut

User-agent: Teleport\ Pro

User-agent: VoidEYE

User-agent: Web\ Image\ Collector

User-agent: Web\ Sucker

User-agent: WebAuto

User-agent: WebCopier

User-agent: WebFetch

User-agent: WebGo\ IS

User-agent: WebLeacher

User-agent: WebReaper

User-agent: WebSauger

User-agent: Website\ eXtractor

User-agent: Website\ Quester

User-agent: WebStripper

User-agent: WebWhacker

User-agent: WebZIP

User-agent: Wget

User-agent: Widow

User-agent: WWWOFFLE

User-agent: Xaldon\ WebSpider

User-agent: Zeus

Disallow: /

Setelah itu simpan dan cek apakah aturan robots.txt yang baru sudah diterapkan atau belum. Caranya cukup tambahkan /robots.txt dibelakang nama domain

Contoh: https://otobemoberodatiga.com/robots.txt

Bagi pengguna wordpress bisa disetting melalui file .htaccess, buka cpanel > file manager > temukan file .htaccess (kalau tidak ketemu buka menu settings > show hidden files)

Paste kode berikut dibawahnya :

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot

SetEnvIfNoCase User-Agent .*exabot.* bad_bot

SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot

SetEnvIfNoCase User-Agent .*dotbot.* bad_bot

SetEnvIfNoCase User-Agent .*gigabot.* bad_bot

SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot

SetEnvIfNoCase User-Agent .*sitebot.* bad_bot

<Limit GET POST HEAD>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

Setelah itu cek blog/website anda apakah sudah berhasil memblokir perayapan dari layanan service SEO intip backlink Ahrefs atau belum, 

Ceknya disini https://ahrefs.com/robot menyembunyikan backlink dari ahrefs, apa sudah diblokir ?

Yang lainnya ceknya disini :

https://www.semrush.com/bot/

https://www.mj12bot.com/

Persaingan sengit dalam dunia SEO memang tidak terelakkan lagi mengingat google hanya membatasi 10 hasil result terbaik disetiap halamannya, SEO bukan hanya tentang bagaimana mencapai halaman pertama google tetapi juga bagaimana menjadi lebih baik dari kompetitor anda saat ini

Kenapa statusnya masih allow?

Anda mungkin harus menunggu sampai 1x24 jam hingga penerapan robots.txt yang baru benar-benar diaplikasikan ke website/blog anda

Kenapa ketika dianalisis hasilnya tidak null, padahal botcrawlnya sudah diblokir?

Ini karena layanan SEO seperti Ahrefs masih menyimpan data anda dari hasil analisis sebelumnya

Demikian artikel mengenai cara memblokir perayapan bot dari layanan Service SEO Ahrefs, Majectis, Moz dan Semrush. Semoga apa yang saya bagikan bermanfaat terlepas dari pro dan kontra selama ini. Cara cepat menghasilkan uang dari blog/website adalah dengan banyak melakukan riset, mengambil apa yang terbaik dari kompetitor (footprint backlink, keyword) dan tentunya menjaga kesehatan website kita sendiri dengan layanan SEO Audit Tools. Baca juga : Format-gambar-terbaik-untuk-menjaga



Bagaimana Reaksi Anda Tentang Artikel Ini?

Komentar

POPULAR POST

NAMUN AKU BUKAN AKU, BUKAN AKU ADALAH AKU

Hmmmm! jangan katakan bahwa aku adalah aku, aku bukan aku, bukan aku adalah aku. Meskipun kau adalah kau dan aku adalah aku. Namun aku bukan aku, bukan aku adalah aku. Batin dan zahirku adalah engkau, aku bukan aku, bukan aku adalah aku. Gaib dan kehadiranku adalah engkau, aku bukan aku, bukan aku adalah aku. #Ghazal Maulana Rumi dalam Divan Syams Tabrizi# Dalam syair diatas, Maulana Rumi ingin menjelaskan ada 'aku' yang palsu dan ada 'aku' yang asli. Namun tidak mudah menafikan 'aku' yang palsu tuk menemukan 'aku yang asli. Karena itu Rumi senantiasa mengulang-ngulangnya; aku bukan aku Bukan aku adalah aku. Aku palsu adalah aku yang senantiasa nampak. aku palsu adalah aku yang senantiasa menunjukkan identitasnya. Namun bukankah aku pasti menunjukkan identitasnya ? Bukankah identitas pasti menunjukkan aku ? Dan juga bukankah jika aku dinafikan bermakna tak ada lagi yang terlihat atau tak ada lagi identitas ? Maulana ingin men...

CARA MELAKUKAN KADERISASI DENGAN MEMILIH KARYAWAN TERBAIK

CARA MELAKUKAN KADERISASI DENGAN MEMILIH KARYAWAN TERBAIK Salah satu hal yang sulit di dalam sebuah usaha adalah mencari karyawan yang sesuai dengan keinginan atau kriteria Anda yang tentunya berkualitas dan mampu dalam menjalankan tugasnya. Mencari orang yang tepat membutuhkan sebuah konsentrasi yang cukup tinggi dan juga pengalaman yang banyak. Ketika usaha Anda masih baru, tetapi permintaan pasar semakin besar maka Anda pasti membutuhkan beberapa karyawan. Oleh karena itu ada beberapa langkah dan cara melakukan kaderisasi yang dapat Anda gunakan untuk mempermudah di dalam mendapatkan karyawan yang berkualitas sesuai dengan keinginan dan kriteria, antara lain sebagai berikut : Menentukan kualifikasi Sebelum mencari karyawan, Anda harus menentukan sebuah kualifikasi terlebih dahulu atau dengan cara melakukan kaderisasi. Karena pada setiap posisi di dalam usaha tentu membutuhkan seseorang dengan kualitas tertentu. Contohnya pada saat Anda mencari marketing, maka harus me...

CARA MEMBUAT MENU NAVIGASI STICKY ALIAS FIX DIBAWAH /HEAD>

Home CSS  html  JavaScript  menu  navigasi, serial tutorial khusus, cara membuat menu sticky cocok untuk tempalte Essential, Contempo, Emporio, Soho, dan Notable, namun Notable hasil kurang mantap. Mari kita coba sticky Menu Navigasi dibawah ini, dan membuktikan apakah kita dapat menerapkannya pada template blogger kita. Perhatikan cara membuatnya: Sebaiknya back up template anda terlebih dahulu untuk berjaga jaga Masuk ke pengaturan blogger Pilih Tema Pilih opsi editHTML Langkah pertama: Cari kode </head> lalu copy kode dibawah ini dan pastekan dibawah </head> . <div id="navbar"> <a href="#home">Home</a> <a href="#news">News</a> <a href="#contact">Contact</a> </div> Langkah kedua: Cari kode ]]></b:skin> lalu copy kode dibawah ini dan pastekan diatas kode tadi. Jika ingin merubah background color, maka bisa diganti warna sesuai selera anda yang ditandai berwarna background colo...

PENGERTIAN MANAJEMEN MENURUT PARA AHLI

Pengertian Manajemen Menurut Para Ahli Mary Parker F. "Pengertian manajemen adalah sebagai suatu seni, tiap tiap pekerjaan bisa diselesaikan dengan orang lain." George R. Terry "Definisi Manajemen merupakan ilmu sekaligus seni, manajemen adalah wadah didalam ilmu pengetahuan, sehingga manajemen bisa dibuktikan secara umum kebenarannya." Koontz "Manajemen adalah suatu seni yang produktif yang didasarkan pada suatu pemahaman ilmu." Koontz menambahkan, ilmu dan seni tidaklah bertentangan, namun masing masing saling melengkapi. Stoner "Ilmu Manajemen merupakan proses dalam membuat suatu perencanaan, pengorganisasian, pengendalian serta memimpin berbagai usaha dari anggota organisasi dan juga menggunakan semua sumber daya yang dimiliki untuk mencapai tujuan yang ditetapkan." Wilson "Manajemen adalah sebagai sebuah rangkaian tindakan yang dilakukan oleh para anggota organisasi dalam upaya mencapai sasaran organisasi. Pros...

ABU NAWAS KUAH DIBALAS MAKJUN

Abu Nawas, Kuah Dibalas Makjun Di mata Khalifah Harun al-Rasyid figur Abu Nawas memang lihai, dia tidak hanya lucu tetapi juga bijaksana sehingga tidak dapat dipandang enteng. Di satu pihak hal itu sangat membanggakan khalifah, tetapi di lain pihak, sangat menjengkelkannya, karena ia suka kurang ajar dan tidak tahu diri. Oleh karena itu baginda tidak pernah berhenti memeras otak untuk dapat membalas Abu Nawas. Pada suatu hari di bulan Rabiulawal, baginda khalifah tersenyum simpul sendiri sambil bergumam, “Awas kau, Abu Nawas, kali ini pasti kena.” Seperti biasa setiap bulan Rabiulawal, Sultan Harun Al-Rasyid menyelenggarakan acara Maulid Nabi di istana. Pada saat itu semua pembesar negeri hadir termasuk putra-putra mahkota dari negeri-negeri sekitarnya, tapi Abu Nawas tidak tampak. “Panggil dia kemari,” perintah khalifah kepada punggawa. Setelah Abu Nawas datang menghadap, dimulailah acara hari itu. Semua hadirin dipersilahkan berdiri, kemudian masing-masing disirami...