APA ITU ROBOT.TXT PADA TEMPLATE WEBSITE? INILAH PENGERTIAN DAN FUNGSINYA APA ITU ROBOT.TXT PADA TEMPLATE WEBSITE? INILAH PENGERTIAN DAN FUNGSINYA - SUARA HARIAN OTO BEMO BERODA TIGA
Suara Harian Oto Bemo Beroda Tiga

Komunikasi, Media Ilmu & Pengetahuan Umum Blogging

Langsung ke konten utama

"OTO BEMO.. OTO BEMO.. BERODA TIGA .. TEMPAT BERHENTI.. DITENGAH TENGAH KOTA..PANGGIL NONA..PANGGIL NONA..NAIK KERETA..NONA BILANG..TIDAK PUNYA UANG.. JALAN KAKI SAJA"

APA ITU ROBOT.TXT PADA TEMPLATE WEBSITE? INILAH PENGERTIAN DAN FUNGSINYA

Anda mungkin pernah mendengar kata robots.txt sebenarnya ini merupakan file penting yang ada pada sebuah halaman web. File robots.txt akan memfilter web kita di mesin penelusuran. Kita dapat menampilkan dan menyembunyikan halaman, file, dokumen dan lainnya yanga da pada web kita dengan menggunakan file robots.txt ini.

Untuk pengguna wordpress misalnya, Anda perlu membuat sebuah file dengan nama robots.txt dan upload pada bagian root atau akar web Anda contoh : https://www.nama.com/robots.txt dan untuk isi dari file robots.txt Anda bisa menggunakan sesuai dengan kebutuhan Anda.

Sedangkan untuk pengguna blogspot Anda mungkin tidak bisa membuat sebuah file dan mengupload ke dalam server privadi layaknya wordpress, tetapi tenang saja blogger telah memberikan fitur khusus untuk membuat file robots.txt pada blogspot. Anda bisa mencobanya pada bagian setelan di blogger. Untuk mengetahui file robots.txt di blog sudah terpasang Anda bisa mengeceknya seperti ini. 

Contoh : https://otobemoberodatiga.blogspot.com/robots.txt dan untuk isi dari file robots.txt Anda bisa menyesuaikannya dengan kebutuhan Anda.

Apa Itu Robot.txt ?

File robots.txt adalah sebuah ketentuan untuk mencegah robot mesin telusur mengakses seluruh atau sebagian situs web. Robot ini biasanya digunakan untuk mengontrol halaman-halaman tertentu agar tidak di index oleh spider mesin pencari, sehingga halaman tersebut tidak akan muncul pada hasil penelusuran.

File robots.txt berisi sebagian kecil perintah yang dapat menunjukan akses ke situs berdasarkan bagian dan berdasarkan jenis perayapnya misalnya perayap seluler dan perayap desktop. Robots.txt ditemukan oleh Martijn Koster pada tahun 1994 saat bekerja di WebCrawler. Dengan adanya robots.txt ini tentunya dapat membantu kita dalam memaksimalkan web asalhkan kita paham dalam penggunaan file robots.txt ini.

Apa Fungsi File Robots.txt ?

Fungsi file robots.txt adalah untuk mengontrol robot mesin telusur dalam melakukan perayapan dan indeksing sebuah halaman web. Dengan file robots.txt kita bisa mengontrol apakah suatu halaman web itu akan di indeks oleh robot mesin telusur dan tampil pada hasil penelusuran ataukah sebaliknya. Nah, jadi kita harus berhati-hati dalam penggunaan robots.txt kalau sampai salah bisa-bisa halaman yang ingin kita indeks malah tidak diindeks ataupun sebaliknya.

Isi File Robot.txt Standar (Untuk Blogger)

Untuk memasang robots.txt di blogger Anda tinggal masuk pada bagian Setelan > Preferensi Penelusuran. Berikut saya berikan contoh file robots.txt default yang standar dan banyak di gunakan oleh blogger.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://otobemoberodatiga.blogspot.com/feeds/posts/default?orderby=UPDATED

Catatan :

https://otobemoberodatiga.blogspot.com silahkan ganti dengan URL blog Anda

Isi File Robot.txt Standar (Untuk WordPress)

Untuk robots.txt wordpress Anda bisa menginstal plugin yang ada, tetapi jika Anda ingin menggunakan file robots.txt manual Anda bisa mencobanya dengan menggunakan file robots.txt dibawah ini. Untuk memasang file robots.txt ini di wordpress Anda perlu memasukkan file robot.txt ini kedalam notepad lalu simpan dengan nama robot.txt setelah itu upload ke cPanel dibagian root atau di Manager File.

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /cgi-bin/

Disallow: /wp-content/

Disallow: /archives/

Disallow: /*?*

Disallow: *?replytocom

Disallow: /author

Disallow: /comments/feed/

Disallow: */trackback/

Disallow: /wp-*

 

User-agent: Mediapartners-Google*

Allow: /

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

User-agent: Adsbot-Google

Allow: /

 

User-agent: Googlebot-Mobile

Allow: /

 

Sitemap: https://www.nama.com/sitemap.xml

Catatan :

- https://www.nama.com/ silahkan ganti dengan URL web Anda

Penjelasan Bagian-bagian File Robots.txt

Dari beberapa file robots.txt yang ada mungkin Anda masih belum paham mengenai bagian-bagian yang Ada pada file robots.txt oleh karena itu dibawah ini akan saya jelaskan beberapa bagian atau kode yang ada pada file robots.txt.

User-agent : Mediapartners-Google ini berarti bahwa kode yang berada dibawahnya hanya berlaku untuk robot crawler Mediapartners-Google saja. Mediapartners-Google adalah robot crawler untuk google adsense.

Disallow : ini berarti tidak diperbolehkan untuk merayapi halaman tersebut. Tetapi Disallow tersebut tidak memiliki nilai sehingga tidak ada yang di cekal oleh robot crawler.

User-agnet : * ini berarti bahwa kode yang berada dibawahnya berlaku untuk semua robot crawler. Tanda * yang berarti berlaku untuk semua robot mesin telusur.

Disallow : /search ini berarti semua halaman yang memiliki URL /search tidak diperbolehkan untuk di rayapi oleh robot crawler.

Allow : / ini berarti bahwa semua URL boleh di rayapi robot crawler, kecuali yang berada pada perintah Disallow. Tanda / dapat diartikan sebagai URL beranda sebuah situs web.

Sitemap : https://www.nama.com/feeds/posts/default?orderby=UPDATED

Sitemap atau alamat feed blog. Sitemap ini akan membantu robot crawler dalam merayapi dan mengindeks setiap konten yang di terbitkan.

Itulah penjelasan dari apa itu robots.txt dan bagaimana fungsinya. Semoga dengan artikel ini dapat membantu Anda dalam mengenal file robots.txt yang ada pada web blog Anda sehingga kita dapat memaksimalkan lagi situs web yang kita miliki. Jadi, file robots.txt ini sangat peting sekali untuk mengontrol atau melakukan filtrasi/penyaringan situs web kita pada mesin penelusuran. Baca Juga : Kamu-mungkin-sering-menemukan-kata



Bagaimana Reaksi Anda Tentang Artikel Ini?

Komentar

  1. Cara terakhir untuk mempercepat index Google adalah membangun backlink yang berkualitas. Backlink adalah link dari website lain yang mengarah ke website-mu.

    BalasHapus

Posting Komentar

SILAKAN KOMENTAR SESUAI TOPIK.....

POPULAR POST

MENGAPA GOSIP DIKANTOR MEMBUNUH PRODUKTIVITAS

Mengapa Gosip di Kantor Membunuh Produktivitas? Bermula dari satu hal, satu orang ke orang lainnya lambat laun sebuah infomasi terus bertambah kontennya. Informasi tersebut akhirnya berubah menjadi gosip. Gosip di kantor merupakan hal yang tidak bisa dipastikan kebenarannya. Seringkali hal tersebut justru dimulai dari rasa iri hati, frustrasi, kurang percaya diri, bahkan yang terburuk adalah candaan semata. Itu tentu saja berdampak sangat buruk. Tidak hanya bagi orang yang menjadi bahas pembicaraan, namun juga bagi pembicara. Jika diibaratkan dengan sepasang kayu dan paku. Paku sebagai rumor buruk yang Anda bicarakan dan kayu sebagai orang yang dibicarakan. Anda memukulkan paku tersebut kepada kayu hingga menyakitinya. Bahkan meskipun Anda telah mencabut paku tersebut, lubang tersebut masih saja tersisa. Seperti inilah luka yang diakibatkan oleh rumor buruk yang Anda perbuat terhadap seseorang. Membicarakan hal buruk mengenai sesama kita dapat menyebabkan sakit hati bagi s...

DELAPAN INDIKATOR BLOG DIANGGAP SPAM DAN DIHAPUS OLEH GOOGLE

Untuk situs berita dan belanja otomotif, lihat Weblogs, Inc. Untuk spamming yang dilakukan melalui komentar di blog yang sah, lihat Spam di blog. Blog spam, juga dikenal sebagai blog otomatis atau splog neologisme, adalah blog yang penulis gunakan untuk mempromosikan situs web terafiliasi, untuk meningkatkan peringkat mesin telusur dari situs terkait, atau sekadar menjual tautan/iklan. Tujuan dari splog bisa untuk meningkatkan PageRank atau portofolio backlink situs afiliasi, untuk meningkatkan tayangan iklan berbayar dari pengunjung (lihat blog dibuat untuk AdSense atau MFA), dan/atau menggunakan blog sebagai outlet tautan untuk menjual tautan atau membuat situs baru diindeks. Blog spam biasanya merupakan jenis situs pengikis, di mana konten sering berupa teks yang tidak asli atau hanya dicuri (lihat pengikisan blog) dari situs web lain. Blog-blog ini biasanya berisi sejumlah besar tautan ke situs-situs yang terkait dengan pembuat splog yang sering kali merupakan situs web yang tidak ...

CARA MEMASANG WIDGET ARTIKEL TERBARU THUMBNIL PADA HALAMAN BLOG

Navigasi judul pada blog sangatlah penting, dengan adanya navigasi pembaca dapat dengan mudah melihat semua isi dari blog tersebut. selain itu juga pembaca menjadi lebih nyaman karena tidak perlu bingung jika ingin mencari artikel lainnya. salah satu widget yang dapat membantu navigasi pada blog adalah widget artikel terbaru.  Bagi seorang blogger, ada beberapa komponen yang perlu diperhatikan saat membuat dan mengelola apa yang disuguhkan dalam isi blognya. Agar pengunjung tertarik dengan isi blog kita dan betah berlama-lama membacanya, kita mesti memaksimalkan fitur-fitur widget yang telah tersedia, termasuk di antaranya yaitu pemasangan halaman widget Recent Post/ Artikel Terbaru/   Postingan Terbaru. Keuntungan dari memasang widget ini adalah pengunjung dapat melihat dan memilih artikel-artikel terbaru dari blog kita. Dengan adanya widget recent post ini, pengunjung akan dibuat penasaran untuk membaca artikel-artikel lain dari blog kita.  Untuk tampilannya sendir...

Privacy Policy

Kebijakan Privasi SUARA HARIAN OTO BEMO BERODA TIGA Di SUARA HARIAN OTO BEMO BERODA TIGA, dapat diakses dari https://otobemoberodatiga.blogspot.com, salah satu prioritas utama kami adalah privasi pengunjung kami. Dokumen Kebijakan Privasi ini berisi jenis informasi yang dikumpulkan dan dicatat oleh SUARA HARIAN OTO BEMO BERODA TIGA dan bagaimana kami menggunakannya. Jika Anda memiliki pertanyaan tambahan atau memerlukan informasi lebih lanjut tentang Kebijakan Privasi kami, jangan ragu untuk menghubungi kami. File Log SUARA HARIAN OTO BEMO BERODA TIGA mengikuti prosedur standar menggunakan file log. File-file ini mencatat pengunjung ketika mereka mengunjungi situs web. Semua perusahaan hosting melakukan ini dan merupakan bagian dari analisis layanan hosting. Informasi yang dikumpulkan oleh file log termasuk alamat protokol internet (IP), jenis browser, Penyedia Layanan Internet (ISP), cap tanggal dan waktu, halaman rujukan/keluar, dan mungkin jumlah klik. Ini tidak terkait dengan infor...

SUARA HARIAN OTO BEMO BERODA TIGA

KATA PENGANTAR  Puji syukur kami panjatkan kehadirat Tuhan Yang Maha Esa karena dengan rahmat, karunia, serta taufik dan hidayah-Nya saya dapat membuat blog/site tentang apa saja yang menarik bagi penggemar membaca dengan baik meskipun banyak kekurangan didalamnya. Dan juga kami berterima kasih pada Bapak, Ibu, Saudara (i) selaku pelanggan Suara Harian Oto Bemo Beroda Tiga yang telah memberikan masukan kepada saya. Tak lupa juga ucapan terima kasih kepada teman - teman blogger telah ikut turut serta membantu dalam proses pemblo gingan ini. Saya juga menyadari sepenuhnya bahwa di dalam dunia bloging ini terdapat kekurangan dan jauh dari kata sempurna. Oleh sebab itu, saya berharap adanya kritik, saran dan usulan demi perbaikan blog/site yang telah saya buat untuk di masa yang akan datang, mengingat tidak ada sesuatu yang sempurna tanpa saran yang membangun. Semoga blog/site sederhana ini dapat dipahami bagi siapapun yang membacanya. Secara struktur, sistematis dan masif blog/site ya...