08.52
miftahshidiq
Robots.txt memiliki peran penting dalam asebilitas sebuah situs. Ada bagian yang bisa di bagi untuk umum dan ada bagian yang sangat privat dan tidak untuk dibagi kepada pengguna internet lainnya yang melakukan pencarian di search engine. Keputusan untuk tidak mempublikasikan suatu file tertentu pada sebuah situs sangatlah bermanfaat seperti halaman khusus login cms blog maupun halaman login ke cpanel hosting tidak perlu untuk di index, kalau bisa halaman ini jangan sampai diketahui oleh orang lain agar blog lebih aman dari tindakan yang merugikan. Manfaat lainnya, untuk melindungi berbagai macam script seperti script cms dan widget.
Dalam hal optimasi SEO, kemampuan Robots.txt yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa kita manfaatkan untuk mengarahkan spider bot pada halaman penting seperti halaman konten agar konten tersebut cepat terindex oleh search engine.
Saat spider bot memutuskan untuk mengcrawl situs, situs akan kehilangan bandwidth dalam jumlah yang tidak sedikit. Bila beberapa directory tertentu misal pada directory search kita batasi aksesnya maka ini akan menghemat bandwidth dan kegagalan spider bot dalam mengcrawl blog kita karena akses situs yang kurang baik akan teratasi sehingga spider bot bisa dengan leluasa merayapi seluruh isi konten sampai tuntas.
Di lain sisi bila halaman index yang di dapat search engine pada sebuah situs dinilai sangat berkualitas maka situs tersebut akan memiliki peluang besar untuk masuk halaman pertama. Hal ini akan berbeda jauh hasilnya dibandingkan dengan situs yang memiliki banyak halaman index namun dengan konten yang kurang berkualitas dan cenderung hanya menampilkan banyak link didalamnya contonya situs AGC.
Definisi AGC :
Auto Generate Content Atau sering juga di sebut AGC adalah sebuah upaya untuk mengisi dan membuat halaman situs dengan cara otomatis, Biasanya Konten Di ambil dari Google Api, Yahoo Api, Bing Api, auto generate content sangat marak pada awal tahun 2010 sampai sekarang, pada situs AGC yang nakal, pengunjung akan di buat berputar putar di dalam sebuah website tanpa ujung,
Auto Generate Content pada awalnya di buat dengan CMS Wordpress dengan memanfaatkan directory search sebagai cikal bakal berkembangnya situ AGC, permalink search pada wordpress dapat di ubah dengan mudah dengan mengubah file rewrite.php dan mengganti bagian $search_base = ‘search’ menjadi kata lain misalan topik, web dll, sehingga kemudian permalink search pada wordpress yang di pasangi script AGC menjadi doaminbsitus.com/topik/katakunci+katakunci+katakunci/.
Keberadaan situs AGC ini memang cukup mengganggu para pengguna internet khususnya yang mencari informasi melalui mesin pencari terutama google, karena mereka tidak akan mendapatkan apapun di situs/blog AGC kecuali hasil pencarian juga yang sebetulnya di generate dari google juga, Para blogger yang menulis secara manualpun mulai merasa risih karena konten mereka tiba tiba ada di situs yang memasang script AGC.
Para pembuat situs AGC umumnya berdalih bahwa ia hanya meniru google yang juga merupakan situs AGC, tapi mereka tidak menyadari bahwa halaman serp (Search Engine Result Page) milik google tidak di index oleh mesin pencari manapun, dan google memang tidak mengharapkan traffic dari mesin pencari ke situs halaman serp google.
Pada Awal tahun 2011, google mulai melakukan banned terhadap situs situs yang menggunakan AGC dari serp google, namun tidak semua situs AGC di ban, terbukti sekarang masih banyak situs-situs AGC yang berada di urutan teratas (posisi Serp) untuk kata kunci tertentu.
Sementara itu, perkembangan situs AGC semakin sulit di kenali, dan nampak seperti konten asli, pembuat AGC yang semula memanfaatkan search.php pada CMS wordpress mulai beralih ke 404.php pada cms wordpress, sehingga permalink AGC pun berubah menjadi domainblog.com/katakunci+katakunci+katakunci/ dan ini makin menyulitkan pengunjung untuk membedakan mana halaman AGC dan Mana yang bukan.
Auto Generate Content pada awalnya di buat dengan CMS Wordpress dengan memanfaatkan directory search sebagai cikal bakal berkembangnya situ AGC, permalink search pada wordpress dapat di ubah dengan mudah dengan mengubah file rewrite.php dan mengganti bagian $search_base = ‘search’ menjadi kata lain misalan topik, web dll, sehingga kemudian permalink search pada wordpress yang di pasangi script AGC menjadi doaminbsitus.com/topik/katakunci+katakunci+katakunci/.
Keberadaan situs AGC ini memang cukup mengganggu para pengguna internet khususnya yang mencari informasi melalui mesin pencari terutama google, karena mereka tidak akan mendapatkan apapun di situs/blog AGC kecuali hasil pencarian juga yang sebetulnya di generate dari google juga, Para blogger yang menulis secara manualpun mulai merasa risih karena konten mereka tiba tiba ada di situs yang memasang script AGC.
Para pembuat situs AGC umumnya berdalih bahwa ia hanya meniru google yang juga merupakan situs AGC, tapi mereka tidak menyadari bahwa halaman serp (Search Engine Result Page) milik google tidak di index oleh mesin pencari manapun, dan google memang tidak mengharapkan traffic dari mesin pencari ke situs halaman serp google.
Pada Awal tahun 2011, google mulai melakukan banned terhadap situs situs yang menggunakan AGC dari serp google, namun tidak semua situs AGC di ban, terbukti sekarang masih banyak situs-situs AGC yang berada di urutan teratas (posisi Serp) untuk kata kunci tertentu.
Sementara itu, perkembangan situs AGC semakin sulit di kenali, dan nampak seperti konten asli, pembuat AGC yang semula memanfaatkan search.php pada CMS wordpress mulai beralih ke 404.php pada cms wordpress, sehingga permalink AGC pun berubah menjadi domainblog.com/katakunci+katakunci+katakunci/ dan ini makin menyulitkan pengunjung untuk membedakan mana halaman AGC dan Mana yang bukan.
Sumber : Wikipedia
| Semoga Artikel ini bermanfaat untuk sobatMiev |
Posted in: 
0 komentar:
Posting Komentar