SEO的世界里,robots.txt文件是個(gè)小管家,告訴搜索引擎哪些內(nèi)容能抓,哪些不能。但新站上線時(shí),這個(gè)小管家可能讓你頭疼。年初,我負(fù)責(zé)的網(wǎng)站剛建好,內(nèi)容還沒(méi)全,就用了robots.txt把根目錄全屏蔽了。一個(gè)月后,內(nèi)容差不多了,我開(kāi)放了抓取,結(jié)果百度就是不收錄,谷歌和搜狗卻收錄了一堆。看來(lái)百度的小管家反應(yīng)有點(diǎn)慢。
兩個(gè)月前,我又建了個(gè)新站,也是先屏蔽后開(kāi)放,結(jié)果百度到現(xiàn)在還沒(méi)收錄,谷歌卻收錄了93條,搜狗和360也收錄了一些。這讓我對(duì)百度的小管家徹底無(wú)語(yǔ)了。
前兩天,群里的烏鴉大神也分享了類似經(jīng)歷。疊玉科技SEO提醒大家,新站最好在本地建好、內(nèi)容填好再上傳,別急著上傳后加robots.txt。否則,百度的小管家可能幾個(gè)月都不給你收錄,影響網(wǎng)站優(yōu)化周期。
由上海SEO上海疊玉科技原創(chuàng),轉(zhuǎn)載請(qǐng)保留。疊玉科技期待與大家探討SEO技術(shù),共話職業(yè)發(fā)展和人生夢(mèng)想。