ちょっと業を煮やすことがあり、Googleに保存されているいくつかの記事のキャッシュを削除するよう申請したのが2月の19日。
申請に必要な要件としてGoogleのヘルプにも記載があるように、テンプレートのヘッダ部分にnoarchiveを追加。その後はクローラーによるキャッシュの収集はなくなりました。
それはそれで良いのですが、2~3日して確認すると、これまで検索結果の上位に表示されていたコンテンツが軒並み消えていますね。
それも掲載順位が下がったなんてレベルじゃなくて、記事の多くは似たようなサイトとして最終ページ以降にまとめられてしまいました。
![]() |
また、記事のタイトルをコピー&ペーストして検索した場合はおおむね最上位に表示されていましたが、それも10ページ目以降にやっと出て来る始末です。
これ、何ですかね?
Googleのヘルプを読み漁ってみたところ、何らかの違反行為があった場合はペナルティが課せられると書かれています。その場合はサイトのタイトルやURLをそのまま検索してみて、それでも下位に表示されていればという注釈が付いています。
ですが、私のブログにその現象は確認されませんでした。
ということは他に何か理由があるということですが、いきなり掲載順位が大幅に下がったあたりで何をしたかと言えば、上記の「キャッシュ削除申請」と、後はウェブマスターツールにブログを登録したくらいのことです。
ちょっと思い当たるフシとしては、会社のサイトもウェブマスターツールに登録してサイトマップを送信してから検索結果の掲載順位が下がりましたので、もしかしたらそっちかな?とも思ったりもしますが、どうなんでしょうね。
ちなみに、上記の件についてググってみても、キャッシュを削除したら掲載順位が下がるとか、noarchiveしたら後回しになるとか、サイトマップを送信したらどうなるとか、そういった文献は見当たりませんでした。
ともあれ、消して欲しいキャッシュの削除は完了していますし、サーチエンジンから来て欲しくない6つの記事はURLを変更してnoindexを指定してありますので、ここらで一旦元に戻してみようかと。
それでnoarchiveを外し、サイトの登録をウェブマスターツールから削除してみましたが、果たしてどうなることやら、です。
ちなみに、新規投稿も半日くらい反映されなくなっていたものが、noarchiveを外したらまたフレッシュクローラーが数分で来るようになりましたけれども、どこまで関係があるのかは今のところ不明です。
あまりSEOに興味はありませんが、ここまであからさまだとさすがに気にもなりますのでね。
Googleは何を反映させるにも時間がかかりますので、1週間とか2週間とか、そのくらいのスパンで見守ってみることにします。
昨年10月から実験を続けている「サーチエンジンからのアクセス制限」ですが、そろそろ一段落したような気がします。
単にサーチエンジンからの訪問を無くしたいだけならnoindexなりnoarchiveなりで対応すれば済む話ですが、別にすべてのコンテンツをブロックしたい訳ではありませんのでね。
例えば、「Kingsoft無料版の広告を消す方法」などは、広告表示が義務付けられたソフトウェアの広告を表示させないためのチートな裏技がないかと期待して見に来られます。
あるいは、「Access violation at address」「SMART機能でエラーが検出されました」などは、ご自身のコンピュータに問題が発生したため、その解決方法を探しておられる方が見に来られますね。
ですが、私のブログは私個人の日記サイトであって、別にリファレンスサイトでもなければ情報サイトでもありません。ですから、たとえ私がそれらの方法を知っていたとしても、ここで解説したりお教えしたりするつもりはまったくありません。
つまり、上記のコンテンツに上記のような期待を持って訪問された方は、まったく場違いなところに来られたということになります。
このエントリーでも、「Googleの検索結果からキャッシュを削除」というタイトルからその方法が解説されていると期待なさった方は、この辺までお読みになったところで(おそらくお読みではないと思いますが)もう帰りたくなっておられることでしょう。
そういう方に「来られてからお帰り頂く」のではなくて、「来られる前に諦めて頂く」ようにするのがアクセス制限の目的なのです。
当初は、サーチエンジンからの訪問を判定してサイトポリシーを表示させ、ご同意頂ける方のみ閲覧出来るようにすればいいかと安易に考えていました。
しかし、やってみると様々な障害がありまして。
まず、情報を求めて検索しておられる方はお急ぎですから、サイトポリシーなんか読みません。盲目的に[OK]をクリックし、情報がないと思ったら即座にお帰りになります。
これに対応するため、私がサイトポリシーを熟読するのにかかる時間に0.8を掛けた秒数が経過するまでは[OK]をクリックしてもコンテンツが表示されないように、また3回フライングがあればアクセス禁止が設定されるように機能を追加しました。
その仕組みにはcookieを使用しますので、cookieを受け付けないブラウザからのアクセスは蹴り返すようにしました。
そのcookieはJavaScriptで送りますので、NoScriptなどを使ってスクリプトがブロックされているブラウザからのアクセスはエラー画面にリダイレクトされるよう変更しました。
また、特定のコンテンツに対してはサイトポリシーを表示することなく、サーチエンジンからの訪問は不可である旨を表示させて検索ページに送り返すようにしてあります。
ここで問題になるのが、サーチエンジンに勝手に登録されたキャッシュです。
あれこれ策を練っても、キャッシュをクリックするだけでコンテンツが表示されてしまうようでは何の意味もありません。
それで、表示されたページがキャッシュならば「キャッシュの表示はお断りします」といったメッセージを表示させようとしましたが、クローラーがなかなか回って来ないページだといつまでもキャッシュが表示されてしまうため、そろそろ私もシビレを切らせてしまいました。
それで、「たった6つのコンテンツ」のためだけにはやりたくなかったのですが、仕方なくヘッダにnoarchiveを追加することに。
更に、問題となるページのキャッシュを削除して頂くよう、Googleにリクエストを出すことにしました。
ウェブマスターツールの[サイト設定]→[クローラのアクセス]で[URLの削除]を選び、キャッシュの消去を各ページ単位でリクエストします。
半日ほどですべて消去されたため、今は該当のコンテンツはトップページ経由でしか表示されなくなりました。
それはそれで望みが叶ったのだからまぁ良かったのでしょうが、代わりにすべてのページがキャッシュされなくなりましたのでね。それは望んだことではありませんから、犠牲と言えば犠牲ですね。
また、YahooのSlurpはJavaScriptが効かないためインデクスそのものがおかしくなっていますし、ちょっと損得を計算すれば微妙なところです。
サーチエンジン経由で表示させたくないエントリーだけdocument.writeで書き出すなりしてnoscriptでエラー画面に飛ばすのは解除しようかと考えているところですが、今から書き換えるのも面倒ですのでね。
ちょっとこのまま置いてみようかと思っています。考えるのも面倒になって来ましたので。
こちらのブログでは、サーチエンジンからの訪問を歓迎しないエントリーがいくつかあります。
これがHTMLによるウェブページなら、該当するページを noindex すれば済むだけのお話なのですが、あいにくこちらはブログですのでね。
各ページのヘッダはphpによる書き出しですから、エントリーごとにmetaタグを書き込んだり書き込まなかったりという訳にもいきません。
それで、サーチエンジンからアクセスがあった際に閲覧ページを判別して、それが表示させたくないページである場合は蹴り返すようスクリプトを書いてあるのですが、そうすると今度はキャッシュが問題になります。
まぁ、キャッシュはいずれ書き換わるものですから、上記のスクリプトが埋め込まれた状態でキャッシュされれば問題はないのですけれども、クローラーが来るまでは以前の状態で表示されてしまいますのでね。
それまでの繋ぎの対策として、該当するエントリーに専用のスクリプトを埋め込んでおき、ページが表示された瞬間にエラーメッセージが書かれた別のページへ飛ばすよう仕込んでありまして。それは一応の効果を見せてはいました。
しかし、今日(18日)になって確認すると、何故かキャッシュが過去のものに置き換えられていました。
昨日まで表示されていたキャッシュは2月13日に取得されたもので、狙った通りにエラーメッセージへと飛ばされていたものです。が、今日になって置き換えられたキャッシュは2月8~9日のもの。エラーメッセージへ飛ばすスクリプトの影響を受けないところまで戻されていました。
これ、何なんですかね?
こちらはすべてのページをサーチエンジンからの訪問者から隠したい訳ではありませんし、すべてのキャッシュを見せたくない訳でもありません。ごくごく一部のエントリーに限って表示させたくないから、スクリプトで対応しているのです。
それを、スクリプトの影響を受けないところまで戻して無理やり表示させてくれるとは、Googleは一体どういうつもりなのでしょうか?
そういうことなら仕方ありませんので、ヘッダで noarchive することに決めました。該当するページのキャッシュは、ウェブマスターツールから削除依頼を出すことにします。
でも、Googleは私の意志に反して無理やりページを表示させたいみたいですからね。noarchiveも削除依頼も無視されそうな予感はありますね。
確かにGoogleのサービスは便利ではありますが、多くのサイトで散々指摘されているように、中にはありがた迷惑なことも少なくないようです。
ひとつ思うことは、「あなたたちだけが正義ではない」ということ。Googleの姿勢はいかにもアメリカ的ではありますが、調子に乗って自分たちの勝手な正義を振り回さないで頂きたいものです。
先日のエントリーに書いた、Google Anakyticsで自身のアクセス除外を設定出来なかった件ですが。
自身のIPアドレスが変わったため、それまで正常に動作していたフィルターのIPアドレスを書き換えたところ、なぜか自身のアクセスを除外しなくなったりすべてのアクセスを除外したりで、1月18日と19日のアクセス解析データがメチャメチャになりまして。
過去にも何度かIPアドレスが変わっていますが、フィルターの正規表現部分で各オクテットの数値を書き換えるだけで特に問題はなかったため、今回はちょっと困りました。
既定のフィルターでは正規表現での入力エリアがないため、IPアドレスをオクテットごとに入力。しかし、私自身のアクセスを除外しません。
カスタムフィルターでは正規表現を入力出来ますが、そこに書き込むとすべてのアクセスが記録されません。
何が原因なのかを掴めませんし、そもそも起きていることの意味がわかりませんね。
このままでは埓が開かないため、それなら条件別にプロファイルを作成して観察してみようかということで、新規にプロファイルを2つ追加して合計3つに。
- 既定のフィルターを選択し、除外するIPアドレスを各オクテット単位で入力
- カスタムフィルターを選択し、除外するIPアドレスを正規表現で入力
- ノーフィルター
のように条件を分けて、少し様子を見てみることにしました。
新規に作成した2と3のプロファイルはデータが反映されるまで24時間ほどかかるため、19日のデータは取らないと理解して放置。
元からある1のプロファイルでは19日になっても私のアクセスを記録していましたが、観察すると決めましたのでもう手を触れませんでした。
20日以降も上記の問題が継続すると仮定すると、1のプロファイルには私のアクセスがすべて記録され、2のプロファイルにはすべてのアクセスが記録されないことになりますね。3のプロファイルは、1のプロファイルと同じ数値になる筈です。
20日になって2と3のプロファイルもデータを取り始めたため、夕方ごろに当日分のデータだけを確認。
1と2の数値が一致していますね。あれ?
1のプロファイル、18日に設定した後の19日もノーフィルターと同じ動作をしていましたが、なぜか20日には正常化しています。2のプロファイルはゼロになっているべきところですが、これも20日分は正常にデータを取っています。
おかしいですね。
19日から20日にかけては一切の設定変更を行っていませんが、なぜ19日と20日で挙動が違うのでしょうか?
設定変更が反映されるまでのタイムラグ?
だったら、17日夜に私がIPアドレスを書き換えた瞬間から私自身のアクセスを除外しなくなった件を説明出来ませんね。同じく17日夜に、カスタムフィルターに正規表現で記載した瞬間からすべてのアクセスを記録しなくなった件も説明出来ません。
Googleはね。便利なのは便利なんですが、Adwordsのツールでも割とこういう感じの変なことが起きますのでね。今回の件もそういうノリでしょうか。
あまりシステムを過信しない方がいい、ということですね。
私のサイトでは、アクセスの生ログ取得に自前のCGIを、アクセス解析ツールにGoogle Analyticsを使用していますが、そのAnalyticsに少々問題が起きています。
自分がアクセスしたものまでカウントされると統計情報の意味がありませんので、それを除外するのにIPアドレスを登録してあるのですが。
先日ブレーカーが落ちてモデムが再起動したため、再起動後の新しいIPアドレスを登録したところ、何故か自身のアクセスを除外しなくなりまして。
IPアドレスが変わるまでは、すべて正常に機能していたんですがね。
その時は、[フィルターマネージャ]から[フィルタの編集]で、[除外][IPアドレスからのトラフィック][右に一致]がプルダウンメニューで選択されていて、その下のフィールドに除外するIPアドレスを正規表現で入力していたのですが。
今回、そのIPアドレス部分を新しいものに書き換えたら私自身のアクセスを除外しなくなりましたので、弄っているうちに[右に一致]がプルダウンメニューから消えてしまいました。
そして、その下にあった筈のIPアドレスを正規表現で入力するフィールドが、第1から第4オクテットを個別に入力する形式に変わってしまっています。
![]() |
ヘルプページには「必ず正規表現で記入する」とありますが、この入力エリアは正規表現を受け付けません(メタ文字を入力出来ません)。
仕方がないので、そこに[220][219]123][45]のように各オクテットの数値を入力して保存しますが、それでブログを更新していると、私が見たプレビュー画面までもがAnalyticsに記録されています。まったく除外されていないのです。
それならカスタムフィルターを試してみようかと、[除外][ユーザーのIPアドレス]を選択した状態で私のIPアドレスを正規表現で記入してみました。
^220\.219\.123\.45$|^192\.168\.0\.([0-9]|1[0-9]|2[0-9])$
しばらく見ていると、どうやら私自身のアクセスが記録されなくなった様子。やっと解決したかと安心していましたが、今度は私自身も含む「すべてのアクセス」が記録されなくなりました。今日(18日)の記録には、すべて0が並んでいます。
ちょっと意味が分かりませんね。
プロファイルを新たに追加して、ノーフィルターのものとカスタムフィルターのもの、それから既定のフィルターのもので比較してみることにしましたけれども、どうなることやら。
まぁ、少し様子を見てみます。
私の会社は法人様の固定顧客とクライアントからの委託業務が殆どですから、特にこれと言った広告宣伝活動は行っていないのですけれども、昨年秋のリーマンショック以降雲行きが怪しくなって来ましたので、それで今はちょこっとGoogleにだけ広告を出しております。
Google AdWordsというサービスを利用しているのですが、これは広告枠を月なんぼで借りるのではなく、こちらが指定したキーワードで検索があった時に広告が表示され、クリックされた時点で課金されるというもの。
そのGoogle AdWordsで、一週間ほど前からでしょうか、早い時間帯に同じユーザーからの不自然な連続クリックがありまして。それも短時間に5回、10回とクリックがあり、しかも広告クリック後に誘導される弊社WEBサイトを閲覧しておられる様子もありません。まるで広告クリックだけが目的のように見受けられます。
これ、正直言って困るんですよね。
クリックごとの課金ということは、多くのクリックがあれば多くの広告料がかかるということ。
もちろん広告ですので、多くのユーザーから多くのクリックがあって、多くの方々が弊社WEBサイトをご覧になるのはいいことです。多くの方々に見に来て頂いて、そこからご依頼を頂戴出来ればというのがこちらの思惑ですから。
しかし、同一人物に何の意味もなくバンバン広告をクリックされては困ります。広告料には1日の予算というものがあるからです。
制限もなく広告表示していて、知らない間に広告料が莫大なものになってしまっては困りますね。ですから、Google AdWordsには「1日あたりの予算を上限金額として設定し、それを超えると広告が表示されなくなる」というリミッター機能があります。1日の予算が500円なら500円、1000円なら1000円を超えた時点で広告表示をストップするというものです。
予算の上限が決まっているということは、早い時間帯に広告料がその上限に達すると、その後=1日の殆どが広告表示されないということになります。ええ、つまり、冒頭に記した同一IPアドレスからの連続クリックのお陰で、午前中には1日の上限予算に達してしまい、午後からは全く広告が表示されなくなっていたのです。
弊社WEBをご覧になっておられる様子もない一人のユーザーが何度も何度も広告をクリックし、予算が上限に達して広告表示されなくなった時点でぶっつりと足跡が途絶えます。そのユーザーはある日突然現れて、3日間続けて連続クリックを行い、しかも他と比較してクリック単価が高いキーワードばかりが狙われています。これ、どういう意味でしょうか?
同業者の嫌がらせですかね?
もしも本当にお困りの方がパソコンのサポート業者をお探しであると仮定して、弊社広告からWEBサイトをご覧になり、ここはダメだと思われたら普通は二度と訪問されない筈。他の業者も検討してみようということであれば、ブックマークなさるかどうかはともかくとして、他の業者のサイトをご覧になってから再訪なさる間にタイムラグがある筈です。数秒から十数秒間隔で連続クリックがあるのは不自然でしょう。
数秒ということは、広告クリック→WEBサイト表示→ブラウザの戻るボタン→広告クリックという流れの繰り返しです。コンテンツを読む暇もありません。ということは、使える業者かそうでないかをご検討頂いているとは考え辛い。
そう考えれば、ほぼ結論はひとつですね。
大変申し訳なく思いましたが、私はそのIPアドレスに対する広告表示を止めるよう設定。また弊社WEBサイトへのアクセスも制限させて頂きました。その翌日は、午前中の連続クリックはありませんでした。
が・・・。午後になって、今度は大阪府のドメインから同じノリの連続クリックが来ました。通常、公営の図書館などに置かれたパソコンからアクセスするとその自治体のドメインがホストとして残りますので、つまりは出先からやっているということです。そこも広告表示を止めてアクセス制限を設けましたので今は止んでおりますが、それにしても嫌なものです。
しかし、他にもFreeSpotなりネットカフェなり、使おうと思えばいくらでも使える場所はありますね。そうなると制限のしようがないので、正直困ります。
確かに、連続クリックが「無効なクリック」に該当すると認められた場合、Googleからその分の費用の払い戻しはあります。しかし、それは後になってからのことで、当日の広告表示が止められてしまうことを防ぐ手段にはなりません。
Googleの方でチェックを強化してもらうしかありませんかね。無理でしょうけどね。
