URLからナレッジを登録する

URLクロールは、インターネットからログインなしで表示できるページを取り込みます。登録前に、次の点を確認してください。

• 対象ページが公開されていて、ブラウザで表示できる。
• robots.txt などで取得が禁止されていない。
• 画像だけではなく、回答に使いたい本文がページ内にある。

会員専用ページや社内ネットワーク内のページは、URLクロールでは取り込めません。その場合は、公開できる資料をファイルとして登録してください。

1. ナレッジを開き、URLからナレッジを追加を選びます。
2. 起点URLに、取り込みを始めるWebページまたはサイトマップの完全なURLを入力します。
3. ナレッジ名を確認します。起点URLを入力するとページタイトルが候補として入ることがありますが、分かりやすい名前へ変更できます。
4. 対象URLで前方一致または正規表現を選び、取り込み範囲を確認します。
5. クロールを開始を選びます。

起点URLにサイトマップのURLを入力すると、Kotaelが内容を確認し、サイトマップかどうかを自動で判定します。URLに .xml が含まれていなくても、サイトマップの内容で判定されます。

サイトマップの場合は、掲載されているページだけを取り込みます。対象URL、除外URL、最大ページ数の設定も適用されます。

サイトマップを検出できない場合は取り込みを中止し、以前に取り込んだ内容を残します。サイト全体へ自動で範囲を広げることはありません。

対象URLは、取り込みたいURLの範囲を指定する項目です。初期設定の前方一致では、入力した文字列で始まるURLを対象にします。複雑な条件を指定する場合は正規表現に切り替えます。

起点URLの入力欄からカーソルを移すと、起点URLのクエリパラメーターが削除され、対象URLが自動入力されます。正規表現に切り替えた場合は、クエリパラメーターを除いたURLに前方一致する正規表現が入ります。手動で変更した対象URLは、起点URLの確認後も保持されます。

詳細設定では、クロール頻度、除外URL正規表現、最大ページ数を設定できます。ログイン、管理、カートなど回答に不要なページは、初期の除外条件に含まれています。

• 手動のみ：定期的な自動クロールを行いません。
• 毎日・毎週：設定した間隔で内容を取り込み直します。
• 最大ページ数：広いサイトで、取り込み件数が想定以上に増えるのを防ぎます。

定期クロールを設定すると、詳細画面に最終クロールと次回クロールが表示されます。今すぐ反映したいときは、予定を待たずに手動で更新できます。

作成後にナレッジ詳細を開くと、取得ページにクロールしたURLが表示されます。URLまたは本文の一部を入力して、目的のページが含まれているか検索できます。件数が多い場合は50件ごとにページ分けされます。

取り込み履歴では、待機中、取り込み中、完了、一部失敗、失敗の状態を確認できます。あわせて、確認、変更なし、取得、失敗の件数も表示されます。変更なしは、確認や再取得の結果、前回と同じ内容だったページの件数です。一部失敗でも取得済みページがある場合は、失敗したページを確認して対象範囲や公開状態を見直します。

再クロールで既存ページの内容が変わると、ナレッジが更新されましたという通知が届きます。通知には更新件数が表示されます。変更内容の要約を生成できた場合は、要約も表示されます。

2回目以降の取り込みでは、先に各ページの更新状況を確認します。内容に変更がないページは再取得を省略し、変更されたページや更新状況を確認できなかったページを取得します。

更新状況を確認できない場合は、古い内容が残るのを防ぐためにページを取得します。この場合は使用量に計上されることがあります。

最後の取得から7日以上経過したページは、次回の定期クロールまたは今すぐ同期で内容を取得し直します。クロール頻度が手動のみの場合は自動では実行されません。

ページが取り込まれない

ページが公開されているか、ログインを求められないか、対象URLの条件に含まれているかを確認します。取得が禁止されているページは取り込めません。

不要なページが含まれる

不要な取得ページはナレッジ詳細から削除できます。URLクロールのページを削除するときは、同時にそのURLを除外URLへ追加してください。削除だけでは、定期クロール時に再度取り込まれることがあります。

登録後に内容が更新されない

クロール頻度が手動のみの場合は、ナレッジ詳細の今すぐ同期で更新できます。今すぐ同期は、前回の取り込み開始から24時間たつと実行できます。それまでは、次に実行できる日時が表示されます。定期クロールを設定している場合は次回クロールを確認してください。定期クロールが失敗すると1時間後に自動で再試行し、最大3回まで続けます。処理が完了したあとに取得ページと取り込み履歴を確認してください。