公式推奨と自分の運用を突き合わせて分かった3つ——と、途中の失敗2つ

684ページ保存した公式の教材は、読むだけで終わらせず、自分の日々の使い方と実際に突き合わせてみました。公式が勧めている内容と、自分が実際にやっていることの間に、どれだけ開きがあるかを確かめるためです。

4つの工程とモデルの使い分け

作業は4つの工程に分けました。1つ目は抽出で、684ページから公式の説明だけを、機能・手順・推奨・注意・数値という5つの分類で抜き出します。2つ目は棚卸しで、自分が普段使っている設定やコマンドの中身を、実際のファイルを読んで事実だけで書き出します。3つ目は突き合わせで、抽出した公式の説明と棚卸しの結果を1件ずつ照らし合わせ、「できている」「食い違っている」「まだ使っていない」のどれに当たるかを仕分けます。4つ目は提案書で、仕分けた結果を1本にまとめ、優先順位を付けます。

この4つの工程では、AIを役割分けして使いました。抽出と棚卸しのような、大量の文章を読んで分類するだけの作業は、負担の軽いAIを何体も並列で動かして進めました。一方、公式の推奨と自分の運用のどちらを優先すべきかという判断や、提案書のまとめ方を決める部分は、より負担の重いAIに1体だけ任せ、設計と最終確認に専念させました。

分かったことは3つ

1つ目は、AIが作業を始めるたびに自動で読み込む文章の量です。合計すると約4万字あり、公式が勧める「1ページ以内」という目安とは大きな開きがありました。2つ目は、自分が使っている設定やコマンドの多くが、複数の作業用パソコンのうち一部にしか届いていなかったことです。同じ内容のはずが、端末ごとに古いままになっていました。3つ目は、AIにどれだけ手間をかけて考えさせるかという設定を、作業の内容に応じて一度も変えていなかったことです。軽い作業も重い作業も、同じ設定のまま進めていました。

途中の失敗も2つある

1つ目は、抽出の作業を任せた負担の軽いAI9体が、全員そろって、本文を自分で読まずに、プログラムを書いて文章を機械的に区切ってから分類していたことです。指示の出し方に問題があったと気づき、「本文は必ず自分で読むこと」と指示を書き直してやり直しました。2つ目は、棚卸しで報告された文字数の一部が、実は文字の数ではなくデータの容量、いわゆるバイト数で数えられていたことです。日本語は1文字が複数バイトになるため、実際の文字数より大きく見える数字になっていました。提案書を書き終えた後、公開する前に自分で実際の文字数を数え直して、この誤りを見つけました。

この経験から

負担の軽いAIに作業を任せるときほど、指示に抜けがあると同じ失敗が積み重なることが分かりました。1体だけなら気づけたかもしれない省略も、9体そろって同じ省略をすると、結果を見ただけでは失敗だと気づきにくくなります。また、AIが出した数字であっても、公開する前に自分で実測し直す一手間が要ることも、今回あらためて確認できました。特に、字数のように結論の根拠になる数字は、途中の工程を担当したAIが違えば、数え方も違っていることがある、という前提で扱う必要があります。

今回分かった3つのうち、今日すぐ直せるものと、判断に時間がかかるものがあります。自動で読み込む量が多いという点や、設定が全部の作業用パソコンに届いていないという点は、仕組みを直せばすぐに改善できます。一方で、公式が勧める「1ページ以内」にどこまで近づけるかは、今のやり方のどこを削り、どこを残すかという判断が要るため、少し時間をかけて進める予定です。