本命
Evolution：LLMエージェントのHarnessとSafetyを軌跡から更新する「SHE」
SHE（Safety Harness Evolution）は、エージェントの安全を担うHarnessとSafetyの構成要素を分解・更新し、Agent-SafetyBenchで静的なSafeHarness比の結果を報告する枠組みです。
arXiv / 一次情報
海外一次情報を根拠確認 / 3本厳選
Evolution：AIエージェントの安全設計と小型化を読む3本
本日は、エージェントの安全機構を更新可能にする研究、LLMの構造転換を狙うstartups、14MBの端末向けモデルを取り上げます。研究結果、企業側の主張、編集部の見立てを分けて整理します。
更新日：
今日の結論
AI活用の焦点は、モデル本体の性能だけでなく、運用時の安全部品、計算効率、端末上の実行条件へ広がっています。導入判断では、ベンチマークの範囲と実環境での失敗時動作を個別に見る段階です。
90秒で分かる今日の3本
02
Next：LLMsを変えるstartupsの4つの構造アイデア
MIT Technology Reviewは、従来のTransformerが抱える計算量と長文処理の制約を背景に、Subquadraticの「SubQ」、Manifest AIの「power retention」、Liquid AIの「LFMs」などを含む、次世代LLMを目指すstartupsの動きを紹介しています。
MIT Technology Review / 海外メディア
03
AgenticなNeedle 2、14MBでSmartデバイスのツール呼び出しを狙うモデル
CactusのAgenticモデルNeedle 2は、45Mパラメータ・14MBで、Smart home機器やロボットなどの端末上でツール呼び出しと構造化抽出を行う設計を示しています。
cactuscompute.com / コミュニティ経由
今日の本命
Evolution：LLMエージェントのHarnessとSafetyを軌跡から更新する「SHE」
SHE（Safety Harness Evolution）は、エージェントの安全を担うHarnessとSafetyの構成要素を分解・更新し、Agent-SafetyBenchで静的なSafeHarness比の結果を報告する枠組みです。
一次情報
論文要旨を自動取得
元記事で確認できたこと
- SHEは、LLMエージェントのSystem Prompt、Rule Bank、Safety Memory、Tool Policyを4つの成果物として分解し、それぞれの安全責任を明示します。
- ロールアウト軌跡の失敗を構造化された診断に変換し、成果物ごとの安全境界を改良して、Safety-Utility検証で更新版Harnessを選びます。
- 要旨では、Agent-SafetyBenchで静的なSafeHarnessと比べてASRを3.1倍削減し、良性利用時の有用性も改善したと報告しています。
- 要旨では、更新されたHarnessが保留されたAgentHarmベンチマークの未知リスクに一般化し、追加の進化処理なしで異なるエージェントモデルへ移転したと報告しています。
何が変わったのか
従来の安全機構を固定的なデプロイ成果物として扱うのではなく、失敗した軌跡から原因を分け、System PromptやTool Policyなど該当部品を更新する設計を提示した点が新しい点です。要旨の範囲では、モデル重みだけを変更する方式ではありません。
編集部の見立て
編集部の見立てでは、エージェントの安全事故を一括したモデルの問題として扱わず、権限・記憶・ルール・指示のどこに原因があったかを追跡しやすくする発想は実務向きです。ただし、改善値をそのまま本番リスクの削減率とは読めません。
社内エージェントの安全レビューを、System Prompt、Rule Bank、Safety Memory、Tool Policyの4欄に分け、想定外のツール呼び出しや情報保持が起きないかを記録する運用に応用できます。
まだ断定しない点
提供材料はarXivの要旨であり、実験条件、ASRの定義、比較対象の詳細、失敗事例、各モデルでの再現性は確認できません。Agent-SafetyBenchとAgentHarmの結果を自社の業務データへ外挿することも未確認です。
10分で試すなら
機密情報を使わず、ダミーの旅行予約エージェントを想定します。4つの欄に安全責任を書き、禁止された予約変更・個人情報出力・未承認ツール呼び出しの3ケースを作って、どの欄の修正で防ぐかを表にします。
この記事専用のコピープロンプト
SHEの考え方を参考に、ダミーの社内文書検索エージェントについて、System Prompt、Rule Bank、Safety Memory、Tool Policyの4項目に安全責任を分解してください。各項目について、想定失敗、原因、局所的な修正案、修正後に行う安全性・有用性テストを1件ずつ示してください。機密情報や実在の認証情報は使わないでください。このニュースから何を判断するか
- 今、試す人
- 「Evolution：LLMエージェントのHarnessとSafetyを軌跡から更新する「SHE」」を公開情報かダミーデータだけで小さく検証できる人は、結果を記録するところまで進められます。
- まだ待つ人
- 顧客情報や未公開データを使わないと検証できない人は、本番投入を急がず、権限、確認者、停止条件を決めてから進めます。
- 試すときの指標
- 「記事の前提、期待する結果、停止条件を3列の確認表にする」を実行し、成功条件、失敗理由、人が確認した箇所を一つの記録表に残します。
買い切り業務ツール / noteで配送
返信・追加商談の後も、次の一手を迷わない
粗いメモから6成果物を作り、返信・追加打合せ・条件変更は差分更新として残すオフラインHTMLツールです。個別対応はありません。
完成シナリオと収録内容を見るこの案内には商品・サービスの紹介を含みます。価格・機能・提供条件はリンク先でご確認ください。
注目 02
Next：LLMsを変えるstartupsの4つの構造アイデア
MIT Technology Reviewは、従来のTransformerが抱える計算量と長文処理の制約を背景に、Subquadraticの「SubQ」、Manifest AIの「power retention」、Liquid AIの「LFMs」などを含む、次世代LLMを目指すstartupsの動きを紹介しています。
海外メディア
元記事本文を自動取得
元記事で確認できたこと
- 記事は、Transformerのdense attentionが入力中のトークン同士を比較し、長文になるほど計算量が増えると説明しています。
- Subquadraticは、必要な単語の組み合わせだけを計算するsparse attention方式のSubQを開発し、検索やコーディングの一部タスクで主流LLMに匹敵すると主張しています。
- Manifest AIは、文脈の重要情報をローリング要約として保持するpower retentionを開発し、StarCoderを変換したPowerCoderとBrumbyを公開したと記事にあります。
- Liquid AIは、液体ニューラルネットワークとTransformerを組み合わせたLFMsを開発し、記事では近年のLFMsが20% Transformer、80% liquid neural networksのハイブリッド構成だと説明されています。
何が変わったのか
LLMの改良をTransformerの大型化だけで進めるのではなく、attentionの疎化、文脈の要約保持、液体ニューラルネットワークとの組み合わせなど、計算経路やモデル構造を変える方向が紹介されています。記事はこれらを次世代のLLMsとして扱っています。
編集部の見立て
編集部の見立てでは、長文入力や推論コストに悩む利用者は、モデル名やパラメータ数だけでなく、どの情報を保持し、どの計算を省く構造なのかを見る必要があります。一方、紹介された成果の多くは企業の主張で、標準化された比較とは限りません。
長文文書やコードベースを扱う案件では、候補モデルを選ぶ前に、入力長、許容遅延、要約による情報欠落、検索・コード生成の評価項目を分けた小規模テスト表を作ると、構造上の違いを業務条件に結び付けやすくなります。
まだ断定しない点
SubQの性能は記事中で企業の主張として紹介され、業界内に懐疑的な見方もあるとされています。各方式の評価データ、推論コスト、利用条件、長文での情報保持性能について、材料だけでは横並び比較できません。
10分で試すなら
公開テキストまたはダミー文書を5,000〜10,000語程度用意し、同じ質問を全文を保持する方式と先に要約して回答する方式で試します。固有名詞、数値、例外条件の取りこぼしを3項目だけ採点します。
この記事専用のコピープロンプト
SubquadraticのSubQ、Manifest AIのpower retention、Liquid AIのLFMsを、長文の社内規程検索という用途で比較する評価表を作ってください。比較軸は、情報保持、検索精度、要約による欠落、推論遅延、計算資源、検証可能性です。実在の社内文書は入力せず、ダミー文書を前提にしてください。企業の主張と検証済み事実を分けて記載してください。このニュースから何を判断するか
- 今、試す人
- 「Next：LLMsを変えるstartupsの4つの構造アイデア」を公開情報かダミーデータだけで小さく検証できる人は、結果を記録するところまで進められます。
- まだ待つ人
- 顧客情報や未公開データを使わないと検証できない人は、本番投入を急がず、権限、確認者、停止条件を決めてから進めます。
- 試すときの指標
- 「記事の前提、期待する結果、停止条件を3列の確認表にする」を実行し、成功条件、失敗理由、人が確認した箇所を一つの記録表に残します。
注目 03
AgenticなNeedle 2、14MBでSmartデバイスのツール呼び出しを狙うモデル
CactusのAgenticモデルNeedle 2は、45Mパラメータ・14MBで、Smart home機器やロボットなどの端末上でツール呼び出しと構造化抽出を行う設計を示しています。
コミュニティ経由
元記事本文を自動取得
元記事で確認できたこと
- Needle 2は、ツール呼び出し、デバイス操作、構造化抽出を対象とするオープンな14MBモデルとして紹介されています。
- モデルは45Mパラメータで、スマートホーム、ウェアラブル、ロボット、低価格端末など、GPUやNPUを持たず数十MBのRAMしかない機器を対象にしています。
- Cactusは、スキーマから文法をコンパイルし、列挙型、配列、オブジェクトなどの型付き出力を生成して、不正なJSONや構造を防ぐ設計を説明しています。
- Needle 2は、端末上で信頼度スコアを返し、設定した閾値を上回れば実行、下回れば再確認またはクラウドへエスカレーションする仕組みを示しています。
何が変わったのか
端末向けの小型モデルを、自由文の対話ではなく、関数選択・引数生成・構造化抽出に絞って設計しています。14MBへの圧縮、256トークンのスライディングウィンドウ、ツール定義を保持する仕組みを一体化した点が、一般的なクラウド型チャットモデルとの違いとして示されています。
編集部の見立て
編集部の見立てでは、端末AIの実用性を大規模モデルを載せられるかではなく、限定された操作を安全に、通信なしで実行できるかで評価する道筋を示しています。自動実行を許す場合は、信頼度閾値だけでなく、操作の可逆性や権限範囲も設計対象になります。
IoTや現場端末では、自然文を許可済みの関数と型付き引数へ変換する部分だけをローカル化し、曖昧な要求や未対応操作をクラウドまたは人へ回す構成を検討できます。
まだ断定しない点
評価はCactusが示すMobile-Actionsの961行や同社のベンチマーク説明に基づくもので、実際の端末、電池、言語、ツール定義での性能は未確認です。14MB、品質、処理速度の関係や、信頼度スコアの校正精度も材料だけでは判断できません。
10分で試すなら
ダミーのスマートホーム関数を3つ（照明オン、温度設定、全停止）定義し、10個の自然文を入力します。関数名、引数、曖昧時の空呼び出し、信頼度閾値未満の扱いを記録し、誤操作が起きる文を3分類します。
この記事専用のコピープロンプト
Cactus Needle 2を想定し、ダミーのスマートホーム用ツール3個（照明オン、温度設定、全停止）について、自然文を関数名と型付き引数へ変換するテストケースを10件作ってください。曖昧な依頼、対象外の依頼、危険な一括操作では実行せず、空の呼び出しまたは確認要求にしてください。各ケースに期待するJSONスキーマと検証観点を付け、機密情報は使わないでください。このニュースから何を判断するか
- 今、試す人
- 「AgenticなNeedle 2、14MBでSmartデバイスのツール呼び出しを狙うモデル」を公開情報かダミーデータだけで小さく検証できる人は、結果を記録するところまで進められます。
- まだ待つ人
- 顧客情報や未公開データを使わないと検証できない人は、本番投入を急がず、権限、確認者、停止条件を決めてから進めます。
- 試すときの指標
- 「記事の前提、期待する結果、停止条件を3列の確認表にする」を実行し、成功条件、失敗理由、人が確認した箇所を一つの記録表に残します。
編集方法と限界
海外の公式発表・研究資料・報道を自動収集し、公開日、重複、本文取得量、見出しと本文の一致を検査しています。生成支援AIで日本語記事を作成した後、同じ根拠資料を使った別工程の照合と、過去記事との文章類似検査を通過した記事だけを公開します。
「確認できたこと」は取得した元記事本文または配信元要約に基づきます。「編集部の見立て」は当サイトの解釈です。価格、機能、規制、利用条件は更新されるため、判断前に元記事と公式サイトをご確認ください。