NeMo Guardrailsでエージェントをprompt injectionから守り抜く
あなたのAIアプリはもはやテキストを生成するだけではない:メールを読み、ツールを実行し、金銭に触れる。つまり、攻撃者はもうあなたのコードを攻撃しない——あなたのモデルに語りかけるのだ。NVIDIAのNeMo Guardrailsは、ユーザーとLLMの間にプログラム可能なレールを敷く:入ってくるもの(jailbreak、インジェクション)をフィルタし、出ていくもの(ハルシネーション、秘密)をモデレートする。最初のレールを、頭を抱えずにどう敷くかを教えよう。