安全与对齐

返回领域目录

• AI Alignment 中最紧迫的未解决问题是什么？
• 如何系统性地 Red-Team 一个 LLM？
• Prompt Injection 攻击有哪些类型？如何防御？
• 如何设计一个既有效又安全的人机协同机制？
• Agent 执行敏感操作时的多层审批如何设计？
• 什么是 Corrigibility（可纠正性）？为什么对 Agent 很重要？
• Agent 的权限最小化（Least Privilege）如何实现？
• 如何检测 Agent 是否被 Jailbreak（越狱）？
• Agent 的安全评估有哪些标准数据集和基准？
• AI Agent 的伦理边界在哪里？如何平衡帮助用户和防止滥用？
• 多 Agent 系统中的安全隔离如何设计？
• Agent 如何处理用户的隐私数据（PII）？
• Agent 的日志和审计系统设计要点？
• Agent 的目标错对齐（Goal Misalignment）有哪些表现形式？
• 如何建立 Agent 系统的安全运营（SecOps）流程？