当行政机关以“信息不存在”答复政府信息公开申请时，申请人可以采取以下步骤：1. **核实申请内容**：检查申请描述的信息名称、文号、特征等是否准确具体。2. **要求说明理由**：根据《政府信息公开条例》第三十六条第（四）项，行政机关答复“信息不存在”的，应当告知申请人并说明理由。如果理由不充分或未说明，可要求其补充说明。3. **申请行政复议或提起行政诉讼**：如果申请人有合理理由认为该信息应当存在（例如，有其他文件提及、属于其法定职责应制作保存的信息），而行政机关未尽到合理检索义务或理由不成立，可以依据《政府信息公开条例》第五十一条，在法定期限内向上一级行政机关或同级人民政府申请行政复议，或直接向人民法院提起行政诉讼。在诉讼中，行政机关需对其已尽到合理检索义务承担举证责任。