面对行政机关的职责推诿，您可以采取以下步骤：1. **明确法定职责**：首先，查询相关法律法规，确定对违法建设行为负有查处职责的行政机关。通常，城乡规划主管部门（自然资源局/规划局）或城市管理综合行政执法部门（城管）是主要责任主体，具体依据地方性法规或政府规章确定。例如，《城乡规划法》赋予了县级以上地方人民政府城乡规划主管部门查处违建的职权。2. **正式书面申请**：向您认为有职责的部门提交书面的《违法行为查处申请书》，明确请求其履行法定职责。保留邮寄凭证或送达回执。3. **申请行政复议或提起行政诉讼（履责之诉）**：根据《行政诉讼法》第四十七条，如果行政机关在收到申请之日起两个月内不履行法定职责，您可以向其上一级行政机关或同级人民政府申请行政复议，或者直接向人民法院提起行政诉讼，诉请判令该行政机关履行法定职责。复议机关或法院将审查被申请机关是否具有相应职责以及是否构成不作为。4. **向监察机关举报**：针对行政机关工作人员的不作为、推诿塞责行为，可以向同级或上级监察委员会进行举报。**关键**：将口头反映转为书面申请，是启动法律救济程序的重要前提。