违法建筑的认定有严格的法律程序，不能由拆迁方口头认定。根据《城乡规划法》和《行政强制法》，认定和处理违建的主体通常是城乡规划主管部门或乡镇人民政府。关键点在于房屋建造时是否取得了建设工程规划许可证（或按照当时政策允许的建房手续）。对于历史遗留建筑，不能简单地以现行法律“一刀切”。如果您的房屋建于多年前，且持有当时的建房批准文件、罚款收据、甚至乡镇政府认可的材料，可能不属于必须无偿拆除的违建。如果拆迁方以违建为由不予补偿，您有权要求其出示正式的、由有权机关作出的《违法建筑认定决定书》。如果您对认定不服，可以在法定期限内申请行政复议或提起行政诉讼，以维护权益。在诉讼期间，通常不能强制执行拆除。切勿轻易在相关文件上签字。