这取决于调整的合法性与合理性。用人单位单方调岗调地点属于变更劳动合同，原则上需协商一致（《劳动合同法》第三十五条）。但基于用工自主权，在特定情况下用人单位可单方调整：
1. **合法合理调整**：如因生产经营需要、组织架构调整，且调整不具有侮辱性、惩罚性，薪资待遇未明显降低，工作地点变更在合理范围内（如同城），劳动者一般应服从。若劳动者无正当理由拒绝，可能被认定为违纪，严重者可能被依法解除合同（依据规章制度）。
2. **违法或不合理调整**：如大幅降薪、跨城市变更工作地点、调整至与专业技能完全不匹配的岗位等，实质上是逼迫劳动者辞职。劳动者有权拒绝。若公司以劳动者不服从安排为由辞退，可能构成违法解除，劳动者可要求支付赔偿金。

**实务建议**：1. 审查劳动合同中关于岗位、地点变更的约定是否宽泛有效。2. 评估调整的合理性。3. 书面提出异议并保留证据。4. 如被违法辞退，收集辞退通知、调岗通知、劳动合同、工资单等证据，申请劳动仲裁。在仲裁期间，如对调整不服，可继续在原岗位出勤（如可能），避免被认定为旷工。