关于违建厂房拆除问题 请当地政府酌情处理

前几年我们在外打工，后面准备要小孩所以回乡创业，我们之前在外边会做家具，所以回来还是想做这个，然后在自己家土地(不是田)盖了个厂房帮农村客户简单加工家具(没环保的问题)，最近有部门的人找我们说这是违建，必须要拆。首先说明一下我们家情况，虽然我们是农村户口，但只有我婆婆两亩土，田没有，我老公和他哥哥没土也没地。我们只想在家创业兼顾老人小孩，看很多人都是在自家地上盖个加工房，所有我们也这样做的，因为我婆婆两亩土只能种点棉花和油菜，真谈不上收入。

之前盖厂房还在信用社贷款5万，现在贷款没还清，养两家子老小(哥哥家我们家)，现在你们说违建必须要拆？有没有个两全其美的办法？？让我们何去何从？？才安稳几年，难道又要我们一家老小去外面讨生活吗？在家里不做这个我们能做什么呢又没田种没地。能理解我们的苦吗？或者能让村里给我们两家分些田吗？？我们盖的厂房能不能征给政府用，给我们点补偿呢，比如用来晒稻谷，改成村里饭后休闲锻炼身体的地方呢？拆了也浪费资源，我们盖这个加工房也掏尽了两家人的积蓄精力。之前我们也不知道在自己家地上盖算违建。