Bộ môi trường không cho gia đình tôi xây cất trên đất lúa

Chào luật sư, gia đình tôi hiện đang gặp rắc rối bên bộ môi trường. Chuyện là tôi có 1 vùng đất lúa, nhưng đất đã nhiều năm không sử dụng, không còn khả năng trồng trọt. Vì thế tôi quyết định xây 1 chuồng heo ngay tại khu đất lúa đó, do sợ việc chăn nuôi heo ảnh hưởng đến vấn đề không khí đối với hàng xóm nên tôi quyết định xây cao chuồng và mở rộng diện tích chuồng chăn nuôi. Khi chuồng đã xây gần hoàn thành thì có người bên bộ môi trường xuống và có ý kiến, họ nói không cho xây trên đất lúa chỉ được xây trên đất thổ, nếu muốn xây phải có giấy xác nhận của bộ môi trường, đồng thời trong thời gian chờ xác nhận họ cấm không cho phép tiếp tục xây dựng. Tôi thấy rất bức xúc, đó là vùng đất của tôi, tôi có quyền xây dựng trên khu đất đó. Không biết trong luật đất đai nhà cửa, có điều luật nào phản ánh trường hợp của tôi ở đây không. Mong quý luật sư giải đáp thắc mắc của tôi. Xin chân thành cảm ơn