为什么大圩政府做事这么不负责？

5月4号，说是永州市政府里有领导来大圩政府检查工作，大圩政府就有两个人来我家问话，说帮我解决村长，勾引我老婆还出轨两年之事，事后还以村长和共产党员身份威胁我们家拿他没办法，还说他随时都可对付我，政府问我要什么条件，才能和解，我也说了条件，政府也答应帮我解决，可是永市政府领导一走，现在大圩政府不但没解决此事，还不承认来问过话，政府来问话，事情已闹大，人人都知道这个丑事，我的家人都深受影响，搬走了，我要怎么办？