母亲跟生父没有结婚生子，男方不承认小孩一直养在女方身边没有付过一点责任

法律分析：非婚生子女的生父不能以任何理由，拒绝承担抚养非婚生子女的义务。不能因女方或是男方嫁做他人妇或是娶妻，而免除男方或是女方抚养自己亲子的义务。同时，非婚生子女有赡养和扶助生父母的义务，与生父母间有相互继承遗产的权利。
根据上述规定，抚养孩子的一方完全有权利要求孩子的生父或生母给付抚养费，如果对方拒不履行义务，可以到人民法院提起诉讼。法律依据：《中华人民共和国民法典》 第一千零七十一条 非婚生子女享有与婚生子女同等的权利，任何组织或者个人不得加以危害和歧视。不直接抚养非婚生子女的生父或者生母，应当负担未成年子女或者不能独立生活的成年子女的抚养费。