三个月被亲生父亲卖了,十多年不闻不问,现在来骚扰破坏我的生活并向我赡养他,我是否有责任义务?

我亲生父亲在我大概三四个月的时候就因为重男轻女,听我亲奶奶的话,就不想要我,然后就把我送人了,就是把我卖掉了,拿着卖我的钱去赌博找小三,然后后面就跟我妈分居,但是没有离婚。他们两个人是在我四年级也就是2008年左右,我亲生父亲去法院起诉我妈,争夺我的抚养权的时候,判决离婚,当时,判决我亲生父亲支付了5万的抚养费,允许探视至我成年为止。后来我妈再婚,亲生父亲也再婚,和再婚的妻子没有小孩,那个小三生不出孩子了。从判决离婚,我被判给母亲之后,他并没有再尽过父亲的义务和责任,对我也不上心的,现在我大学即将毕业,然后发展的也挺好的,他后悔拉,然后我二十周岁,包括成年的时候,还有中考高考也并没有任何表示,言语或者物质上都没有,还各种找理由,就是他没我电话啊,没我微信啊,把责任都推给我妈,觉得是我妈的错,这种情况下,我以后工作了结婚了,他老了,我还要赡养他嘛?我是不是应该和他断绝父女关系?