当贷款无法办理下来时，违约责任的归属取决于贷款无法办理的具体原因：
购房者原因:
如果贷款办不下来是因为购房者的个人征信问题、还款能力不足等个人因素，这通常被视为购房者违约。
在这种情况下，购房者需要承担违约责任，可能需要支付违约金给卖方，并且卖方应当退还首付款。
银行原因:
如果贷款办不下来是因为银行方面的原因，如额度紧张或其他银行政策限制，这不属于购房者的违约行为。
在这种情况下，购房者通常不需要承担违约责任，卖方应当全额退还首付款。
不可归责于双方的原因:
如果贷款办不下来是因为国家限贷政策等外部因素，这属于不可归责于买卖双方的情况。
在这种情况下，买卖双方通常都不构成违约。
法律依据：
根据《民法典》第五百七十七条，如果一方不履行合同义务或履行不符合约定，应当承担违约责任。
根据《民法典》第五百八十二条和第五百八十三条，违约责任的承担方式可以包括继续履行、采取补救措施或赔偿损失等。
请根据具体情况判断责任归属，并在必要时寻求法律专业人士的帮助