您好，如果只是您私自借款，在离婚时将该款项要回即可，一般是不会算过错方的。
离婚时，我国法律对于过错行为有详细的规定，一般来讲，因重婚；与他人同居；实施家庭暴力；虐待、遗弃家庭成员的，属于婚姻中的重大过错。另外，实际上，婚姻中的过错行为远不止这些，当一方存在如通奸、卖淫、嫖娼、赌博、吸毒等其他过错行为时，非过错方不能通过离婚损害赔偿制度得到相应的补偿和救济，有失公平。所以通过概括式规定作为兜底，人民法院应当根据具体案件情况，结合过错情节、伤害后果等因素，对过错方是否存在重大过错进行认定。
不过需要注意的是，如果是一方在婚内私自转移、隐藏夫妻共同财产的，离婚时另一方可要求其少分或不分财产的。可以少分或不分的财产范围，主要是指被隐藏、转移、变卖、毁损、挥霍，或伪造的夫妻共同债务范围内的夫妻共同财产，并非全部夫妻共同财产均可少分或不分。
离婚后，财产权受到侵犯的一方再次提起分割请求的期限，受诉讼时效的约束，自该方知道或者应当知道权利受到损害之日起计算。
【法律依据】
《中华人民共和国民法典》
第一千零九十一条 有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：
（一）重婚；
（二）与他人同居；
（三）实施家庭暴力；
（四）虐待、遗弃家庭成员；
（五）有其他重大过错。
第一千零九十二条 夫妻一方隐藏、转移、变卖、毁损、挥霍夫妻共同财产，或者伪造夫妻共同债务企图侵占另一方财产的，在离婚分割夫妻共同财产时，对该方可以少分或者不分。离婚后，另一方发现有上述行为的，可以向人民法院提起诉讼，请求再次分割夫妻共同财产。
因篇幅问题不能全部显示，请点此查看更多更全内容