स्वामी कृष्ण सरस्वती दत्त महाराजांचा जन्म  कोल्हापूर येथील नांदणी ग्रामी झाला. अप्पा भटजी अन अन्नपूर्णा जोशी यांना गाणगापूरचे स्वामी नृसिंह सरस्वती यांच्या कृपेने झालेले हे अपत्य. लहान कृष्णा मौजीबंधन होईस्तोवर बोलला नाही. बालवयातच कुलदेव खंडोबाच्या आज्ञेने कृष्णा अक्कलकोटच्या स्वामी समर्थांकडे गेला. 'माझा कृष्णा येणार' म्हणून स्वामी समर्थ सकाळपासून कृष्णाची वाटच पहात होते. कृष्णा आल्यावर ते त्याला घेऊन रानात एकांतात गेले व तेथे ते तीन दिवस राहिले. स्वामी समर्थांनी कृष्णाला सांगितले की मी व तू एकच आहोत. त्याचे नाव श्रीगुरुकृष्ण ठेवले. रानातून परत आल्यावर स्वामींनी सेवकांना आज्ञा केली की 'चुरमा लड्डू खिलाव' व कृष्णाला ते भरवले. काही दिवस झाल्यावर स्वामींनी कृष्ण सरस्वतींना कोल्हापूरला जाण्याची आज्ञा केली.

कोल्हापूर येथील कुंभार आळीतील ताराबाई शिर्के ही दत्तभक्त महिला पूर्वाश्रमी व्यवसायाने गणिका असून तीव्र पोटशूळाने पीडित होती. दर पौर्णिमेस ती नरसोबाच्या वाडीस जाई व रात्रौ तेथे मुक्काम करून दुसरे दिनी कोल्हापूरला परत येई. अशी अनेक वर्षे सेवा केल्यावर एके रात्री वाडीस तिला दत्तगुरूंनी स्वप्नदृष्टांत देऊन सांगितले की मी तुझ्या भक्तीने प्रसन्न झालो असून लवकरच तुझ्या घरी राहावयास येईन. त्यानुसार स्वामी कृष्ण सरस्वती महाराजांनी आपले सर्व आयुष्य कोल्हापूर येथील कुंभार आळीत श्रीमती ताराबाई शिर्के यांच्या घरी व्यतीत केले. ही सर्व वेश्या आळी होती. 'काम, क्रोध, लोभ, मोह, मद, मत्सर' या षडरिपूंपासून मानवास मुक्त करणे व त्याचे देवस्वरूप दाखविणे हेच संतांचे कार्य! तेच स्वामींनी केले. येथील सर्व वस्ती स्वामीजींच्या वास्तव्याने पुनीत झाली. या वाड्याला स्वामीजींनी वैराग्यमठी हे नाव दिले. स्वामीजी अखंड बालभावात रहात असत. त्यामुळे बरेच लोक त्यांना एका वेडा म्हणूनच समजत. स्वामीजींनी भक्तांसाठी अनेक चमत्कार केले, असे ग्रंथात सांगितले आहे. गाणगापूर व नरसोबाची वाडी येथे तप करणारया अनेक भक्तांना दत्तगुरूंनी स्वप्नदृष्टांत देउन 'करवीर येथे मी कुंभार स्वामी या नावानी अवतार घेतला असून तेथे जावे' असे सांगितले व स्वामींना भेटताच स्वामी त्यांना काही वाक्ये बोलून खूण पटवत असत. रात्री स्वामी शयनगृहात निजल्यावर बाहेर पडत नसत पण काही वेळा सकाळी त्यांचे पाय धुळीने भरलेले दिसत असत. सेवकांनी विचारता स्वामी सांगत की 'मी घरी गेलो होतो'. घर म्हणजे नरसोबाची वाडी. स्वामी कोल्हापूर सोडून कधीही बाहेर जात नसत पण कित्येक वेळा नरसोबाच्या वाडीस अनेक लोकांना स्वामींची भेट होत असे. तसेच अक्कलकोट स्वामींनी देह ठेवल्यावर त्यांच्या काही भक्तांना स्वामींनी 'मी कुंभार स्वामी या नावाने कोल्हापूर येथे आहे' असे दृष्टांत दिले व कृष्ण सरस्वती स्वामींनी त्यांना अक्कलकोट स्वामी स्वरूपात दर्शन दिल्याच्या घटना घडलेल्या आहेत.

स्वामींनी श्रावण वद्य दशमी दिनांक २० ऑगस्ट, इ.स. १९०० रोजी पहाटे देह विसर्जन केला. त्यांच्या पार्थिवाला वैराग्यमठीत समाधी देण्यात आली. नंतर शिष्यमंडळींनी भजनासाठी दुसरी मठी निर्माण केली. तिचे स्थान जवळच गंगावेस येथे असून ती निजबोधमठी म्हणून ओळखिली जाते. वैराग्यमठीपासून हे ठिकाण चालत १० मिनिटांच्या अंतरावर आहे. स्वामींचे शिष्य व्यास यांनी या मठीनिर्माणासाठी पुढाकार घेतला, या कारणाने तिला व्यासमठी असेही म्हणतात.

स्वामींचे संपूर्ण चरित्र, स्वामींचे कोल्हापुरातील शिष्य गणेश नारायण मुजुमदार यांनी लिहिले असून ते "श्रीकृष्ण विजय" या नावाने प्रसिद्ध झालेले आहे. हे चरित्र दोन भागात असून दुसरा भाग ३५ वर्षानंतर लिहिला गेला.