第一位妻子蔣碧薇
徐悲鴻的第一位妻子名叫蔣碧薇，江蘇宜興人，十二歲由父母做主與人訂親，十七歲那年到了上海，遇到了徐悲鴻。當時徐悲鴻年少英俊，才華橫溢，在繪畫方面已顯日后的大氣象，蔣碧薇對他產生了愛慕之情。第二年便與徐悲鴻私奔至日本，而后又流浪北平，又到巴黎時，他們認識了從倫敦來到巴黎的張道潘，那是1921年的事情。這次會面，給張道藩留下深刻印象的是徐悲鴻的妻子張碧薇。幾番接觸，張道藩向蔣碧薇射出了愛神之箭。
1925年，國內政局動蕩不安，留學生官費停發，為了能繼續留學，徐悲鴻只身前往新加坡籌款，這時蔣碧薇就靠徐悲鴻的朋友予以照料，張道潘是最熱心的一個。張道潘不但有錢，而且是個花花公子，蔣碧薇便成了他的無數個女人中一個，只是他們保持了比較長久的關系。徐悲鴻除了藝術之外，幾乎不懂得怎樣呵護自己的妻子。
1926年2月，蔣碧薇收到了張道藩從意大利寄來的一封求愛長信。張道藩的這封信使蔣碧薇陷入萬分痛苦的境地。最終蔣碧薇十分理智地回了一封長信，勸張道藩忘了她。張道藩在極度失望中與一位名叫蘇珊的法國姑娘結了婚。
1928年，徐悲鴻受聘為南京中央大學藝術系教授，全家由上海遷居南京丹鳳街中央大學宿舍。住的是一幢兩層的舊式樓房，共住有四家教授，徐悲鴻居住四間房子，蔣碧薇的父母也與他們住在一起。由于擁擠，徐悲鴻總到藝術系畫室去作畫。
1929年11月，蔣碧薇生下了女兒徐靜斐。
蔣碧薇與張道藩在國內重逢的時候，張道藩已當上了南京市政府的主任秘書。已做了母親并懷上第二個孩子的蔣碧薇長期缺乏對丈夫的理解，而徐悲鴻醉心于藝術，對妻子也少有體貼，雙方性格都很倔強，漸漸產生了感情裂痕。與張道藩的相見，無形中勾起了蔣碧薇曾失落的夢幻。加上花邊新聞對徐悲鴻與孫多慈的師生關系的渲染，給本來已不和睦的家庭平添了一層陰影。而張道藩也始終未忘對蔣碧薇的戀情，再次成為徐悲鴻家中的�？�。
1932年12月，徐公館建成。這是由幾個朋友資助、籌款，徐悲鴻在傅厚崗6號蓋的一幢樓房。這是一座精巧別致的兩層小樓，有客廳、餐廳、臥室、畫室、浴室、衛生間等，前后還有寬敞的庭院，院內有兩棵高大的白楊，四周用籬笆筑成圍墻。年底，他家搬進了新居。樓下左邊是一間陽光充足的大畫室，右邊是一間飯廳，一間客廳；樓上兩間臥室，徐悲鴻夫妻住一間，徐靜斐和哥哥住一間；三層小閣樓上則住著徐靜斐的大表姐程靜子女士；樓后的一排木平房是男女傭人的住處。
這時已是九一八事變發生一年后國難沉重的嚴冬，徐悲鴻不忘國恥和居安思危，便將新居取為“危巢”。但蔣碧薇認為此名不吉利，不久就取消了。蔣碧薇將公館布置得一派法國氣氛，給人以雍容典雅之感，庭院梅竹扶疏，桃柳掩映，令人賞心悅目。
搬入傅厚崗后，徐悲鴻在家的時間較過去多了，只要不去“中大”上課，便在畫室作畫，一畫就是好幾個小時，畫的國畫將整個畫室地面都鋪滿了。家里人經常等他吃飯，菜熱好又涼，涼了又熱，他都不出來吃。他的脾氣是作畫到入神時，誰也不能驚動他，一定要把那幅畫畫完才罷休。
徐悲鴻在“中大”藝術系當教授，每月薪金300元，蔣碧薇在家料理家務，招待客人，生活優裕而安定。但夫妻兩人卻常常爭吵，起因是徐悲鴻喜愛收藏古董古畫及金石圖章，一見到好畫好古董，愛之如命，不惜重金加以收買；而妻子喜歡過舒適生活，又好請客，雙方都要花錢，盡管徐悲鴻的收入很高，仍不免有矛盾，因此發生爭吵。
徐悲鴻與孫多慈師生戀
由于事業上沒有共同語言，生活上得不到應有的愛撫，徐悲鴻常常處于一種郁郁苦悶之中。在他精心任教之時，對女弟子孫多慈的才能頗為欣賞，常常課外點撥，師生感情甚篤，不久墜入愛河。悲鴻刻一印章曰“大慈大悲”，即暗合二名字在內。事后為夫人聞之，大肆吵鬧，孫父對女兒的行為也極力反對，不許徐悲鴻與其女兒來往，弄得滿城風雨。