虽然“张帜迎客”，但潘素卖艺不卖身，虽然老鸨威逼利诱，但潘素始终紧握手中的“方向盘”。老鸨无奈，任由她去，因为手握着宰相孙女这张王牌，她就可以以此为噱头，赚得盆满钵盈。同时潘素只说曾经在家的潘白琴这个名字，从不再用。
虽然“潘妃”有才艺，不过也很难成为“头牌”，因此她接触的都是些二等流氓，生意红火时天天有人来喝“花酒”。因经常穿行于其中，潘素逐渐变得豁达和直爽。
凭借自己的才艺和不服输的精神，潘素在青楼成功养活了自己。同时，因受“苏州片子”熏陶的经历和超常的绘画天赋，她苦练丹青，挥笔成画。在那个“女子无才便是德”的封建社会潘素无疑是一道靓丽的风景很受欢迎。
张伯驹的好友孙耀东曾说：
依我看张伯驹与潘素结为伉俪是天作一对，因为潘素身上也存在着一大堆不可理解的‘矛盾性’也是位‘大怪’之人。张伯驹怎么“怪”了？潘素又“怪”在哪里？张伯驹出身名门，他在盐业银行——“北方四行”之首任总稽核。妥妥的公子哥。
张伯驹跟潘素有个共同的爱好：书画。张伯驹出身显赫，家境优渥，不过他却常年穿着一袭长衫整日沉迷于书画收藏与京剧、诗词。30岁那年，他甚至不惜变卖家产只为收藏。
1935年在上海滩游玩的张伯驹听说了“潘妃”的名号，知道她才貌双绝，出于好奇，他打算一探究竟。然而就是这惊鸿一瞥却百世沉沦，张伯驹深陷其中，大有相见恨晚的意味。
潘步掌中轻，十步香尘生罗袜；妃弹塞上曲，千秋胡语入琵琶。
张伯驹对潘素一见钟情，而潘素也对眼前这位风度翩翩、才情甚盛的公子倾慕有加。初见潘素，张伯驹为她写下了精美的佳句。
当爱的火花一但被点燃，很难再被世俗的风雨所浇灭。回到北京后的张伯驹做了一个大胆的决定：遣散妻妾。当时张伯驹已经有了正房李月娥和两个妾室，不过为了潘素，他执意要和妻妾离婚。彼时张伯驹38岁，潘素19岁。
孙耀东回忆说当时横亘在两人之间的不仅仅是年龄，还有一个人插在两人之间，他是有名的军阀臧卓。臧卓也非常喜欢潘素，并想占为己有。虽然张伯驹有家世背景，但想要在他手上抢人，很不易。
后来臧卓为达目的干脆将潘素软禁起来。爱让我们每个人成为“孤勇者”，张伯驹很焦急，不过他还是千方百计要救心爱之人。在孙曜东的帮助下他买通看守最后把潘素救了出来。
重逢后的两人惺惺相惜，互许山盟海誓，最终紧紧相拥。为了躲避臧卓的追捕，张伯驹带着潘素来到了她的家乡苏州，自此两人开始了一段神仙眷侣的隐世生活。
1937年张伯驹和潘素正式结婚。这一年张伯驹38岁，潘素21岁。婚礼当天潘素一身白衣，因为她是丈夫花钱赎回来的，她在告诉丈夫自己“洁白如酥”。
此后，潘素少了些玫瑰的冷艳，却多了几分淡雅。为了一心一意对潘素，张伯驹花钱遣散了妾室。
原配去世后，张伯驹就只有潘素一个妻子，两人琴瑟和鸣，相敬如宾。
婚后，张伯驹惊喜地发现妻子对绘画有着惊人的天赋，他替妻子找来名师，潘素21岁时开始学习花鸟画，由于自己的天赋和努力，最后奠定了潘素在绘画界的地位。
张伯驹曾被红学家周汝昌评价：“一丝没有俗气，一丝没有那个富贵气”。一个不世俗的人，居然成为“旺妻”之人，他直接把妻子捧上了行业精英行列。
孙耀东说张伯驹“怪”，除了他的执着之外，他可以为了自己的喜好而“散尽家财”。张伯驹的“败家”是出了名的。
也许是因为厌恶军阀统治的黑暗，让这位而立之年的张伯驹对书画产生了浓厚的兴趣，到最后一发不可收拾。
潘素在《忆伯驹》中提到：“如有李白和杜牧的墨迹，都是由我出息去借款收购的，还有不少晋唐时的古画，也是我和他结婚后才买的。”
范仲淹的《道服赞》是张伯驹变卖家当，举债买下的。
1946年，恭亲王府要卖掉隋代名画《游春图》，当张伯驹听说外国人也想购买时，他不惜卖掉自己居住的李莲英的老宅，发现钱不够时，他又把目光投向了妻子。潘素果断典当了陪嫁首饰，最终把《游春图》收入囊中。
还有一次，张伯驹为了一幅名画，竟像个孩子似的一屁股坐在地上“撒泼”，意思是让妻子拿钱买画。可潘素手里早就没有钱了，不过拗不过丈夫的潘素还是答应典当一件首饰，张伯驹这才开心地站起来。
有一次张伯驹花重金买下《平复帖》，这是中华第一帖，比王羲之的《兰亭序》还要早50年，是中国史上的祖帖和墨黄帖。
在张伯驹眼里，金钱对比字画都是“粪土”，不过这么珍视书画一人，最后居然和妻子做了一项重大的决定。
新中国成立后，国家百废待兴，张伯驹和潘素都有一腔为国为民的大爱大义，两人经过商量，决定把收藏的那些文物字画，无偿捐献给国家。当时有人粗略估计了一下，这些老物件价值上亿元。
从半生颠簸到晚年的宁静生活，虽然日子过得清贫，不过两人情比金坚。
1982年，张伯驹去世。他立下遗嘱，把最后珍藏的20幅稀世名作全部留给妻子，但潘素再次选择了全部捐给国家。
