Phạm Duy thừa nhận ông là người “nghiện yêu” và “mỗi bài hát là một cuộc tình”. Trong hồi kí của mình Phạm Duy viết rất thật, trên đời này “chưa ai sướng bằng tôi. Sướng ở cái nghĩa người ta lao tới và không bao giờ quên được nhau. Đôi mắt bao giờ cũng còn đuôi, không bao giờ hận tình”.
“Tình yêu đẹp lắm. Người nam và người nữ yêu nhau mới có cuộc đời, còn nếu không yêu, tuyệt giống từ lâu rồi”.
Ông đã từng so sánh giữa mình và Trịnh Công Sơn: “Giữa lúc khó khăn, Trịnh tìm tình ru đời vào cõi mộng mị, tôi vẫn phá ra vách tường sương mù để tìm về thực tại”.
Có những lúc yêu đồng thời hai người ông cũng kể. Trong thời gian đi hát tại Hà Nội, ông có quan hệ với một cô ca sĩ phòng trà Thương Huyền và một trong 2 vũ nữ nổi tiếng nhất Hà Nội lúc bấy giờ tên là Định đẹp một cách lộng lẫy. Ông đã viết cho cô Định bài “Tình kỹ nữ”: “Đêm nay đôi người khách giang hồ. Gặp nhau tình trăng nước…”.
Khi lên Yên Thế ông cũng cùng lúc yêu 2 cô thôn nữ, một trong hai cô đã khiến ông có ý định lấy làm vợ. Sau này, có lần ông quay trở lại tìm người con gái ấy. “Gặp lại cô gái quê, thấy nàng vẫn chưa lấy chồng, vẫn còn đẹp, vẫn quần quật lao động… Trong mấy ngày ở lại đây, tôi được hưởng những đêm ân ái nồng cháy trên ổ rơm thơm phưng phức bên người đẹp nhà nông có thân hình cứng như… gỗ lim.”
Phụ nữ Huế có sức hấp dẫn đặc biệt với Phạm Duy. Ông viết:
“Từ khi biết Huế (1944) cho đến khi tôi đã yêu bà Thái Hằng rồi thành vợ chồng (1948), tôi vẫn ước mơ có một người tình xứ Huế. Con gái Huế, lẽ dĩ nhiên là đẹp rồi. Cái mà tôi thích nhất là người đàn bà xứ Huế còn giữ được nhiều nữ tính. Cái nữ tính ấy lại được nuôi dưỡng trong khung cảnh nên thơ của vùng có nhiều đền đài lăng tẩm núi Ngự sông Hương làm cho nó có một sức hấp dẫn mạnh đối với loại người có nhiều “đàn ông tính” như tôi. Theo tôi, không một nơi nào trên cái nước Việt Nam này có người phụ nữ được sống trong cái môi trường văn hoá thơ mộng sâu sắc như thế cả”.

Nhạc sĩ Phạm Duy trong buổi giới thiệu "Trường ca Hàn Mặc Tử". Ảnh Thanh Tùng
“Cái đầu tôi để ở Hà Nội, cái dạ dày để ở Sài Gòn còn trái tim tôi để ở Huế”. Điều đó giúp ta hiểu vì sao trong bài Tình Ca tuyệt tác ông viết:
“Tôi yêu những sông trường
Biết ái tình ở dòng sông Hương”
Câu chuyện thầm kín giúp Phạm Duy nhận ra “Biết ái tình ở dòng sông Hương” rất ít người biết. Đó là một nữ sinh Đồng Khánh hát nhạc Đặng Thế Phong rất hay.
Năm 1953 ông đến Huế được các cô gái cháu của Hoàng Thái hậu Từ Cung tiếp vào một đêm trăng. Ông rất xúc động và sau cuộc gặp gỡ này bài Dạ Lai Hương ra đời. Ở phố Ngự Viên xưa lại có một người đẹp đã gợi hứng cho ông sáng tác bài Tôi Còn Yêu Tôi Cứ Yêu. Đặc biệt Phạm Duy gặp một nàng Mỵ Nương trong một ngôi nhà ở gần đàn Nam Giao. Chàng nhạc sĩ quê xứ Bắc tự nhận mình là Trương Chi, và rồi mối tình đó đã để lại cho Huế một bài hát nổi tiếng Khối tình Trương Chi.
Êm êm dần lan
Cung Nam Thương mờ vang
Cung Nam Ai thở than
Ai thương em lầu buồn mỗi lúc khuya tàn cung
Nhạc sĩ Phạm Duy không không phải người Huế, nhưng qua những lần dừng lại ở Huế ông đã cho ra đời nhiều giai điệu trữ tình sâu lắng và nhiều hình ảnh đẹp, sâu đậm tình người, trong đó thấp thoáng rất nhiều bóng hồng xứ Huế.
Thanh Tùng