Café Society est une fiction inspirée d'un scandale touchant à la prostitution, qui secoua New York en 1952. Mickey Jelke est un héritier qui doit toucher une fortune de cinq millions de dollars léguée par son grand-père. Mais plutôt que d'évoluer parmi la bonne société, Mickey préfère passer ses soirées avec des individus de basse extraction, des proxénètes, des prostituées et autres habitués de Broadway, dont la compagnie le met en joie. C'est alors qu'un flic louche, Jack Kale, découvre qu'un réseau de prostitution pourrait opérer à partir des night-clubs que fréquente Mickey. Kale recherche un pigeon pour créer un scandale et choisit Mickey. Il est aidé en cela par le fait que celui-ci a récemment entamé une liaison avec une ravissante et mystérieuse jeune femme, Patricia Ward, au passé quelque peu douteux et qui ne recule devant rien - y compris se prostituer - pour s'incruster dans les hautes sphères en compagnie de Mickey. Le scandale finit par éclater.