This was one of the first buildings constructed at the time of the incorporation of Cracow in 1257, and it was home to many successive magnate families during its long history. And as often happens in Cracow, the house has its own legend. The inhabitants of the city believed for many years that King Kazimierz Wielki (Casimir the Great) had this building, which at the time seemed huge, constructed for his Jewish mistress Esterka. The king’s beloved lover appears in many legends and stories in Cracow, although the existence of this woman has never been confirmed historically. Other owners and residents of the Szara Kamienica were real people from well-known, wealthy families. During Poland’s Golden Age, at the time of the Renaissance, when Cracow was one of the most significant capital cities in Europe, there was not enough room in the Royal Castle on Wawel Hill for all the nobility, and they bought, extended and lived in town houses in Rynek Główny, often joining two or three together and turning them into small palaces. However, the Szara Kamienica was never called a palace, despite all the great ceremonies and grand balls that were held there. King Henry III Valois is believed to have been received there, at a ball during which the polonaise was danced solemnly and with dignity for the first time in Poland. The building underwent major reconstruction in the 17th century, when the elegant portal was made at the studio of the Italian sculptors Andrzej and Antoni Castelli. The present look of the buildings comes from that time too.
But the Szara Kamienica was the scene of more than just the parties and meetings of distinguished people. In 1682 it was used as a refuge by Jews, who were attacked by a crowd of common folk and students. The battle ended with casualties, but the building was not taken. In 1787 castellan Franciszek Zieliński, then the owner, gave a splendid dinner in honour of King Stanisław August Poniatowski. In 1794 the building was used by Tadeusz Kościuszko, the commander-in-chief of the rising. This fact is commemorated by a plaque built into the façade. The last public execution in Cracow was performed in front of the Szara Kamienica the same year. Maciej Dziwoński, a priest who was found guilty of telling the Russians that the easiest way of taking the city was to attack it from the west, was executed. Following the Spring of Nations, the sumptuously decorated interiors were turned into a police station in 1851, and later a barracks for Austrian troops. It was only at the end of the 1870s that the building was renovated and passed into the hands of the well-known Jewish Feintuch family, who changed their surname to Szarski and ran a popular and famous shop in Cracow for about 100 years. The interior of the restaurant which is today situated on the ground floor is decorated with a polychromy by Józef Mehoffer.

Das Graue Haus (Szara Kamienica) auf dem Hauptmarkt reicht in seiner Geschichte bis in das 13. Jh. zurück, als man gleich nach der Gründung Krakaus (1257) mit der Errichtung von Wohnhäusern begann. Viele davon wurden im 16. Jh., in der goldenen Zeit der Renaissance, nach ihrem Zusammenschluss zu Palästen für mächtige mit dem Königsschloss auf dem Wawel verbundene Geschlechter. Das Graue Haus erlebte über Jahrhunderte seines Bestehens, oft umgebaut, Tage des Ruhmes, wenn hier königliche Gäste empfangen wurden. Im Jahre 1574 war König Henry Walezy zu Gast und ihm zu Ehren fand hier ein großer Ball statt. Im Jahre 1787 wurde ein feierliches Mittagessen zu Ehren des Königs Stanisław August Poniatowski gegeben. Das Gebäude erfüllte auch die Funktion einer Festung, als durch den Plebs und Studiker verfolgte Juden in seinen Mauern Obhut fanden. Als im Jahre 1794 ein Aufstand ausgebrochen war, hatte sein Anführer, Oberst Tadeusz Kościuszko, sein Quartier im Grauen Haus. Ebenfalls zu dieser Zeit fand vor dem Gebäude die letzte öffentliche Hinrichtung in Krakau statt; der Priester Maciej Dziewoński wurde wegen Spionage für die Russen hingerichtet.     
Um das Graue Haus rankte sich über die Jahre eine Legende. Man sagte, dass das Gebäude von König Kasimir dem Großen für seine geliebte jüdische Favoritin Esterka (Esther) errichtet worden sei. Über Esther wurde in Krakau viel geredet, man erinnert sich immer noch an sie, aber ihre historische Existenz wurde niemals nachgewiesen. Das Haus ging von Hand zu Hand, zu den Eigentümern gehörten namhafte Familien, bis die wohlhabende jüdische Kaufmannsfamilie Feintuch das Haus am Ende des 19. Jh. in Besitz nahm. Sie gründete ein in Krakau bekanntes und etwa 100 Jahre lang bestehendes exquisites Geschäft. Den Namen des Hauses („Szara“) nahmen die Feintuchs als eigenen an und hießen seit dieser Zeit Szarski. Heutzutage befindet sich hier ein Restaurant, dessen Innenräume seit dem Anfang des 20. Jh. durch eine schöne Wandmalerei von Józef Mehoffer dekoriert sind.