О.С. Грейг мав за мету перетворити Миколаїв в культурний центр Півдня і надати офіцерам Чорноморського флоту можливість культурного та інтелектуального відпочинку. Тому було прийняте рішення про побудову спеціального закладу для таких потреб. Справа в тому, що багато офіцерів на той час зимували в місті, і в довгі зимові вечори їм не залишалося нічого окрім того, щоб пиячити та потрапляти в поліцейські дільниці. Щоб «організувати культурний відпочинок», в 1824 році за проектом архітектора Ф. Вунша був зведений Будинок флагманів і командирів, що в подальшому отримав визначення Зимового благородного (морського) зібрання.
Будівля двоповерхова з цокольним напівповерхом. Зведена в стилі класицизму з каменю, має прямокутну форму в плані. По центру головного фасаду розміщений портик з шістьма колонами великого тосканського ордера, який вінчає трикутний фронтон. Вікна мають трикутну і арочну форми та оздоблені лиштвою, вікна першого поверху мають акцент завдяки поличкам – сандрикам. Площину фасадів вінчають великі карнизи.
Від початку свого існування в стінах Будинку проводили світські заходи, бали, концерти, сімейно-танцювальні вечори, читали лекції. Працювала школа музикантів і співаків, юнкерські класи, бібліотека.
Членами Морських зібрань могли бути вищі чини усіх відомств, що несли службу й відставні, дворяни, потомствені почесні громадяни і купці першої гільдії. Не мали змогу бути присутніми, навіть у якості гостей, неповнолітні чоловіки і жінки (17 і 16 років відповідно), нижчі чини та особи, які притягувались до судової відповідальності.
У грудні 1917 р. Радою народних комісарів був прийнятий декрет «Об уравнении всех военнослужащих в правах». Цим декретом були скасовані усі чини, звання, ордени, а також усі офіцерські організації імператорської Росії, в тому числі Морські зібрання.
З 1924 року Будинок флагманів і командирів носить назву Будинок культури моряків, а в повоєнний час став Будинком офіцерів флоту і центром культури, дозвілля і освіти військово-морських сил України.
В 2004 році Міністерство оборони України передало Будинок офіцерів флоту в обласну комунальну власність. На базі закладу планували розмістити обласну філармонію, але аварійний стан будівлі завадив цим планам. Вже у 2010 році архітектурна пам’ятка була передана міській громаді. Сьогодні пам’ятник архітектури знаходиться в аварійному стані і чекає на реконструкцію. Проте кожного літа містяни мають змогу проводити дозвілля на відкритому майданчику поряд з будівлею: кіносеанси фестивального кіно, концерти, зустрічі, виставки тощо.
