Поэт Вячеслав Иванов не получил большой славы, однако сыграл в литературе Серебряного века довольно важную роль. Он жил в красивом угловом доме с башней, а квартира располагалась в башенной части. У него в гостях часто были видные литературные деятели, многие здесь практически жили. В Башне устраивались творческие мероприятия, благо размер квартиры позволял это делать. В период с 1905 по 1912 здесь побывало просто огромное количество людей, каждый из которых оставил свой след.

Здесь Александр Блок впервые прочитал стихотворение "Незнакомка", причём присутствующие зрители просили делать это снова и снова, пока голос поэта окончательно не охрип. Корней Чуковский пишет, что эта была волшебная ночь, все собрались на крыше здания, а чтение стихов началось совершенно спонтанно. Часто читал стихи здесь Брюсов, причём нередко оставался в гостях на несколько дней, даже когда все расходились.

Многие свои стихи Сергей Городецкий написал прямо в Башне. Когда после 1908 года здесь часто стали появляться новые люди, он начинал относиться к этому весьма ревностно, говоря о чудесных вечерах в прошлом. Вячеслав Иванов был организатором своеобразной "Академии". Когда в своей квартире он раскритиковал Гумилева, тот ушёл и создал своё объединение - "Цех поэтом". Возможно, без этого события акмеизм никогда бы не получил большого распространения.

Одной из тех посетительниц, которая начала посещать Башню незадолго до её закрытия, стала Анна Ахматова. Она весьма настороженно относилась к Иванову, критиковавшему её стихи, однако любила местную компанию, иногда развлекая её акробатическими номерами. Радовала гостей акробатикой и художница Ася Тургенева, которая каждый раз демонстрировала новые трюки.

Иногда в Башню заходил Федор Сологуб, которого хозяин не очень любил, считая его мистиком и колдуном. Причиной стало несколько посвящённых Вячеславу Иванову стихов, в которых тот постоянно находил тайные знаки. Сологуб часто брал с собой жену, которая отличалась хорошим контактом с публикой, многие вспоминают, что Анастасию часто носили на руках. В прямом смысле этого слова.

По молодости частым гостем Башни был Владимир Хлебников, во многих его ранних стихах даже пересказываются происходящие здесь события, пусть и в иносказательной форме. Постепенно пути Иванова и Хлебникова начали расходиться, из-за чего последний стал приходить всё реже и реже. Башня давала всем свои роли, Юрий Верховский был поэтом, но во время собраний чаще выступал в роли актера, примеряя на себя самые разные образы.

Яркий образ был у поэта Валериана Бородаевского, часто в Башне он представал в виде библейского пророка. Впервые он примерил его во время импровизированного театрального представления, но затем он привязался к нему постоянно. Георгий Чулков здесь стал идеологом мистического анархизма, с реальной политикой не имевшего ничего общего. Однако власти, узнав название движения, сразу же провели в Башне серию обысков.

Во время одного из таких обысков была арестована Елена Волошина, лишь вмешательство градоначальника позволило ей вернуться на волю. Философ Дмитрий Мережковский после одного из обысков потерял свою шапку, по поводу чего даже написал письмо министру внутренних дел. Этот случай предстал весьма забавным, когда шапка нашлась на следующий день за одним из многочисленных шкафов.

Некоторые обитатели Башни превращались в постоянных жителей, среди них была Анна Минцлова, внёсшая большой вклад в развитие оккультных движений. Весь этот бред не смог вынести поэт Андрей Белый, который прожил тут несколько месяцев. Переводчика и поэта Гюнтера все местные странности нисколько не смущали, Башня стала его практически постоянным местом жительства.

Жила тут ещё одна оккультистка - художница Маргарита Сабашникова, оставившая в наследство несколько хороших картин. На Башне была традиция закидывать неудачных чтецов апельсинами, Маргарита заменила апельсины на корки, что снизило количество полученных травм. Маргарита была участницей странных любовных приключений, её любил не только хозяин квартиры, но и его жена. Началось всё после признания Маргариты в изменах, на что жена Иванова отреагировала вполне спокойно.

Иногда в Башне появлялись весьма известные люди, среди которых оказался Максим Горький. Писатель настолько вдохновился местной атмосферой, что даже планировал создать всеобщее объединение творческих людей, потому что именно они должны управлять страной. В 1934 ему удалось нечто подобное, когда был рождён новый литературный жанр - соцреализм. Возможно, его выступление на Первом съезде писателей было отчасти вдохновлено событиями на Башне.

Не столько удачно закончился визит в Башню Ивана Бунина, который за вечер успел поссориться со всеми обитателями и даже получить вызов на дуэль. Довольно странной посетительницей была писательница Надежда Санжарь, мечтающая забеременеть от великого человека, которого хотела выбрать из местных обитателей. Выбор Надежда обсуждала даже со своим мужем. Мечте не удалось сбыться, потому что когда жена Иванова узнала о целях писательницы, в последнюю полетела керосиновая лампа.

По средам в Башню приходил философ Николай Бердяев, у него тут было нечто своего кружка, в котором члены обсуждали различные проблемы мышления человека. Лев Шестов часто посещал этот кружок, а вдохновлённый гостеприимством хозяина, написал о нём книгу. На одном из философских вечеров Анатолий Луначарский, известный своей будущей работой в министерстве просвещения, сравнил современный рабочий класс с античным Эросом.

В Башне собирались не только поэты и писатели, часто её посещали художники, чему весьма способствовал Константин Сомов. Происходящее в квартире стало поводом для создания квартиры "Древний ужас" за авторством Леона Бакста. По средам в это время как раз разбирались особенности античного мира. Часто заходил сюда Мстислав Добужинский, автор множества известных логотипов.

Местные театральные номера отличались смелостью, смотрелись весьма вызывающие. Всеволод Мейерхольд создавал в этих постановках совершенно новые приёмы, без которых уже совершенно невозможно представить современный театр. Поэт Владимир Пяст часто исполнял роли разбойников, что нашло отражение в его стихах. Сам Иванов очень любил проходящие у него театральные вечера, которые вдохновили его на написание многих строк.

Среди постоянных жильцов стоит выделить Марию Замятину, она практически не покидала пределов квартиры. Она часто посылала стихи Иванова в различные издательства без его ведома, что нередко приводило к курьёзным ситуациям. Известный поэт Михаил Кузмин тоже жил тут постоянно. Однако постояльцам он запомнился прежде всего как музыкант, его игра на рояле завораживала. Кузмин часто устраивал скандала, после одного из которых Иванов уехал, а вместе с тем закончилась история Башни.

Незадолго до смерти матери переехала в Башню Вера Шварсалон. Иванов не очень её жаловал, так как это была дочь от первого брака его жены. Вера внесла в жизнь Башни большую неразбериху из-за своей влюбленности к Кузмина, последний был гомосексуалистом. Иванов часто спал с падчерицей, что являлось их большим секретом. Именно обнародование Кузминым этой тайны положило конец Башне, а вместе с тем важной части истории отечественной литературы.