Даже при полном погружении (например, переезде в страну изучаемого языка) потребуется какое-то время, чтобы адаптироваться, выучить повседневную лексику и начать ее качественно использовать.
Все "невероятные истории", которые Вы слышали от друзей или коллег, скорее всего, преувеличение. Вероятно, люди просто заучили ряд стандартных выражений и слов для повседневной жизни, что сложно назвать навыком общения. Их понимают на бытовом уровне точно так же, как Вы бы поняли иностранца, спрашивающего жестами, как пройти к Красной площади. Пообщаться на другие важные темы уже не получится.