Пятница, 29.03.2024, 07:37 | Приветствую Вас Гость | Регистрация | Вход

О несовершенстве опросников

 

 

 

 

 

 

 

Что измеряет шкала депрессии Бека?

С.В. Кудря*,  Е.Н. Давтян**,

*Кафедра английской филологии и лингвокультурологии филологического факультета  СПбГУ

**Кафедра клинической психологии РГПУ им. А.И.Герцена, ГПНДС №7, Санкт-Петербург

 

Резюме. В статье анализируются некоторые лингвистические и лингвокультурологические аспекты использования медицинских опросных инструментов для задач доказательной медицины, которые, по мнению авторов, ставят под сомнение возможность их систематического использования для диагностики психопатологических феноменов в клинической практике, и которым до настоящего времени не уделялось должного внимания в специальной литературе.  

Ключевые слова: медицинские опросные инструменты, доказательная медицина, перевод, языковая адаптация.

 

S.V. Koudria*, E.N. Davtian**

*St.Petersburg State University, Faculty of Philology, Department of English Language and Cultural Linguistics 

**Russian State Pedagogical University named after A.I. Herzen, Department of Clinical Psychology,

City PND №7,  St.Petersburg

 

Summary. The article outlines linguistic and cultural aspects of usage of clinical questionnaires for the purposes of evidence-based medicine. The current tendency to use clinical questionnaires for diagnosing psychopathological phenomena is challenged. The linguistic aspects of clinical questionnaires outlined in this article have not been sufficiently discussed in special literature on psychiatry so far.

Keywords: clinical questionnaires, evidence-based medicine, translation, linguistic adaptation.

 

 

Вера в научную достоверность и авторитет науки оказывается благодушным пожеланием: наука погрешима, ибо наука – дело рук человеческих.

Такого явления, как чистый опыт, полученный в результате эксперимента или наблюдения, просто не существует.

К.Поппер

В наше время трудно назвать область медицины, где бы не использовались психометрические методы исследования – шкалы, структурированные и полуструктурированные интервью, опросники и тесты. Унифицированные методики оказались простым и чрезвычайно удобным инструментом для врачей разных специальностей при выявлении депрессии, тревоги, когнитивных нарушений и т.д. И главное, их использование вполне соответствует духу времени – выработке единого стандарта клинических исследований в парадигме доказательной медицины.

Согласно Е.М. Крупицкому и А.В. Борцову [4], в основу доказательной медицины положена клиническая практика, базирующаяся на «строго доказанных научных фактах» и методологических правилах философского рассуждения Исаака Ньютона.  «Фактами» при клинических исследованиях в области психиатрии считаются данные, полученные при помощи «общепризнанных надежных объективных и валидных клинических шкал, опросников и тестов» [4].

Такая позиция нуждается в самом серьезном обосновании, по крайней мере, по двум причинам:

1. «Инструмент» философского рассуждения И. Ньютона – индуктивные суждения на основе чувственных данных, которые трудно в наше время всерьез рассматривать как «истинные и научные» (апофеоз индуктивизма –  знаменитый индюк Бертрана Рассела, съеденный на ферме в сочельник) [8, стр.663].  Почему, вопреки развитию философской мысли, возврат к методологии И. Ньютона предпочтительнее эволюционной эпистемологии К. Поппера, эпистемологического анархизма П. Фейерабенда, методологии И. Лакатоса и  Т. Куна («Структура научных революций»)?

2. Существует обширная философская литература, посвященная понятию научного факта, существуют различные концепции факта. «Голых фактов» в науке не бывает, факт имеет форму суждения, а наше восприятие зависимо от наших знаний и представлений о мире. Какого рода «научным фактом» является выбор больным утверждения шкалы опросника? И так ли уж «надежны и объективны» клинические шкалы?

Как известно, в истории развития психодиагностики было два пути [10]. Первый путь, европейский, был тесно связан с классической психиатрической школой и во многом именно на ней основывался. Преимущественное внимание в рамках этого пути  уделялось развитию клинических психодиагностических методов – беседе, наблюдению, проективным методикам. Второй путь, американский, был связан с запросами развивающегося индустриального общества и основывался на необходимости быстрого скрининга больших количеств людей, например, при профессиональном отборе кадров, армейском призыве, при оценке знаний в области образования. Для этих целей стали использовать анкетный метод сбора данных, заимствованный из области психологии и социальных наук. Именно в рамках этого пути, ориентированного на массовые опросы, и разрабатывались унифицированные и стандартизированные методы психологической диагностики.

В эпоху глобализации путь «стандартизации и унификации» получил огромное преимущество, и методология массовых исследований проникла в клинику, оттеснив на задний план основанные на индивидуальном подходе и слабо поддающиеся стандартизации психодиагностические методы.

Однако, по-видимому, мир больного человека принципиально отличается от мира человека здорового, особенно если дело касается клиники душевных заболеваний. Трудно не согласиться с замечанием профессора Ю. А. Александровского о том, что «шаблонное стремление к стандартизации нестандартного вряд ли может иметь прогрессивный характер» [1]. Систематическое использование психометрических тестов врачами, не имеющими специальной подготовки в области психиатрии, привело к иллюзии удобного способа получения «знания», с результатом, выраженным в простой количественной форме. Научная ценность полученных таким образом данных по своей сути ничем не отличается от «научной ценности» результатов анкетных опросов, публикуемых в модных гламурных журналах [10].

Есть аспект существования медицинских опросных инструментов (далее – МОИ), ставящий под сомнение возможность их систематического использования для решения задач диагностики в области психиатрии, которому до настоящего времени не уделялось должного внимания в специальной литературе, – аспект лингвистический.  

Большинство МОИ, используемых сегодня для диагностики в психиатрии (напр. BDI, CESD-S), являются переводами англоязычных оригиналов. То есть автор МОИ – как правило, носитель английского языка и представитель англоязычной культуры, а реципиентом текста может оказаться представитель любого языкового/культурного сообщества (в нашем случае – русского). Существует множество лингвистических и экстралингвистических факторов, за счет которых валидность опросного инструмента при переводе обнуляется, и ее требуется заново доказывать внутри новой принимающей лингвокультуры.  

 Содержательная валидность МОИ обеспечивается благодаря сложной, многоэтапной процедуре разработки, в центре которой стоит работа с потенциальными реципиентами текста – больными [19]. В ходе опросов больных (индивидуальных или в фокус-группах), а также в ходе разнообразных психолингвистических экспериментов разработчики МОИ выясняют, как больные структурируют объект/ы исследования, какие проявления заболевания и трудности, связанные с заболеванием, выделяют сами больные, как больные их называют, каково обыденное, непрофессиональное толкование включаемых в опросник слов. Поскольку эта работа проводится, за редкими исключениями, внутри одного лингвокультурного сообщества (например, англоязычного), постольку и культурная специфика языковой группы, внутри которой разрабатывается МОИ, инкорпорирована на всех уровнях МОИ: как на уровне концептуального содержания и языковой репрезентации отдельных стимулов, так и на уровне модели измерения в целом.

1. Инкорпорированность культуры на уровне модели измерения и концептуального содержания стимулов как явление, затрудняющее использование переводных опросных инструментов, широко обсуждается сегодня специалистами в области массовых обследований [11, 14, 13, 16, 17, 18]. Так, Шаффер и Риордан [16] проанализировали методологию 210-ти транснациональных исследований на основании разнообразных опросных инструментов в разных областях, проведенных в период с 1995 по 2001 год, и обнаружили, что в 79% исследований нет эмпирических доказательств того, что модель исследования и концептуальное содержание стимулов применимы ко всем исследуемым культурным сообществам; то есть в 79% случаев исследователи просто исходили из того, что содержание опросника применимо ко всем обследуемым культурам. Проблема инкорпорированности англоязычной культуры в МОИ на уровне модели измерения и концептуального содержания стимулов до сих пор признается неразрешенной.

2. Языковая репрезентация стимулов является источником существенных, с точки зрения инструментальной природы МОИ, искажений при переводе. Поскольку, как было сказано выше, к разработке текста опросного инструмента привлекают больных, именно обыденный лексикон, названные больными слова повседневного общения (например, «frustrated», «discouraged», «happy», «problem») являются языковым материалом, из которого создается текст МОИ. Иначе говоря, в опросных инструментах, посвященных психопатологическим феноменам, используются слова, объективирующие те базовые эмоциональные концепты, которые выделили для себя носители конкретного языка и культуры в процессе филогенеза.

Несмотря на то, что гипотеза лингвистической относительности Сепира-Уорфа остается гипотезой, сегодня ни у кого из лингвистов не вызывает сомнений тот факт, что континуум физических и эмоциональных состояний дробится в разных языках по-разному. Как указывал Э. Сепир, «… «реальный мир» в значительной степени бессознательно строится на основе языковых норм данной группы…Мы видим, слышим и воспринимаем так или иначе те или другие явления главным образом благодаря тому, что языковые нормы нашего общества предполагают данную форму выражения» [цит. по 9, стр. 58]. Следовательно, слова, названные больными в ходе разработки опросника, означают не универсальные, а национально-специфические эмоциональные концепты. «На … туманный мир чувств каждый язык накладывает свою собственную интерпретирующую сетку координат…если кому-то потребуется попытаться наименовать каждую отдельную из [эмоций], вместилищем которых является человеческое сердце, то ясно, что их число будет ограничено внутренним лексиконом того, кто предпримет такую попытку, поскольку каждый народ нашел свои имена для оттенков чувств, которые не выделяются другими народами» [2, стр. 17]. Таким образом, объекты исследования (например, эмоциональные состояния «sadness», «frustration», «distress», «satisfaction», «happiness»), сконструированные «со слов» носителей языка, жестко привязаны к внутриязыковой, национально-специфической семантической структуре каждого из этих слов, и воспроизведение их в других языковых системах может быть затруднено.

Отсутствие однозначных межъязыковых соответствий для слов, означающих эмоциональные состояния, хорошо проиллюстрировано в одной из работ польского лингвиста А. Вежбицки [20, стр. 3-14], где сравнивается, как чувства, которые испытывал Иисус в Гефсиманском саду, преломляются через лексическую систему русского и английского языков. Англ.: «33. And he took with him Peter and James and John, and began to be greatly distressed and troubled » (Mark 14: 33). В русском языке, в переводе С.Аверинцева страдания Христа переданы так: «33…и начал Он чувствовать ужас и томление» (Марк 14: 33–34) (в обеих цитатах курсив наш). Анализируя семантическую структуру русских слов «ужас», «томление» по сравнению с английскими «distressed», «troubled», А. Вежбицка указывает, что это – очень разные интерпретации эмоций Иисуса; и при этом ни на русском, ни на английском языке они не близки к греческим словам, использованным в этом стихе в греческом тексте Нового Завета. Таким образом, о том, что же именно испытывал Иисус в Гефсиманском саду, невозможно судить по словам, описывающим его эмоции; успешнее об эмоциях Иисуса, можно судить по действиям, которыми, согласно Евангелиям, сопровождались страдания Иисуса («fell on the ground and prayed» (Mark); «His sweat became like great drops of blood falling down upon the ground» (Luke)), и по картинам, изображающим этот сюжет. Очевидно, таким образом, что даже в Евангелиях, основной задачей которых является нести единую Весть верующим разных языковых сообществ, отсутствуют даже приблизительные межъязыковые соответствия в передаче эмоциональных состояний персонажей; в каждом языке они преломляются через лексическую систему языка и концептосферу каждой принимающей культуры.

 Необходимость перевести опросник, посвященный психопатологическим феноменам, ставит перед переводчиками трудности, схожие с теми, которые А. Вежбицка описала в процитированной выше работе. Рассмотрим в качестве примера очень частотные в англоязычных МОИ слова «tired»/«tiredness». В силу особенностей своей семантической структуры, которую можно приблизительно представить в виде схемы «сонливость + слабость», в англоязычных МОИ «tired»/«tiredness» специализируется, прежде всего, на передаче симптома «сонливость». В пользу этого говорят и наблюдения над контекстами использования «tired»/«tiredness» в повседневной речи носителей английского языка, и систематические указания на концепт «сонливость», «желание спать» в экспликациях авторов МОИ. Однако в переводных русскоязычных опросниках «tired»/«tiredness» часто переводят как «устал»/«усталость», поскольку это – один из самых распространенных эквивалентов, который дают англо-русские словари. Между тем, семантическая структура русского слова «устал»/«усталость» совсем иная. Когнитивные тестирования переводных русскоязычных версий показывают, что для носителей русского языка слово «устал»/«усталость», прежде всего, ассоциируется с предшествующей нагрузкой (физической и/или эмоциональной), а смыслового компонента «сонливость» носители русского языка в этом слове систематически не выделяют. Таким образом, в переводной русский опросник может попасть вопрос об утомляемости, вызванной нагрузками, которого нет в оригинале, а вопроса о сонливости в таком переводном опроснике не будет вообще. Данные, собранные при помощи оригинальной и переводной версий такого опросного инструмента, будут несопоставимыми.

Уникальная, национально-специфическая семантическая структура отдельных слов создает трудности и переводчикам шкалы депрессии Бека (Beck Depression InventoryBDI) [21]. Так, в одном из используемых сегодня переводов шкалы депрессии Бека в первом же пункте содержится фактологическая переводческая ошибка, которая делает несопоставимыми данные, полученные при помощи англоязычного и русскоязычного опросника. Английское словосочетание «feel sad», которое в англоязычном психиатрическом дискурсе соответствует русским «плохое настроение», «сниженное настроение», «подавленность» переведено как «чувствую себя несчастным» (sic!). Для носителя русского языка очевидно, что высказывание «Я чувствую себя несчастным» описывает по крайней мере высокую степень подавленности и вдобавок эмоционально окрашено, чего нет в оригинальном «I feel sad». Таким образом, у русскоязычного больного, у которого просто плохое настроение, нет возможности «пожаловаться» на этот симптом в рамках русскоязычной шкалы депрессии Бека, ведь получается, что в русскоязычной шкале Бека нет пункта, посвященного сниженному настроению. 

3. Существуют также лингвокультурологические различия в коммуникации врач-больной на уровне модели врача в сознании больного, которая не одинакова в разных культурных сообществах. То, что модель отправителя текста, существующая в сознании адресата, сказывается на интерпретации высказывания, теоретически обосновывается и иллюстрируется в работах голландского когнитивного лингвиста, одного из основоположников анализа дискурса Т. ван Дейка [3]. Согласно Т. ван Дейку, одно из условий успешного осуществления речевого акта – ожидания, которые существуют в сознании коммуникантов от определенного типа дискурса: «Большая часть типов дискурсов имеет ограничения на диапазон возможных тем (тематический репертуар). Границы этих тем зависят от интересов, ценностей и культурных норм. Что интересно сегодня и здесь, не всегда будет таким завтра и/или в других местах» [3, стр. 51-52].  

Нам представляется очевидным, что культуры отличаются степенью готовности больного к сотрудничеству врачом: разными будут и темы, которые больной готов обсуждать с врачом, и речевой жанр, в котором больной готов взаимодействовать с врачом. Между тем, разработчики опросных инструментов для транснациональных исследований исходят из того [16], что модель врача одинакова в сознании англоязычного больного и больного из любого другого культурного сообщества; если бы не это исходное основание, транс-культурные эмпирические исследования на основании МОИ были бы отвергнуты как идея.

4. В настоящее время существует стандартизированная методология языковой адаптации медицинского опросного инструмента для клинических исследований, которая используется во всем мире, является унифицированной для всех языков и обязательной согласно протоколу клинических исследований (подробное описание этой методологии см. в «Руководстве по исследованию качества жизни в медицине» А.А. Новик и Т.И. Ионовой, 2007) [7]. Вкратце, эта методология подразумевает, как правило, следующие этапы: 1) два прямых независимых перевода (т.е. два перевода с ИЯ (исходного языка) на ПЯ (принимающий язык)); 2) создание одного текста на ПЯ на основании двух независимых переводов; 3) обратный перевод полученной версии перевода на ИЯ носителем языка оригинала для ознакомления разработчика оригинального опросника с текстом перевода; 4) комментарии разработчика опросника, изменение переводной версии в соответствии с его комментариями; 5) редактирование перевода клиницистом, практикующим в соответствующей области медицины; 6) тестирование переведенной версии МОИ методом когнитивного интервью в целевой группе больных.  Когнитивное интервью имеет целью установить, насколько понятно для больного сформулированы стимулы, как именно больной их понимает.  Для этого в ходе индивидуального собеседования больного просят объяснить своими словами, как он понимает смысл каждого стимула. Ответы больных протоколируются и переводятся на язык оригинала. 7) Интерпретации, полученные от больных, сверяются с экспликациями, разработчика оригинального МОИ. Формулировка переведенного стимула корректируется до тех пор, пока смысл, заложенный разработчиком МОИ в стимул, не совпадет с интерпретацией, получаемой от больных в ходе когнитивного интервью.

Такая методология перевода имеет бесспорные преимущества: она позволяет расширить необходимые переводчику знания об особенностях функционирования языка сразу в нескольких измерениях: врач – врач, врач – больной, интервьюер – респондент, а также обеспечивает эмпирическое доказательство эквивалентности переведенных стимулов.

Таким образом, прежде чем проводить сопоставительное исследование на основании переводных версий МОИ, исследователь-врач должен предоставить эмпирическое обоснование того, что переведенные стимулы МОИ эквивалентны оригинальным, иначе все различия в собранных данных (т.е. в ответах респондентов разных языковых групп) могут отражать не клинически значимые различия, а смысловые различия, содержащиеся в самих стимулах языковых версий МОИ [15, 12]. Пока не доказана эквивалентность стимулов на включенных в исследование языках, переводные версии считаются невалидными, и сопоставление данных, собранных при помощи языковых версий МОИ, считается бессмысленным и ненаучным. Стандартизированная методология языковой адаптации медицинского опросного инструмента для клинических исследований дает основание для создания адекватного, эмпирически обоснованного перевода.

Однако следует отметить, что проведенное нами [5] лингвистическое описание функционирования текста МОИ в реальной коммуникации, показало, что эта стандартизированная методология перевода МОИ не вполне соответствует тексту МОИ как лингвистическому феномену. В частности, до сих пор нет общепринятого определения понятия «переводческая эквивалентность» для стимулов МОИ, и это является серьезным недостатком методологии. Поэтому на практике переводческие решения для стимулов МОИ принимаются без опоры на какой-либо единый переводческий стандарт.

В свете вышесказанного, даже без разбора узкоспециальных переводоведческих особенностей текста МОИ (таких как формирование дискурс-специфических смысловых оппозиций [6], явления информационной компрессии, стремление к стандартизации языковых форм и т.д.), требование «валидизации диагностических методик в той языковой и культурной среде, в которой их планируется применять» [4] в области психиатрии представляется трудновыполнимой задачей. 

Как, где и когда осуществлялась языковая адаптация (длительный  и многоступенчатый процесс) большинства англоязычных МОИ для использования в русскоязычной лингвокультуре? Где можно ознакомиться с эмпирическим обоснованием переводческой эквивалентности этих русскоязычных версий? На каких основаниях устанавливалась эта эквивалентность? Существуют ли официально рекомендованные Министерством здравоохранения (или любой другой государственной организацией) переводы текстов англоязычных опросников, выполненные с соблюдением необходимых процедур языковой адаптации? Как «работают» адаптированные МОИ в многонациональной стране, где значительная часть населения с детства пользуется двумя языками – национальным (татарским, армянским, чукотским и т.д.) и русским? Ответы на эти и многие другие вопросы в доступных информационных источниках нам получить не удалось. Ни в одной монографии или учебном пособии по психологии, психиатрии или неврологии, где публикуются полные русскоязычные тексты МОИ, ссылок на источник перевода мы не нашли.

Мы опросили клинических психологов, работающих в одном из районных психо-неврологических диспансеров Санкт-Петербурга, о том, где они берут русскоязычные версии опросников, используемых в работе, и получили единообразные и предсказуемые ответы: у коллег, из доступных книг или на официальных психиатрических или психологических сайтах. А некоторые сообщили, что переводят тексты труднодоступных опросников сами.

Наконец, мы взяли у психологов используемую в их работе русскоязычную версию одного из самых известных и коротких депрессивных опросников – шкалу Бека (Beck Depression InventoryBDI) [21] и сравнили с оригинальным англоязычным вариантом (один из авторов статьи – филолог, много лет исследующий трудности перевода медицинских опросных инструментов). Из двадцати одного пункта переведенной шкалы, одиннадцать содержали смысловые смещения по сравнению с оригинальной версией (подробный анализ неточностей перевода не приводится в тексте статьи из-за значительного объема). Вот перечень найденных источников смысловых смещений: фактологические ошибки, неполные переводы с опущением элементов смысла, перевод с добавлением оценочности или эмоциональности в стимул, ошибки словоупотребления, нарушения норм сочетаемости слов и узуса (т.е. нарушение конвенций использования единиц языка в речи, которые также ведут к смысловым смещениям) [6].

В настоящее время у нас есть четыре варианта переводов шкалы Бека (источники те же – коллеги, книги, официальные сайты) и, несомненно, каждый из этих переводов содержит свои смысловые смещения в силу естественной вариативности переводческих интерпретаций. Следовательно, сопоставимость данных, собранных при помощи  разных русскоязычных переводов опросника Бека, сомнительна, ведь получается, что у каждого русскоязычного исследователя свой опросник Бека.

Так какой же инструмент русскоязычные врачи имеют в виду, когда ссылаются на «результаты по опроснику Бека»? И что же мы все-таки измеряем шкалой Бека?

 

Литература

1.            Александровский Ю.А. Психиатрия и психофармакотерапия. – М.: ГЭОТАР-Мед, 2004. 430 с.

2.            Вежбицка А. Сопоставление культур через посредство лексики и прагматики /Пер. с англ. А.Д. Шмелева. М., 2001. 272 с.

3.            ван Дейк Т. Язык, познание, коммуникация. Сб. работ. Сост. В.В. Петров. М., 1989. 312 с.

4.            Крупицкий Е.М., Борцов А.В. Парадигма доказательной медицины: принципы проведения клинических исследований в наркологии // Обозрение психиатрии и медицинской психологии им. В.М.Бехтерева. 2009. №1. С. 4-11.

5.            Кудря С.В. Дискурсные характеристики англоязычного медицинского опросного инструмента как типа текста //Автореферат на соиск. уч. степени канд. филол. наук. СПб., 2012.

6.            Кудря С.В. Дискурс-специфические смысловые оппозиции в тексте медицинского опросного инструмента (контрастивный аспект).//Вестн. СПбГУ. Сер 9. Филология, востоковедение, журналистика. 2009. Вып. 2.Ч.II.C.134–136.

7.            Новик А.А., Ионова Т.И. Руководство по исследованию качества жизни в медицине. 2-е издание / Под ред. акад. РАМН Ю.Л.Шевченко. – М.: ЗАО «ОЛМА Медиа Групп», 2007. 320 с.

8.            Реале Д., Антисери Д. Западная философия от истоков до наших дней. Том 4. От романтизма до наших дней. СПб.: ТОО ТК «Петрополис», 1997. 880 с.

9.            Уорф Б. Отношение норм поведения и мышления к языку. // Зарубежная лингвистика. I. / Общ. ред. В.А. Звегинцева и Н.С. Чемоданова. М., 1999, С.58. 308 с.

10.        Шмелев А.Г. и коллектив Основы психодиагностики. Учебное пособие для студентов педвузов. Москва, Ростов-на-Дону: «Феникс», 1996. 544 с.

11.        Erkut S., Alarcon O., Coll C.G., Tropp L.R., Garcia H.A.V. The Dual-Focus Approach to Creating Bilingual Measures. Journal of Cross-Cultural Psychology. 1999. №30 P. 206 – 218.

12.        Hahn E.A., Bode R.K., Du H, Cella D. Evaluating Linguistic Equivalence of Patient-reported Outcomes in a Cancer Clinical Trial.//Clinical Trials  2006. №3. P. 280-290.

13.        Hendrickson S.G. Beyond Translation…Cultural Fit. //Western Journal of Nursing Research. 2003. №25. P.593-608.

14.        Као H-F.S., Hsu M-T., Clark L. Conceptualizing and Critiquing Culture in Health Research.//Journal of Transcultural Nursing. 2004. №15. P.269–276.

15.         Prieto A.J. A Method for Translation of Instruments into Other Languages. //Adult Education Quarterly. 1992. № 43 P. 1–14.

16.        Schaffer B.S., Riordan C.M. A Review of Cross-Cultural Methodologies for Organizational Research: A Best-Practice approach.//Organizational Research Methods, 2003. №6. P.169–215.

17.        Shklarov S. Double Vision Uncertainty: the Bilingual Researcher and the Ethics of Cross-Cultural Research. //Qualitative Health Research. 2007. №17. P.529–538.

18.        Tsui A.S., Sushi S., N. and A.Y.Ou, Cross-National, Cross-Cultural Organizational Behaviour research: Advances, Gaps and Recommendations // Journal of Management. 2007. №33. P.426–478.

19.        Vries J. de. Beyond Health Status. Construction and Validation of the Dutch WHO Quality of Life Assessment Instrument. 1996. 219 с.

20.        Wierzbicka A. Language and Metalanguage: Key Issues i