Наука свернула не туда
Вся наука основывается на простой идее: доверяй, но проверяй. Результаты всегда следует испытывать экспериментом. Эта простая, но мощная мысль породила огромный объем знаний.
Появившись в XVII веке, сегодня наука невероятным образом изменила мир. В основном к лучшему. Но бывает и головокружение от успеха. Современные ученые много доверяют и недостаточно проверяют, что вредит как самой науке, так и человечеству.
Слишком много достижений, заполняющих академический эфир, - результаты псевдоэкспериментов или несовершенного анализа. Венчурным капиталистам, которые работают в сфере биотехнологий, из опыта известно, что половину опубликованных исследований не удастся воспроизвести. И это еще, возможно, оптимистичное мнение. В прошлом году ученым биотехнологической компании Amgen удалось верифицировать только 6 из 53 «эпохальных» исследований в области исследования раковых заболеваний. Еще раньше группа ученых из фармацевтической компании Bayer смогла повторить только четверть из 67 аналогично важных работ, в том числе уникальное интимное омоложение.
Ведущего специалиста по компьютерным наукам беспокоит то, что три четверти работ специалистов в его области - полная чушь. В 2000-2010 годах около 80 тысяч пациентов приняли участие в клинических испытаниях, основанных на исследованиях, впоследствии дисквалифицированных из-за ошибок или несоответствий.
Мусор на входе
Даже если ошибки в исследованиях и не подвергают опасности человеческую жизнь (а во многих случаях наука слишком далеко от рынка, чтобы это сделать), они впустую тратят деньги и усилия лучших умов человечества. Трудно сосчитать, сколько стоят поиски в глухих углах прогресса, но, очевидно, немало. И цена, не исключено, только растет.
Одна из причин - конкуренция в научных кругах. В 50-х, когда после успехов, достигнутых в годы войны, сформировались современные академические исследования, наука была еще привилегированным занятием для немногих избранных. Весь клуб ученых насчитывал несколько тысяч. С умножением его рядов (до 6-7 млн, по последним подсчетам) специалисты разучились контролировать свою деятельность и качество работы. В жизни ученых воцарился принцип "публикация или смерть". Борьба за вакансии также стала вестись не на жизнь, а на смерть. В Америке 2012 года профессор, доктор наук в среднем зарабатывал $ 135 тысяч - больше, чем судья. Ежегодно шесть новоиспеченных докторов соревнуются за каждую должность в научном мире. Сегодня верификация (воспроизведение результатов, полученных другими) не слишком помогает в продвижении по карьерной лестнице. А без этого сомнительные результаты и в дальнейшем вводят в заблуждение других.
Карьеризм также поощряет преувеличения и выборочное представление результатов. Чтобы обеспечить себе эксклюзивность, ведущие научные издания вводят строгие критерии отсеивания и выбраковывают более 90% поданных рукописей. Максимальные шансы оказаться на страницах научных журналов имеют самые необычные результаты. Ничего удивительного, что каждый третий ученый знает коллегу, который "подшаманил" в своей работе, например, исключив из результатов невыгодные данные, руководствуясь "внутренним чутьем". И чем больше научных команд в мире работает над определенной проблемой, то вероятно, что по крайней мере одна из них станет жертвой чистосердечного непонимания разницы между долгожданным сигналом настоящего открытия и шипением статистического шума. Такие ложные корреляции часто попадают в журналы, склонные к сенсационным открытиям. Если в работах рассмотрены проблемы употребления алкоголя, старения или детей и компьютерных игр, они с таким же успехом могут претендовать на первые полосы газет.
Исследование, которое не может подтвердить гипотезу, наоборот, даже не рассматривают как вариант для публикаций. Отрицательные результаты составляют сейчас лишь 14% опубликованных работ (для сравнения: в 1990 году таких было 30%). Но знать, что является ложным, так же важно для науки, как и то, что является истинным. Нежелание обнародовать информацию об отрицательных результатах означает, что ученые тратят средства и усилия, исследуя тупики, где уже побывали другие ученые.
Священная процедура экспертной оценки также уже не та, какой она была задумана. Когда один известный медицинский журнал предложил рецензировать чьи-то работы другим специалистам из той же области, оказалось, что большинство оценщиков не заметили ошибок, которые издания намеренно вставляли в тексты, даже когда им сказали, что они выполняют тестовое задание.
Сломалось - почини!
Все это расшатывает основы познания истины о мире. Что же можно сделать, чтобы укрепить их? Одним из приоритетов должно стать введение строгих требований. Для начала следует разобраться в статистике, особенно в новых областях науки, где бесчисленные массивы данных просеивают в поисках моделей. Так сделали генетики, превратив бурный поток первых впечатляющих результатов секвенирования генома в тоненькую струйку действительно важных достижений.
В идеале протоколы исследований должны регистрировать заранее и отслеживать в виртуальных журналах. Тогда уменьшился бы соблазн изменять ход эксперимента, чтобы придать результатам весомый вид (к этому нужно прибегать в ходе клинических проверок медикаментов, хотя не все придерживаются процедуры). Везде, где можно, данные испытаний должны быть открыты для других ученых, которые могли бы их проверять.
Наиболее продвинутые профессиональные издания уже перестают отворачиваться от ничем не примечательных исследований. Некоторые государственные издательства, которые ежегодно выделяют $ 30 млрд на научную работу, поощряют повторность исследований. А все больше ученых, особенно молодых, понимают важность статистики. Однако эти тенденции должны идти гораздо дальше. Научные журналы должны выделять площади для "неинтересных" работ, а грантодатели - средства на их оплату. Экспертную оценку следует проводить по более строгим требованиям, а возможно, от нее следует вообще отказаться в пользу послепубликационных рецензий в форме добавочных комментариев. Эта система в последние годы эффективно работает в области физико-математических наук. И наконец, политики должны сделать так, чтобы институты, использующие государственные средства, тоже придерживались этих правил.
Наука все еще имеет огромное (хотя иногда с примесью удивления) уважение. Но ее привилегированный статус основывается на способности почти всегда быть правой и исправлять свои ошибки, когда что-то не получается. Во Вселенной еще достаточно настоящих тайн, над которыми будут ломать голову еще не одно поколение ученых. Ложные тропы, накатанные псевдонаучными исследованиями, - непростительная преграда на пути к пониманию истины.
Слишком много достижений, заполняющих академический эфир, - результаты псевдоэкспериментов или несовершенного анализа. Венчурным капиталистам, которые работают в сфере биотехнологий, из опыта известно, что половину опубликованных исследований не удастся воспроизвести. И это еще, возможно, оптимистичное мнение. В прошлом году ученым биотехнологической компании Amgen удалось верифицировать только 6 из 53 «эпохальных» исследований в области исследования раковых заболеваний. Еще раньше группа ученых из фармацевтической компании Bayer смогла повторить только четверть из 67 аналогично важных работ, в том числе уникальное интимное омоложение.
Ведущего специалиста по компьютерным наукам беспокоит то, что три четверти работ специалистов в его области - полная чушь. В 2000-2010 годах около 80 тысяч пациентов приняли участие в клинических испытаниях, основанных на исследованиях, впоследствии дисквалифицированных из-за ошибок или несоответствий.
Мусор на входе
Даже если ошибки в исследованиях и не подвергают опасности человеческую жизнь (а во многих случаях наука слишком далеко от рынка, чтобы это сделать), они впустую тратят деньги и усилия лучших умов человечества. Трудно сосчитать, сколько стоят поиски в глухих углах прогресса, но, очевидно, немало. И цена, не исключено, только растет.
Одна из причин - конкуренция в научных кругах. В 50-х, когда после успехов, достигнутых в годы войны, сформировались современные академические исследования, наука была еще привилегированным занятием для немногих избранных. Весь клуб ученых насчитывал несколько тысяч. С умножением его рядов (до 6-7 млн, по последним подсчетам) специалисты разучились контролировать свою деятельность и качество работы. В жизни ученых воцарился принцип "публикация или смерть". Борьба за вакансии также стала вестись не на жизнь, а на смерть. В Америке 2012 года профессор, доктор наук в среднем зарабатывал $ 135 тысяч - больше, чем судья. Ежегодно шесть новоиспеченных докторов соревнуются за каждую должность в научном мире. Сегодня верификация (воспроизведение результатов, полученных другими) не слишком помогает в продвижении по карьерной лестнице. А без этого сомнительные результаты и в дальнейшем вводят в заблуждение других.
Карьеризм также поощряет преувеличения и выборочное представление результатов. Чтобы обеспечить себе эксклюзивность, ведущие научные издания вводят строгие критерии отсеивания и выбраковывают более 90% поданных рукописей. Максимальные шансы оказаться на страницах научных журналов имеют самые необычные результаты. Ничего удивительного, что каждый третий ученый знает коллегу, который "подшаманил" в своей работе, например, исключив из результатов невыгодные данные, руководствуясь "внутренним чутьем". И чем больше научных команд в мире работает над определенной проблемой, то вероятно, что по крайней мере одна из них станет жертвой чистосердечного непонимания разницы между долгожданным сигналом настоящего открытия и шипением статистического шума. Такие ложные корреляции часто попадают в журналы, склонные к сенсационным открытиям. Если в работах рассмотрены проблемы употребления алкоголя, старения или детей и компьютерных игр, они с таким же успехом могут претендовать на первые полосы газет.
Исследование, которое не может подтвердить гипотезу, наоборот, даже не рассматривают как вариант для публикаций. Отрицательные результаты составляют сейчас лишь 14% опубликованных работ (для сравнения: в 1990 году таких было 30%). Но знать, что является ложным, так же важно для науки, как и то, что является истинным. Нежелание обнародовать информацию об отрицательных результатах означает, что ученые тратят средства и усилия, исследуя тупики, где уже побывали другие ученые.
Священная процедура экспертной оценки также уже не та, какой она была задумана. Когда один известный медицинский журнал предложил рецензировать чьи-то работы другим специалистам из той же области, оказалось, что большинство оценщиков не заметили ошибок, которые издания намеренно вставляли в тексты, даже когда им сказали, что они выполняют тестовое задание.
Сломалось - почини!
Все это расшатывает основы познания истины о мире. Что же можно сделать, чтобы укрепить их? Одним из приоритетов должно стать введение строгих требований. Для начала следует разобраться в статистике, особенно в новых областях науки, где бесчисленные массивы данных просеивают в поисках моделей. Так сделали генетики, превратив бурный поток первых впечатляющих результатов секвенирования генома в тоненькую струйку действительно важных достижений.
В идеале протоколы исследований должны регистрировать заранее и отслеживать в виртуальных журналах. Тогда уменьшился бы соблазн изменять ход эксперимента, чтобы придать результатам весомый вид (к этому нужно прибегать в ходе клинических проверок медикаментов, хотя не все придерживаются процедуры). Везде, где можно, данные испытаний должны быть открыты для других ученых, которые могли бы их проверять.
Наиболее продвинутые профессиональные издания уже перестают отворачиваться от ничем не примечательных исследований. Некоторые государственные издательства, которые ежегодно выделяют $ 30 млрд на научную работу, поощряют повторность исследований. А все больше ученых, особенно молодых, понимают важность статистики. Однако эти тенденции должны идти гораздо дальше. Научные журналы должны выделять площади для "неинтересных" работ, а грантодатели - средства на их оплату. Экспертную оценку следует проводить по более строгим требованиям, а возможно, от нее следует вообще отказаться в пользу послепубликационных рецензий в форме добавочных комментариев. Эта система в последние годы эффективно работает в области физико-математических наук. И наконец, политики должны сделать так, чтобы институты, использующие государственные средства, тоже придерживались этих правил.
Наука все еще имеет огромное (хотя иногда с примесью удивления) уважение. Но ее привилегированный статус основывается на способности почти всегда быть правой и исправлять свои ошибки, когда что-то не получается. Во Вселенной еще достаточно настоящих тайн, над которыми будут ломать голову еще не одно поколение ученых. Ложные тропы, накатанные псевдонаучными исследованиями, - непростительная преграда на пути к пониманию истины.