УНИВЕРСИТЕТ ИТМО
Кафедра «Технологии программирования»

Мое несостоявшееся выступление на встрече руководства Университета ИТМО с представителями «Международных научных лабораторий»

Спасибо руководству университета за проведение этой встречи, так как, по моему мнению, она назрела. Отмечу некоторые моменты, которые усложняют нам жизнь.

1. На последней защите «Международных научных лабораторий» (МНЛ) я задал вопрос: «Почему для признания мероприятия международным критерий с 50 участников изменился на 30 докладов?» На это я получил ответ: «Так решил Научно-технический совет (НТС)». Не Господь Бог, не Министерство, не даже Международный совет, а все равно что-то близкое небу, и поэтому его решение даже не обсуждается.

У меня в руках две книги с одинаковым названием «Algorithms for Сomputational Biology», изданные издательством Springer в серии «Lecture Notes in Bioinformatics», являющейся подсерией «Lecture Notes in Computer Science» (LNCS), в которой они опубликованы под номерами 9199 и 10252. Это материалы второй (153 страницы) и четвертой (179 страниц) международных конференций, первая из которых прошла в Мексике в 2015 г., а вторая – в Португалии в 2017 г. В первой из них было 11 докладов, а во второй – 12! Вопрос: «Почему в мире конференции с таким числом докладов проводятся и рейтингуются, а наш НТС их бы не зачел?»

2. На последнем обсуждении результатов работы МНЛ нам было сказано, что оценка семейного положения по показателям социальных сетей – не наука. Во-первых, этот результат был доложен на конференции ранга А* – выше ранга у конференций не бывает: Buraya K., Farseev A., Filchenkov A., Chua T. Towards User Personality Profiling from Multiple Social Networks / In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence (AAAI-17). Во-вторых, об интерпретации этого результата написали New York Post, Daily Mail, The Independent, ACM TechNews, Science Newsline Technology. Обратите внимание, что в названии последнего портала присутствует слово Science, но это не всем указ. И еще. В оценке нашего университета по рейтингу QS пока почти нет узнаваемости ни среди работодателей, ни в академическом сообществе, и в этих условиях, казалось бы, надо радоваться, что имя нашего университета появилось в таких всемирно известных средствах массовой информации, но вместо радости – нарекание!

3. Несколько слов о безаппеляционности. Когда так выступает большой начальник – это еще можно понять, но когда такую же манеру в общении выбрал наш бывший студент, хотя и ставший известным ученым, мне не совсем нравится, особенно учитывая то, что Владимир Николаевич сказал, что будет делать ставку на людей, возраст которых 40-, а наш выпускник стремительно приближается к сорокалетию. Интересно, что как только это случится, мы с ним окажемся в одной возрастной категории. А пока расскажу короткую историю.

Недавно в Университете проходила Стратегическая сессия, на которой рождались предложения как нам жить дальше. Одной из важнейших идей, сформулированных указанным выше нашим бывшим студентом, была академическая мобильность, при которой после завершения каждого этапа образования в соответствии с западными образцами надо менять место работы. На это я ответил, что такой путь возможен, но у него есть альтернатива. Известно, что в 60-х и начале 70-х центр мировой математики находился на нескольких этажах главного здания МГУ, где размещался и размещается по настоящее время мехмат, но тогда практически никто и никуда не ездил. Такая же ситуация была, например, и в Новосибирске в Институте ядерной физики, который возглавлял Г.И. Будкер, ученики которого стали всемирно известными учеными, всю жизнь оставаясь в своем «родном доме». Такой поход позволял создавать и сохранять «научные школы», не существующие по указанной причине на Западе, но которыми гордилась не только Российская империя, но и СССР, а теперь гордится Россия. Я тоже строю научную школу.

Еще о научных школах. Я недавно побывал в Вышке и там декан факультета компьютерных наук И.В. Аржанцев рассказал, как за несколько лет они стали одним из лучших факультетов страны в этой области. Однако я в своем выступлении отметил, что успешное функционирование факультета обеспечивает «сборная Москвы», каждый член которой работает либо в «Яндексе», либо в одной организации Академии наук, а преподает либо в Вышке, либо в МФТИ, либо в МГУ, причем один и тот же человек может преподавать и в разных вузах. При этом ни в одном из этих вузов не делается ставка на создание научной школы из своих выпускников, и слушателей очень удивило, что я стремлюсь к этому.

4. Я уже несколько раз пытался объяснить, что физика и CS – разные науки не только по предмету, но и по представлению результатов. У физиков основной вид публикаций – статьи, у нас – конференции. С тех пор, как Университет ИТМО 2013 г. вошел программу конкурентоспособности российских вузов «5 в 100», нам стали засчитываться только публикации, индексированные в базах данных Scopus и Web of Science. Однако на следующий год, когда стало известно, что даже в этих базах индексируются «плохие» публикации (например, тезисы докладов малозначительных конференций), от нас стали требовать, чтобы публикации имели импакт-фактор выше, чем обеспечивает практически любая конференция.

О положении в этом вопросе впервые я рассказал на заседании НТС университета, но поддержки, кроме, как от Парфенова, не получил, тем более, что членом этого совета не являюсь. Тогда я пошел к ректору, и рассказал ему об этом и получил его согласие на выступление в декабре 2014 г. на Ученом Совете университета, где попросил ввести разные показатели для публикаций по CS и физиков. Зная отношение к этому вопросу членов НТС, многие из которых входят в Ученый совет, я в начале своего выступления сказал: «Я буду говорить громко, но прошу меня услышать». Прошел месяц ничего не изменилось, и 25 января перед вручением мне Смольном соборе знака отличия Святой Татияны, я попросил Владимира Николаевича разрешения вновь выступить на очередном заседании Ученого Совета. Шеф вновь согласился.

Мое новое появление на трибуне со старой темой понравилось далеко не всем, но несмотря на это, я вновь повторил свое предложение, а в конце выступления добавил, и за счет имеющих очень высокие показатели цитируемости работ по системной биологии Леши Сергушичева и его коллег мы выпутаемся. При этом я добавил, что выходить из положения таким путем неправильно, так как наш университет про информационные технологии, а не про системную биологию. На это мне было предложено объяснить эти тонкости в Министерстве… На том Совет и закончился.

5. Эти выступления, все-таки, имели положительное последствие, и вместо среднего по всем нашим публикациям импакт-фактора нам стали планировать такой показатель, как средний по публикациям SJR, которые в большей мере учитывает специфику отрасли знаний. Нам стало легче, но не намного, и без публикаций Леши мы бы перестали получать деньги по указанной программе.

После этого поступило предложение перестать платить деньги всему коллективу нашей лаборатории «Компьютерные технологии», но другим способом – отделить Лешу с небольшой группой от нас. Было ясно, что в этой ситуации группа будет выполнять показатели, а мы – нет. При этом львиная доля наших денег могла быть распределена между другими лабораториями. Это предложение повторялось неоднократно, пока однажды Парфенов не выдержал и сказал всем, что Леша ни какой-то заезжий ученый, а молодой человек, которого он нашел по олимпиадам в Вологде и пригласил учиться на кафедру «Компьютерные технологии», а Анатолий Абрамович с третьего курса вовлек его в науку – сначала в автоматное программирование, а потом в сборку генома, и уговорил остаться у нас несмотря на другие возможности. После этого Леша «плавно» перешел к применению CS в системной биологии, чем и занимается по сей день. Парфенова, в отличие от меня, услышали, и разговоры об отделении Леши от нас закончились.

6. Расскажу историю про SJR более подробно. В настоящее время в CS считается престижней публиковать статьи на тематических конференциях, чем в журналах, так как у конференций выше стандарты и ниже процент принятых материалов. Именно статьи на конференциях, в первую очередь, рассматриваются в западных университетах при приеме на работу. Это во многом связано с тем, что в информатике создать что-то новое мало. Необходимо еще доказать, что полученный артефакт по некоторому критерию лучше известных, а для доказательства этого требуется экспертная оценка коллег, которая легче всего предоставляется именно на конференциях. Такого мнения, в частности, придерживается Джеффри Ульман, профессор Стэнфордского университета, который совместно с Джоном Хопкрофтом – Почетным доктором Университета ИТМО – награжден медалью Джона фон Неймана «За создание основ теории автоматов и языков и вклад в теоретическую информатику».

7. При этом известно, что конференции ранга A* цитируются в среднем на 36 % чаще журналов аналогичного ранга. Для ранга A статистической разницы не наблюдается. Для конференций рангов B и C несколько больше цитируются журналы. Поэтому часто материалы таких конференций могут быть расширены и приняты в один из журналов по CS, правда, SJR у них редко достигает трех. Такая закономерность сохраняется на протяжении десятилетий. Анализ публикаций десяти лауреатов премии Тьюринга показал, что у семи из них в качестве публикаций, в основном, выступают Proceedings, что не помешало некоторых из них принять в почетные доктора Университета ИТМО. Один мой молодой коллега только что защитил диссертацию в MIT. У него из 15 публикаций только две статьи. У моей ученицы – Нади Поликарповой, получившей PhD в ETH и работавшей в постдоком в MIT, из 11 публикаций только одна статья.

7.1. Для материалов конференций по CS характерно: число страниц – от восьми до 15, а не одна-две как это бывает у индексируемых в указанных базах тезисах докладов в других сферах, у нас число рецензентов – от двух до пяти, но SJR начинается с нуля! Это характерно, например, для важнейшей в мире ежегодной конференции по эволюционным вычислениям – GECCO, в работе которой принимают участие около 1000 человек, причем в этом году доклады Максима Буздалова номинированы в качестве лучших сразу на двух секциях! В одной из них он победил. SJR, равный 0,11, характерен для материалов некоторых конференций, проводимых под эгидой ACM, а 0,167 – для материалов некоторых конференций, проводимых под эгидой IEEE. Для LNCS, издаваемых издательством Springer, значение SJR достигает всего лишь 0,315.

7.2. В ноябре 2017 г. я был обвинен в том, что я многократно вводил общественность университета в заблуждение, так как утверждал, что материалы конференций имеют низкий SJR, а оказалось, что в этом году есть конференция (Proceedings of the IEEE International Conference on Computer Vision) с этим показателем, равным 7.3 (https://www.scopus.com/sourceid/110561?origin=resultslist). Отвечу на это. Во-первых, мне никогда не приходилось сталкиваться даже с информацией о таких конференциях, а не то, чтобы в них участвовать, во-вторых, за всю историю подсчета SJR на 26 ноября 2017 г. только 47 из 2797 конференций по CS имели этот показатель выше, чем 0.9 (https://www.scimagojr.com/journalrank.php?area=1700&type=p&order=sjr&ord=desc), в третьих, рассматриваемый показатель каждый год изменяется и нельзя предсказать каким он будет у конкретной конференции в этом году. Так, например, для указанной выше конференции на следующий год он уменьшился и был равен 4.810.

7.3. Отмечу, что в при введении SJR в нашем университете всем лабораториям, участвующим в программе, этот показатель установили равным 0,6, что значительно выше его значения у любого журнала по CS, издаваемого РАН, в том числе и на английском языке. После этого его ежегодно повышали, и сейчас он стал равным единице, что для CS является «космическим», так как в этой области мало журналов с таким SJR.

8. В этих условиях даже появление в нас статьи в журнале Science с импакт-фактором равным 37 (!) и SJR, равным 13,5, а также нескольких статей с импакт-фактором – 4,7 и SJR, равным 2,45, нас не спасает, так как нам пока не удается выполнить установленный для МНЛ показатель по SJR, который в 2017 г. равен 0,9. Поэтому уже дважды на Ученых Советах я предлагал нас и физиков по этому показателю оценивать по-разному. То, что мы в течение последних лет выполняли показатель по SJR связано с тем, что, во-первых, он был ниже, а во-вторых, наши ребята публиковались в Science, Cell и Immunity, что нельзя делать непрерывно, так как, например, во Франции одной статьи в ЧЕТЫРЕ года в этих журналах, в которых печатаются Леша Сергушичев и Катя Эсаулова, достаточно, чтобы классифицировать ученого как достаточно активно публикующегося, но ведь нам Франция – не указ, правда?

9. Вроде бы все ясно, но разговоры, о том чтобы исключить Proceedings из показателей оценки МНЛ, продолжаются. Мы заняли по предметному рейтингу CS в THE 56 место, а наши физики с прекрасными статьями – никакое, и Proceedings нам не помешали. В предметных рейтингах QS у нас и них место одинаковое и невысокое. В прошлом году по результатам экспертизы журнала «Эксперт» мы заняли пятое место по CS в России, а по доле публикаций по CS в стране – второе (7,0%), в то время, как у победителя МГУ этот показатель равен 7,3%. По «Физике» у нашего университета было 15 место, а по доле статей – восьмое-девятое (2,7% у нас против 11,9% у МГУ). Что здесь сказать: если физикам мешают Proceedings, пусть откажутся от них при оценке своих лабораторий, а о нас – забудут.

10. Приведу еще два интересных примера про публикации с нулевыми значениями SJR. Сотрудница нашей МНЛ Катя Эсаулова в соавторстве другим учеными опубликовала две статьи в журналах с таким SJR! Однако первый из них называется «Nature Microbiology» и не рейтингуется, так как ему всего два года, а второй – «Genomic Medicine» (Nature Partner Journal) и не рейтингуется по той же причине. Как Вы думаете, какой SJR будет у этих изданий по истечении трех лет? Я думаю, что Вы предположили правильно!

11. Теперь об индивидуальных оценках, которые также свидетельствуют о том, что мы с физиками несоизмеримы. В 2016 г. в eLIBRARY появились предметные рейтинги советских и российских ученых. Вот эти показатели – мои (Автоматика. Вычислительная техника) и Паши Белова (Физика) – на декабрь этого года: число статей: у меня – 237, а у Паши – 360, но у меня 42 место, а у него – 487; цитируемость: у меня – 1739, а у Паши – 4818, но у меня 65 место, а у него – 711; индекс Хирша: у меня – 13, а Паши – 35, но у меня 218 место, а у него – 579. Как говорится, комментарии излишни.

12. И вообще, физикам о нас лучше забыть, потому что, когда они о нас вспоминают, я сразу думаю о Путине, неоднократно отмечающим наши успехи, и Медведеве, вручившем редкую для организаций России награду – «Почетную грамоту Правительства РФ». Как Вы думаете, за чьи достижения?

13. И еще. С нашими талантливыми детьми надо вести себя чрезвычайно деликатно, чему даже я научился, так как их ждут практически в любой компании мира, или они могут поступить практически в любую аспирантуру. Я делаю все возможное, чтобы ребята, поступающие в зарубежные аспирантуры, продолжали сохранять научные связи с Университетом ИТМО. При этом я имею в виду не только достаточно отработанный вариант с двойной аспирантурой, как это имеет место, например, с университетом Aalto, а и значительно более сложные случаи, такие, как, например, было у одной из наших выпускниц, поступившая в аспирантуру частного американского университета, занимающего 100-е место в мире, которому не нужны двойные аспирантуры, по крайней мере, ни с кем из наших.

14. Исходя из изложенного, прошу, наконец, «услышать» мои выступления на Ученом Совете Университета и принять разные показатели по SJR для компьютерщиков и физиков. По нашему мнению, для первых из них этот показатель может быть порядка 0,4-0,5 – что выше, чем максимум по конференциям, и поэтому для его достижения потребуется писать статьи, но не только по биологии. А то, что мы в течение нескольких лет выполняли эти показатели не должно масштабироваться на последующие годы, так как первый термин в названии нашего Университета – информационные технологии, а не биология и даже не физика.

15. А вот, что об этих показателях написал мне Алексей Сергушичев: «Если по принятым показателям группу Буздалова оказывается не надо поддерживать, то нафиг такие показатели. Он засылает дофига статей на топовые конференции, иногда пишет журнальные статьи, его приглашают на закрытые встречи профессоров Европы и проводить воркшопы на GECCO, студенты французы приезжают на стажировки, сотрудники научных конкурентов хотят приехать к нему на постдока, а еще у него есть куча аспирантов и скоро потоком пойдут защиты. Он растет в правильном направлении, и ему надо помогать. Его группа уже сейчас на хорошем международном уровне в области эволюционных алгоритмов и имеет большой потенциал для дальнейшего развития. При этом средний SJR по десятку его последних публикаций, включающих одну статью, составляет порядка 0,4-0,5, которые и надо принять для компьютерщиков».

16. Следует отметить также, что при оценке наших лабораторий значение SJR из года в год возрастает, а у журналов по нашей тематике – падает. В заключение «Соотношение типов периодических источников (журнальные статьи, материалы конференций в %) областям исследований в Scopus: биология – 90,7 и 2,7, физика – 90,5 и 7,3, информатика – 32,8 и 62,8 (Scopus: Руководство по охвату контекста. Elsevier. 2014. 23 стp.). У меня пока все!

29.06.2017 г.