Франкен-алгоритми: смертельні наслідки непередбачувані код


Опубликованно 13.09.2018 00:27

Франкен-алгоритми: смертельні наслідки непередбачувані код

18 березня 2018, був день технічні фахівці були в жаху. В ту ніч, нова місяць додав майже немає світла в погано освітленому чотирисмугова дорога в темпі, штат Арізона, так як спеціально адаптовані убер Вольво XC90 виявлення об'єкта попереду. Частина сучасна Золота лихоманка в розробці самокерованих автомобілів, позашляховик їхав самостійно, без будь-якої участі водія резервного копіювання людину, 19 хвилин. Масив радар і світловипромінюючих лидаров дозволили бортових алгоритмів розрахунку, що з урахуванням постійною швидкістю свого господаря корабля 43mph, об'єкт був шість секунд – за умови, щоб він залишався нерухомим. Але об'єкти в дорогах рідко залишаються нерухомими, так ще алгоритми обходу базу впізнаваний механічні та біологічні об'єкти, пошук нападі, з якого, швидше за все, це поведінка може бути виведено.

Спочатку комп'ютер намалював порожня; через кілька секунд, він вирішив, що має справу з іншим автомобілем, очікуючи його зігнати і не вимагають ніяких спеціальних дій. Лише в останню секунду було чітке визначення знайшли – жінка з велосипеда, сумки, висить близько від кермі, безсумнівно припускаючи, що Вольво буде маршрут по ній, як будь-який звичайний автомобіль. Заборонено маневрування на свій власний комп'ютер раптово передав управління назад у людини майстра, але майстер не звертав уваги. Елейн Герцберга, у віці 49 років, був вражений і убитий, залишаючи більше відбивна членів технічного співтовариства з двома незручні питання: це алгоритмічній трагедія неминуча? І як раніше такі випадки були у нас, ми повинні бути готові зробити?

“У певному сенсі ми втратили агентства. Коли програми проходять в код і передає код в алгоритмів і алгоритмів, то почати створювати нові алгоритми, він стає все далі і далі від людини. Програмне забезпечення випустила у Всесвіт код, який ніхто не може повністю зрозуміти".

Алгоритми починають створювати нові алгоритми, він стає все далі і далі від людини, - говорить Елен Ульман. Фото: Шон Сміт для опікуна

Якщо ці слова звучать шокуючі, вони повинні, хоча б тому, що Еллен Ульман, крім того, були видатний професійний програміст з 1970-х років, є одним з небагатьох людей, щоб написати все це красномовно свідчить про процес кодування. Там не так багато вона не знає про програмне забезпечення в дикій природі.

"Люди кажуть, 'добре, що про Facebook – їх створювати і використовувати алгоритми і вони можуть змінити їх. Але це не як це працює. Вони задають алгоритми і вчитися і змінюватися і працювати самі. Facebook періодично втручатися в їх хід, але вони реально не контролюють їх. А також окремі програми не тільки працювати самостійно, вони закликають бібліотек, глибокий операційних систем і так далі ..." Що таке алгоритм?

Дещо більше предметів або постійно гаряче обговорювали зараз, ніж алгоритми. Але що таке алгоритм? Насправді, використання змінилося в цікаві способи, з появою інтернету та пошукових систем зокрема – в середині 1990-х років. По суті, алгоритм-це невелика, проста річ; правило використовуються для автоматизації обробки даних. Якщо станеться, то не у; якщо ні, то робити с. Це "якщо/то/інакше" логіка класичних обчислень. Якщо користувач стверджує, що 18, вирішити їх на сайті; якщо ні, друк на жаль, ви повинні бути 18, щоб увійти". В ядрі, комп'ютерні програми являють собою набори таких алгоритмів. Рецепти для лікування даних. На мікрорівні, нічого не може бути простіше. Якщо комп'ютери, як видається, виконують магія, це тому, що вони швидкі, не розумний.

В останні роки спостерігається більш зловісною і неоднозначним сенсом виникають при слові "алгоритм" розуміється будь великий, складний процес прийняття рішень програмного забезпечення системи; будь-які засоби приймати масив вхідних даних і оцінки його швидко, по заданому набору критеріїв (або "правила"). Це революціонізував областях медицини, науки, транспорту, зв'язку, що робить його легко зрозуміти утопічність вид обчислень, які панували на протязі багатьох років. Алгоритми зробили наше життя краще в міріади способів.

Лише з 2016 року і більш ретельного розгляду наших нових алгоритмічних реальності почали приймати форму. Якщо ми продовжуємо обговорювати алгоритми майже біблійні терміни, як самостійні сутності зі живе своїм життям, це тому, що ми були заохочені думати про них таким чином. Корпораціям зразок Facebook і Google продають і захищали свої алгоритми на обіцянку об'єктивності, здатності зважувати набір умов з математичної загону і відсутність нечітких емоцій. Не дивно, що таких алгоритмічних рішень поширився на надання кредитів/ порука/допомоги/коледж місцях/співбесідах і майже всі вимагає вибір. Зброя знищення математики Кеті о'ніл відгук – проблеми з алгоритмами Детальніше

Ми більше не приймаємо тангажу сбываний для цього типу алгоритму так безмовно. У своїй книзі 2016 зброю знищення математики, Кеті о'ніл, колишній математичний вундеркінд, який покинув Уолл-Стріт, щоб навчити писати і запускати відмінний блог mathbabe, показало поза всяким сумнівом, що далеко від викорінення людських похибок, алгоритми можуть звеличити і зміцнити їх. Адже програмне забезпечення написано переважно багатих білих і азіатських чоловіків – і це неминуче відображати свої припущення (Гугл "расистські мила", щоб побачити, у що це виллється в ще приземленою реальних життєвих ситуаціях). Упередженість не вимагає злоби, щоб стати шкоди, та на відміну від людської істоти, ми не можемо легко встановити алгоритм воротаря, щоб пояснити своє рішення. О'ніл закликав до "алгоритмічні аудит" будь-яких систем, безпосередньо зачіпають суспільні, слушна думка, що ІТ-індустрії будуть битися з усіх сил, тому що алгоритми, які компанії продають; останнє, що вони будуть добровільно-це прозорість.

Гарна новина полягає в тому, що ця боротьба ведеться. Погана новина полягає в тому, що він вже дивиться дивний щодо того, що буде далі. Так багато уваги було зосереджено на далеких обіцянок і погроз, штучний інтелект, ШІ, що майже ніхто не помітив, ми переходимо на новий етап алгоритмічної революції, яка могла б бути так само загрожує і дезорієнтує – не питання.

Кеті о'ніл показав, що алгоритми можуть збільшити людські упередження. Фото: Адам Моргенштерн

Алгоритми потрапляє на о'ніл та інші непрозорі, але передбачуваною: вони роблять те, що вони були запрограмовані. Досвідчений верстальник може в принципі розглядати і оскаржувати їх основи. Деякі з нас мріють про цивільну армії для виконання цієї роботи, схожі на мережу астрономів-любителів, які підтримують професіоналів у цій галузі. Законодавство, що дозволяє це здається неминучим.

Ми можемо назвати ці алгоритми "тупий" в тому сенсі, що вони виконують свою роботу у відповідності з параметрами, визначеними людьми. Якість результату залежить від думки і майстерність, з якою вони були запрограмовані. На іншому кінці спектру знаходиться більш чи менш віддаленому мрія людини-як штучного загального інтелекту, або АГИ. Правильно розумні машини могли б засумніватися в якості його власні розрахунки, засновані на щось на зразок нашої власної інтуїції (які ми сприймаємо як широкий накопичення досвіду і знань). Щоб поставити це в перспективі, DeepMind відділу компанії Google по праву хвалили за створення програми, здатної освоєння аркадних ігор, починаючи з не більш ніж вказівка на мету на максимально можливий результат. Ця техніка називається "навчання з підкріпленням" і працює, тому що комп'ютер може грати мільйони гри швидко для того, щоб дізнатися, що генерує очок. Деякі називають цю форму можливості "штучного інтелекту вузький", але от слово "інтелігент" використовується як Facebook використовує слово "друг" – має на увазі щось безпечніше і краще розуміли, чим це. Чому? Тому що машина не має зв'язку за те, що він робить і не може робити нічого іншого. Ні, найголовніше, може це передача знань від однієї гри до іншої (так званий "перенесення навчання"), що робить його менш, як правило, розумніші малюка, і навіть каракатиці. Ми могли б також назвати нафтова вишка або тля "розумний". Комп'ютери вже значно перевершує нас у певні спеціалізовані завдання, але в день їх суперником наші загальні здібності-це, ймовірно, ще далеко, – якщо це коли-небудь відбудеться. Людські істоти не може бути багато, але ми другий найкращий на значний асортимент речей.

Ось в чому проблема. Між "тупий" фіксованих алгоритмів і правда ІІ лежить проблемний будинок на півдорозі ми вже увійшли не думала і практично без обговорення, набагато менше згоди в цілях, етики, безпеки, передової практики. Якщо алгоритми навколо нас ще не розумні, що означає можливість самостійно сказати", що розрахунок курсу дій, не так: я зроблю це знову", вони тим не менш починають вчитися на своїх середовищах. І як тільки алгоритм навчання, ми вже не знаємо до будь ступенем впевненості, що її правила і параметри. В який момент ми не можемо бути впевнені, як він буде взаємодіяти з іншими алгоритмами, фізичний світ, або нас. Де "тупий" фіксовані алгоритми – складні, непрозорі і звикли до моніторингу в реальному часі, оскільки вони можуть бути в принципі передбачувано і interrogable, вони не. Через деякий час в дикій природі, ми вже не знаємо, чим вони: у них є потенціал, щоб стати нестійкою. Ми може виникнути спокуса назвати ці "frankenalgos" – хоча Мері Шеллі не міг би зробити це. Зіткнення коди

Алгоритми починають вчитися у своїх середовищах. Ілюстрації: Марко Горан Романо

Ці алгоритми не є новими самі по собі. Я вперше зіткнувся з ними майже п'ять років тому, коли готувала матеріал для статті в "Ґардіан" про високочастотна торгівля (hft) на фондовому ринку. Те, що я знайшов, був Надзвичайний: штучний цифрової екосистеми, розподіляється між стійками чорних ящиків причаївся, як ніндзя в мільярдний даних господарств – це те, що фондові ринки стали. Там, де раніше була фізична торгової майданчику, всі акції були передані на Центральний сервер, в якому моторні, хижі алгоритми харчувався лісопиляння інституційні, умовляти їх продати нижчих і вищих купити дурача їх, як на стан ринку. Трейдерам людини ВЧТ (хоча немає людини активно торгуються більше) назвав ці великі, повільні учасники "китів", і в основному вони належали взаємних і пенсійних фондів – тобто громадськості. Для більшості ВЧТ магазини, китів тепер були основним джерелом прибутку. По суті, ці алгоритми намагаються перехитрити один одного; вони робили невидиме бій зі швидкістю світла, розміщення та скасування одного порядку 10000 разів в секунду або грюкнувши стільки в системі, що весь ринок трусонув – і все без будь-якого нагляду або контролю людини. Швидкі гроші: боротьба з високочастотним трейдерам Детальніше

Ніхто не може бути здивований, що ця ситуація була нестійкою. "Флеш-креш" відбулося у 2010 році, протягом яких ринок йшов у вільному падінні протягом п'яти травматичних хвилин, потім розрядилася протягом ще п'яти – без видимих причин. Я поїхав до Чикаго, щоб побачитися з людиною на ім'я Ерік Hunsader, чиї дивовижні навички програмування, дозволили йому бачити ринкові дані в набагато більш докладно, ніж регулятори, і він показав мені, що до 2014 року, "міні флеш збої" відбувалися щотижня. Навіть він не зміг довести, чому саме, але він і його співробітники почали назвати деяких "алгос" вони побачили, як обрізати колом мисливці назвали утворень в англійській мові літні поля, назвавши їх "Дика штучка", "Зума", "клацання" або "Руйнівник".

Ніл Джонсон, фізик, який спеціалізується на складності в університеті Джорджа Вашингтона, провели дослідження волатильності фондового ринку. "Це цікаво", - сказав він мені. “Я маю на увазі, люди говорили про екологію комп'ютерних систем на роки в невизначеному сенсі, в плані вірусів, черв'яків і так далі. Але от реально працюючі системи, які ми вивчаємо. Велика проблема полягає в тому, що ми не знаємо, як це працює або що це може породити. І ставлення, здається, 'з очей геть, із серця геть'". Facebook буде стверджувати, що вони знають, що відбувається на мікрорівні ... але те, що відбувається на рівні населення? Ніл Джонсон

Істотно, Джонсон папери на цю тему було опубліковано в журналі Nature і описали фондового ринку в умовах різкого загальносистемного переходу від змішаних людино-машинних етап нової машини фаза характеризується частими Чорний лебідь [тобто досить незвичайні події з ультракороткими тривалостями". Сценарій був складний, на думку історик науки Джордж Дайсон, той факт, що деякі ВЧТ фірми дозволяючи алгос, щоб дізнатися – “просто дозволяючи чорного ящика спробуйте різні речі, з невеликих сум грошей, а якщо він працює, закріплюють ці правила. Ми знаємо, що це було зроблено. Тоді ви насправді є правила, де ніхто не знає, які правила є: алгоритми створюють свої власні правила – ви дозволяєте їм розвиватися таким же чином природа еволюціонує організмів". Не фінансової індустрії спостерігачі почали постулат катастрофічного глобального "сплеск аварії", в той час як динамічно-розвивається область ринку став (і залишається) документів, які прибули з волатильності. У романі 2011 року індекс страху Роберт Харріс уявив поява АГІ – сингулярності, не менше – саме ця цифрова іл. На мій подив, жоден учений не говорив я б категорично відкинув таку можливість.

Все це може бути звільнений у високих фінансів аркани, якщо б не простий факт. Мудрість використана для того, щоб тримати, що технологія була прийнята перша в порноіндустрії, а потім всі інші. Але в 21 столітті порно-це Фінанси, тому, коли я думав я бачив ознаки ВЧТ-подібні алгоритми, які викликають проблеми в іншому місці, я знову подзвонив Ніл Джонсон.

"Ти прямо в точку:" він сказав мені: нова форма алгоритм рухається в світ, який має "можливість переписати біт власного коду", в якій точці це буде, як "генетичний алгоритм". Він думає, що він бачив свідчення того, що їх насправді-пошуку набіги на Facebook ("я мав мої рахунки атакований чотири рази", - додає він). Якщо так, алгоритми лицарські там, і адаптацію, як на фондовому ринку. "Зрештою, Facebook-Це просто один великий алгоритм", - говорить Джонсон.

'Facebook-Це просто один великий алгоритм, - говорить фізик Ніл Джонсон. Фотографії: Крістоф Морен/ИП3/Getty зображення

“І я думаю, що це саме те питання, на Facebook є. Вони можуть мати прості алгоритми, щоб визнати моє обличчя на фотографії на чужій сторінці, взяти дані з мого профілю і зв'язати нас разом. Це дуже простий конкретний алгоритм. Але питання в тому, що ефект від мільярдів таких алгоритмів, що працюють разом на макрорівні? Ви не можете передбачити поведінки на рівні населення від мікроскопічних правил. Так що Facebook стане стверджувати, що вони точно знають, що відбувається на мікрорівні, і вони, ймовірно, були б праві. Але що відбувається на рівні населення? Це питання".

Щоб підкреслити цей момент, Джонсон і колеги з Університету Майамі і Нотр-Дам підготувала документ, поява екстремальних Субпопуляцій із загальної інформації і, ймовірно, підвищення у майбутніх сполучних алгоритмів, призначених для математично довести, що спроби поєднати людей в соціальних мережах неминуче поляризує суспільство в цілому. Він думає, що Facebook і інші моделі (або моделі) наслідки їх алгоритми в дорозі кліматологів модель зміни клімату або погодних умов. Магічне мислення про машинному навчанні не принесе реальність ІІ ближче | Джон Нотон Детальніше

О'ніл каже, що вона свідомо основі цього адаптивного вигляді алгоритму з зброї руйнування математики. У звивистих алгоритмічної середовищі, де нічого не зрозуміло, перекладаючи відповідальність на певні сегменти коду буде вкрай складно. Це робить їх легше ігнорувати або звільнити, тому що вони та їх наслідки важче виявляти, пояснює вона, перш ніж радити, що якщо я хочу побачити їх у дикій природі, я повинен запитати, що флеш-аварії на Amazon може виглядати.

"Я дивився на ці алгоритми, занадто," говорить вона, "і я подумав:" о-о, великі дані ще не дійшли.' Але зовсім недавно друг, який продає книги на Amazon вже розповідав, як божевільна цінова ситуація стала для людей, подібних йому. Кожен так часто ви побачите когось чірікать 'Гей, ви можете придбати розкішну пряжу на Amazon за $40 000'. І всякий раз, коли я чую такі речі, я думаю: - Ах! Це, мабуть, еквівалент флеш-краш!'"

Непідтверджена інформація про аномальні події на Amazon в достатку, у вигляді ниток з спантеличених продавців, і не менше одного академічного папери з 2016 року, яка стверджує: "прикладів, виникли випадки, коли конкуруючі частини алгоритмічній ціноутворення програмного забезпечення взаємодіяти самим несподіваним чином і призвело до несподіваних цін, а також випадки, коли алгоритми були спеціально розроблені для здійснення фіксації цін." Проблема, повторюся, полягає в тому, як розподілити відповідальність в хаотичному алгоритмічній умовах, коли прості причини і слідства не застосовується або майже неможливо простежити. Як у фінансах, заперечення випікається в систему. Реальних небезпек

Де безпека стоїть на кону, це дуже важливо. Коли водій з'їхав з дороги і загинув в Тойота Камрі після появи прискорити дико без видимих на те причин, фахівці НАСА провели шість місяців вивчав мільйони рядків коду в операційну систему, не знайшовши доказів, що сім'я водія вважали, що сталося, але виробник наполегливо заперечував, що автомобіль прискорився по своїй власній волі. Тільки коли пара вбудованих програмних експерти провели 20 місяців копання в коді вони змогли довести, що справи цієї сім'ї, розкриваючи спотворена маса того, що програмісти називають "спагетті-код", повне алгоритмів, які штовхалися і боролися, створюючи аномальний, непередбачений вихід. Автономних автомобілів, в даний час проводиться перевірка, може містити 100 млн рядків коду, і, враховуючи, що програміст не може передбачити всі можливі обставини, на реальній дорозі, вони повинні вчитися і отримувати постійні оновлення. Як ми можемо уникнути зіткнення в такому середовищі рідини код, не в останню чергу, коли алгоритми можуть і повинні захищати себе від хакерів? У вас є всі ці шматки коду, що працює на айфони людей, і в сукупності вона виступає як один багатоклітинний організм Джордж Дайсон

Двадцять років тому, Джордж Дайсон передбачив багато чого з того, що відбувається сьогодні у своїй класичній книзі "Дарвін серед машин". Проблема, він мені каже, що ми будуємо системи, які знаходяться за межами наших інтелектуальних засобів керування. Ми вважаємо, що якщо система детермінована (діючи у відповідності з встановленими правилами, це визначення алгоритму) це передбачувано – і що, що передбачуваний може бути контрольованою. Обидва припущення виявляються невірними.

"Це розгляд самостійно, маленькі біти і шматки", - говорить він. “Те, що я був одержимий 20 років тому, що повністю захопили світ сьогодні багатоклітинні багатоклітинні цифрових організмів, точно так само ми бачимо в біології, звідки у вас всі ці шматки коду, що працює на айфони, і в сукупності вона виступає як один багатоклітинний організм.

“Є такий старий закон, який називається Ешбі закон, який говорить, що система управління має бути так само складна, як система контролює, і у нас, що на повній швидкості тепер, з цим величезним поштовхом для створення самокерованих автомобілів, де програмне забезпечення повинно мати повну модель, і майже за визначенням ми не збираємося зрозуміти його. Тому що будь-яка модель, ми розуміємо, будемо робити те, що подобається зіткнутися викликати пожежну машину ми забули поставити в пожежну машину".

На відміну від наших старих електро-механічних систем, ці нові алгоритми також неможливо перевірити докладним чином. Поки у нас є супер-розумні машини, щоб зробити це для нас, ми будемо ходити по канату.

Федеральні слідчі вивчають самостійного водіння автомобіля убер, що беруть участь в ДТП зі смертельним результатом в tempe, Arizona. Фото: Рекламний Проспект/Рейтер

Дайсон питання, чи будемо ми коли-небудь самостійного водіння автомобілів, вільно бродять по вулицях міста, в той час як Тобі Уолш, професор штучного інтелекту в університеті нового Південного Уельсу, який написав свою першу програму в віці 13 років і провів slapshot обчислювальної справа його пізньому підлітковому віці, пояснюється з технічної точки зору, чому це відбувається.

“Ніхто не знає, як написати шматок коду, щоб визнати знак "стоп". Ми витратили роки намагається робити такого роду речі в AI – і провалився! Це було досить заглох з нашої дурості, тому що ми не достатньо розумні, щоб навчитися розбивати задачу. Ви виявите, коли ви програмуєте, що ви повинні навчитися розбивати задачу на досить прості частини, що кожен може відповідати комп'ютер інструкція [машини]. Ми просто не знаємо, як це зробити, що для такої складної проблеми, як визначення знаку стоп або перекладати речення з англійської на російську – це за межами наших можливостей. Всі ми знаємо, як написати більш загальний алгоритм призначення, які можуть навчитися робити що дав достатньо прикладів".

Отже, нинішній акцент на машинному навчанні. Тепер ми знаємо, що Герцберг, пішохід убитий автоматизованої убер машину в Арізоні, загинули, тому що алгоритми коливався у правильній класифікації її. Це був результат поганого програмування, недостатньо алгоритмічне навчання або зарозуміле небажання оцінити межі наших технологій? Реальна проблема полягає в тому, що ми можемо ніколи не дізнатися. Як алгоритми штовхають технологічних гігантів в небезпечну зону Детальніше

"І ми в кінцевому підсумку відмовитися від написання алгоритмів", Уолш продовжує: "тому що машини будуть в змозі зробити це набагато краще, ніж ми коли-небудь могли. Програмна інженерія-в цьому сенсі, можливо, вмираючої професії. Це збирається бути взяті на машини, які будуть набагато краще, ніж ми".

Уолш вважає, що це робить його більш, не менш, важливо, щоб громадськість дізнатися про програмування, тому що чим більше ми стаємо відчуженими від неї, тим більше здається, що магія за межами нашої здатності впливати. Коли показане визначення поняття "алгоритм", наведений раніше у цій частині, він вважав неповними, коментуючи: "я хотів би запропонувати, проблема в тому, що алгоритм означає, що тепер будь великий, складний процес прийняття рішень програмна система і середовище, в яку він вбудований, що робить їх ще більш непередбачуваними." Лякає думка, дійсно. Відповідно, він вважає, етики, новий рубіж в технології, передбачаючи "золотий вік філософії" – точка зору, з якої Юджин Спеффорд з Університету Пердью, експерт з кібербезпеки, згодна.

“Де є вибір, ось де етика приходить. І ми, як правило, хочуть мати агентство, яке ми можемо допитати або звинувачувати, що дуже важко зробити за допомогою алгоритму. Це одне зі слабких місць цих систем до сих пір, в тому, що неможливо повернутися в минуле і проаналізувати, чому саме деякі рішення приймаються, тому що внутрішній вибір настільки великий, що, як ми дісталися до цієї точки не може бути те, що ми можемо коли-небудь recreateto довести винність сумнівів не викликає".

Контр-аргумент, що після того, як програма лізла, все населення програми можуть бути переписані або змінені, щоб не повторилося – на відміну від людей, чия схильність повторювати помилок, безсумнівно, заворожують розумні машини майбутнього. Тим не менш, при автоматизації повинні бути безпечними в довгостроковій перспективі, в нашій існуючій системі деліктного права, яке потребує доведення наміру або недбалості, повинні бути переосмислені. Собака не несе юридичної відповідальності за те, що вкусив вас, його власника можна, але тільки якщо дії собаки думали осяжному. У алгоритмічної середовищі, багато несподіваних результатів не може бути передбаченою для людини – об'єкт з потенціалом, щоб стати Статутом негідник, в якому навмисне заплутування відразу стає легше і більш корисним. Фармацевтичні компанії скористалися охоплюють складності протягом багатьох років (див. справу Талідомід), але от наслідки можуть бути більше і складніше зворотного. Військові ставки

Комерція, соціальні медіа, фінансів та транспорту може виглядати як невеликий пивний у майбутньому, однак. Якщо військові більше не стимулює інновації, як це було раніше, залишається найбільш вагома техніка усиновлювача. Немає нічого дивного в тому, що вилив стурбованість серед науковців і технічних працівників супроводжувалося викриттями, що автономне зброю ореоли на полі бою, що являє собою Алгоритмічна гонки озброєнь. Робот-снайпер в даний час політики в демілітаризованій зоні між Північною і Південною Кореєю, і в той час як його Виробник, Samsung, позбавляє її самостійності, це твердження широко зневірилася. Росія, Китай і США всі претендують на різних стадіях розробки рої узгоджених, боєприпас Дронов , а другі плани ракет, здатних літати над полем бою протягом декількох днів, спостерігаючи, перш ніж вибрати свої власні цілі. Група співробітників компанії Google подала у відставку і ще тисячі допитаний технік моноліту надання машинного навчання програмне забезпечення для Пентагону maven-проекту "алгоритмічні війни" і відноситься до керівництво якого, зрештою, не погодився продовжувати контракт Мэйвен і опублікувати етичний кодекс для його застосування алгоритмів. На момент написання конкурентів, включаючи Amazon і Microsoft чинили опір наступний костюм.

Співробітники Google пішов у відставку за надання машинного навчання програми Пентагону 'алгоритмічній війни'. Фотографія: Майк Блейк/Рейтер

Поряд з іншими технологічними компаніями, в Google стверджували, що моральні чесноти для свого програмного забезпечення Мэйвен: що це допомогло б вибирати цілі більш ефективно і тим самим врятувати життя. Питання, як менеджери можуть знати, що їхні алгоритми будуть робити або бути спрямовані не на місці, особливо враховуючи впевненість в тому, що всі сторони будуть розвивати адаптивні алгоритмічні лічильник-систем, призначених, щоб заплутати супротивника. Як на фондовому ринку, непередбачуваність, ймовірно, буде розглядатися як актив, а не фора, давати зброю більше шансів протистояти спробам підірвати їх. У цих та інших заходів ми ризикуємо, по суті, на наших машинах навиворіт, обертаючи наше повсякденне матеріальному світі в спагетті-код.

Люсі Suchman з Ланкастерського університету у Великобританії співавтором відкритого листа від дослідників технології Google, з проханням задуматися про Раш мілітаризувати свою роботу. Мотивація IT-компаній легко зрозуміти, що вона каже: військові контракти завжди були прибутковою справою. Для Пентагону це частина, велику мережу датчиків і систем відеоспостереження бігти попереду будь-яку можливість використовувати стяжки з даних, придбаних.

“Вони перевантажені даними, тому що вони мають нові способи збору і зберігання, але вони не можуть його обробити. Так що це в принципі марно – якщо не станеться щось чарівне. І я думаю, що їх підбір великих компаній даних-це форма магічного мислення у змісті: 'тут якась магія, що технологія буде мати сенс всього цього'". 'Фантастика випереджаючи реальність: як алгоритм Ютуб спотворює правду Детальніше

Suchman також пропонує статистичні дані, які проливають світло на леденять Мэйвен. За даними аналізу, проведеного атак безпілотників у Пакистані з 2003-13, менше 2% людей, убитих таким способом, що підтверджується як "високі цілі", представляючи явну загрозу для Сполучених Штатів. В районі 20% вважаються некомбатантами, залишивши більше 75% невідомо. Навіть якщо ці цифри були в два або три, або чотири – вони дали б будь-яка розумна людина робить паузу.

“Отже, ми маємо дуже сирий технології ідентифікації і що Мавен проект пропонує зробити, це автоматизувати, що. В який момент вона стає навіть менше, підзвітним і відкритим для допиту. Це дуже погана ідея".

Колега Suchman Лілі Ірані, в університеті Каліфорнії, Сан-Дієго, нагадує нам, що інформація подорожує по алгоритмічної системи зі швидкістю світла, без нагляду людини. У технічних дискусіях часто використовуються в якості димової завіси, щоб уникнути відповідальності, припускає вона.

“Коли ми говоримо про алгоритми, іноді те, що ми говоримо про бюрократії. Алгоритм рішення дизайнерів і експертів в області політики роблять підносяться як об'єктивні, де в минулому хтось повинен був взяти на себе відповідальність за них. Технологічні компанії говорять, що вони лише підвищують точність з maven – тобто право людей будуть вбивати, а не неправильні – і в тому, що політичне припущення, що ці люди на іншій стороні планети більш убиваемый, і що американські військові отримує, щоб визначити, що підозра, схоже, залишаються без уваги. Тому питання технології використовуються щоб закрити деякі речі, які насправді є політичними питаннями. Вибір алгоритмів, що використовуються для автоматизації окремих видів рішень надто політичним".

Правових конвенцій сучасної війни, якими б недосконалими не були, припускають відповідальність людини за прийняті рішення. Принаймні, алгоритмічні війни каламутить воду в дорозі ми можемо рости, щоб шкодувати. Група урядових експертів обговорює це питання у Конвенції ООН про конкретних видів звичайної зброї (КНО) зустрічі в Женеві цього тижня. Пошук рішення

'В принципі, нам потрібна нова наука, - говорить Ніл Джонсон. Ілюстрації: Марко Горан Романо

Рішення вже існують або можуть бути знайдені для більшості проблем, описаних тут, але не без стимулювання великих технологічних розмістити здоров'ю суспільства нарівні з їх нижній лінії. Більш серйозними в довгостроковій перспективі зростає припущення, що нинішні методи програмування вже не придатний для цілей, враховуючи масштаби, складність і взаємозалежність алгоритмічних систем, які ми все більше покладаються на. Одним з рішень, використовуваних Федеральне управління цивільної авіації щодо комерційної авіації, реєструвати та оцінювати зміст всіх програм і подальшого оновлення до такого рівня деталізації, який алгоритмічних взаємодій добре зрозумілі заздалегідь – але це непрактично у великих масштабах. Частини авіаційно-космічної промисловості використовують відносно новий підхід, званий модельно-орієнтоване програмування, в якому машини роблять велику частину роботи кодування і здатні перевірити, як вони йдуть.

На основі моделі програмування не може бути панацеєю деяку надію, однак. Він не тільки штовхати людей ще далі від процесу, але Джонсон, фізик, провели дослідження для Міністерства оборони, що знайшли "крайнього поведінки, які не могли бути виведені з самого коду" навіть у великих, складних систем, побудованих з використанням цієї техніки. Багато енергії спрямовується на пошук шляхів, щоб відстежувати несподівані алгоритмічне поведінка назад в певні рядки коду, які його викликали. Ніхто не знає, якщо рішення (або рішення) будуть знайдені, але ніхто не може працювати, де агресивні алгоритми призначені для зіткнення і/або адаптації. Нові темні століття Джеймсом коментар вуздечку – технологія і кінець майбутнього Детальніше

Поки ми чекаємо технологічний відповідь на проблему різкого зростання алгоритмічній обвиття, є запобіжні заходи, які ми можемо зробити. Підлогу Уилмотт, британський експерт в області кількісного аналізу і критик високочастотної торгівлі на фондовому ринку, іронічно радить "навчитися стріляти, варити варення і в'язати". Більш практично, Спеффорд експерт з безпеки програмного забезпечення, радить оформлення технологічних компаній, відповідальних за дії своїх продуктів, будь то конкретні рядки коду ізгоїв, або документ, що підтверджує недбалість по відношенню до них можуть бути визначені чи ні. Він зазначає, що поважний Асоціації обчислювальної техніки оновив свій етичний кодекс, за аналогією з клятвою Гіппократа в медицині, в обчислювальній доручити професіоналам, щоб не нашкодити і розглядати більш широкі наслідки їх роботи. Джонсон, у свою чергу, вважає наш алгоритмічній дискомфорту, принаймні частково, концептуальну; болі зростання в нову сферу людського досвіду. Він сміється, зазначаючи, що, коли він і я в останній раз говорив про це кілька років тому, мої питання були ніші проблем, тільки кілька людей, які трудилися над фондовому ринку в гоже деталь.

“І тепер, тут ми – це відбилося навіть на виборах. Я маю на увазі, якого біса відбувається? Я вважаю, що глибоко наукові, що інженери навчені, писати програми, робити те, що оптимізувати – і не без підстав, бо ти часто оптимізація по відношенню до речі, як розподіл ваги в літаку, або найекономічніших швидкість: у звичайних, очікуваних умовах оптимізації має сенс. Але у незвичайних обставинах, це не так, і ми повинні запитати: яке найгірше, що може статися в цьому алгоритмі, як тільки він починає взаємодіяти з іншими?' Проблема у нас навіть немає слова для цього поняття, значно менше науки, що вивчають його."

Він завмирає на мить, намагаючись обернути свій мозок навколо цієї проблеми.

“Справа в тому, що оптимізація це все про максимізації або мінімізації те, що з точки зору комп'ютера збігаються. Так що на відміну від оптимізації, тобто найменш оптимальному випадку, і як ми можемо визначити і виміряти? Питання, яке ми повинні запитати, що ми ніколи не робимо, полягає в тому, що це самий крайній можливої поведінки в системі, я думав, що я оптимізував?'"

Ще одна коротка тиша закінчується з натяком на здивування в голосі.

"В принципі, нам потрібна нова наука", - говорить він.

Ендрю Сміта повністю дротовий: зліт і падіння Джошуа Харріс і Великої Доткомів шахрайство будуть опубліковані Гай Атлантики в лютому наступного року


banner14

Категория: Наука