e3 automating curation

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22ase%3E%3D3.25%22%2C%0A%23%20%20%20%20%20%22httpx%3E%3D0.28%22%2C%0A%23%20%20%20%20%20%22marimo%3E%3D0.24%2C%3C0.25%22%2C%0A%23%20%20%20%20%20%22marimol%3D%3D0.3.2%22%2C%0A%23%20%20%20%20%20%22matplotlib%3E%3D3.10%22%2C%0A%23%20%20%20%20%20%22mograder%3E%3D0.3.3%22%2C%0A%23%20%20%20%20%20%22numpy%3E%3D2.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20from%20js%20import%20self%20as%20js_self%0A%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%0A%0A%20%20%20%20%20%20%20%20_worker_dir%20%3D%20str(js_self.location.href).rsplit(%22%2F%22%2C%201)%5B0%5D%0A%20%20%20%20%20%20%20%20_site_root%20%3D%20_worker_dir.rsplit(%22%2F%22%2C%201)%5B0%5D%20%2B%20%22%2F%22%0A%20%20%20%20%20%20%20%20%23%20The%20wheel's%20filename%20carries%20the%20client%20version.%20Reading%20it%20from%20the%20manifest%20that%0A%20%20%20%20%20%20%20%20%23%20scripts%2Fbuild_client_wheel.py%20writes%20keeps%20that%20version%20out%20of%20every%20notebook%2C%20so%0A%20%20%20%20%20%20%20%20%23%20a%20client%20release%20does%20not%20mean%20editing%20five%20files.%0A%20%20%20%20%20%20%20%20_wheel%20%3D%20open_url(_site_root%20%2B%20%22public%2Fclient-wheel.txt%22).read().strip()%0A%20%20%20%20%20%20%20%20await%20micropip.install(_site_root%20%2B%20%22public%2F%22%20%2B%20_wheel%2C%20deps%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%20%20%20%20_client_src%20%3D%20Path(__file__).resolve().parents%5B3%5D%20%2F%20%22client%22%20%2F%20%22src%22%0A%20%20%20%20%20%20%20%20if%20_client_src.exists()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_client_src))%0A%20%20%20%20client_path_ready%20%3D%20True%0A%20%20%20%20return%20(client_path_ready%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(client_path_ready)%3A%0A%20%20%20%20import%20os%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20ase.build%20import%20bulk%2C%20surface%0A%20%20%20%20from%20mlipschool_client%20import%20(%0A%20%20%20%20%20%20%20%20EndpointConfig%2C%0A%20%20%20%20%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20%20%20%20%20ServiceError%2C%0A%20%20%20%20%20%20%20%20resolve_endpoint_defaults%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mograder.runtime%20import%20check%2C%20hint%0A%20%20%20%20from%20mograder.transport.workshop%20import%20reveal_solution%2C%20fetch_released_keys%0A%0A%20%20%20%20assert%20client_path_ready%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20EXERCISES%20%3D%3D%3D%0A%20%20%20%20EXERCISES%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Q1%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22DgQGAxYNSFJPAAQfHVgBDQ9BDAQCBQoVWw8NAUccAgMFLxcGGwwdBR0YBgIASkRPHAUXCVQTHBYGG0NMHwkZHBIADVIpDQEfDFlaaTcbHQ0EAgAeFENVTwEcQw8GHhACHAoBDRkJQSsdE0YOHA0fHggJWxEHGBxFTQoGAlMRBxgcTAQCSQQBAgEBBgIKMw0VAAAaBh8YAh4aLVppNxwMAx8JGlBOQzMyZQoCHkkvAQwfHE8FA0wZHxwPNwsKHw4eAAAHDBocVWZNTElQLAIcAAIfTVFJHgNNCRwOHh8NEFgsEQcYHEBNCB0JAwZVCQMDDBhAelNDSE8wCAQfHREdAA1PUkwDHEccGg0JAwhCAwMbHVtpSE9PTE1MSVAsAhwAAh82VkVQPQwGCkNMVzFJXVM8HB0OBQMFBxcoLQcBCkBNVkVQST5ETw4UBB9UQnlDSE9PRUMBAB5bAhAGHFFcRWNQU0NIMBwPAh4MA10CGB8KAglEDxwcAhxHMAgEHx0RHQANQQINFURAWVppCwcAHwgCSU1TDwEcG0QDHEcRAQQbAB0YRTMaExwRDRxGN1dWREEuOFIMABkDGDRZ%22%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22Q2%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22Aw0ABhY8BQoOAjIFBxQWG0hSTwoBAwgEW2lIT09MAxxHHRYCBkc0MwQCDRULQw4AHUwyHgYHUwoGTwENBBoMLxsKGxsAHhRMDx8BQzcGAQgIFEkZHUM3HQAbNk4ZGRAIG00yMURmQHoUFgELCggyAQwRHTwBAQsJFUxUUBUPBw4bRGdMSVBTDRhBAgkMAkErLAoGCwoUTQoGAlM8GgAYTAQCSRcGCgwKCzMFBRoEHBERTwkDH0w2GR0HDRdPBQNMNgIcFDNNHwUOBxpSLj5BZUY%3D%22%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22Q3%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22HwkaABwNGwowGAgUHVBOQ0BlT0xNTEskGwZICBoFCQkNUBcRARkKHk0fGRUdBxtPBhgeTAsFFwQNG08DA0wKHx0FAQgaHgwYAB8dEEgbBwlNAQYUFg9IBw4fTQIGBFMQDQoBQE1OY1BTQ0hNHANNCQgTG0MEDg0JAUwKEQERAQocTAQCDx8BDgkbBgMDTB0YFkMOBhtMCQUNUB0MHE8OAB8JCBQKQwsAARgMBQdcUxQABgMJTRgBFVNBYk9PTE1OBxEaFQ1PCx4EGgwCUwgNCh8fTRwICRoND08JAx9MBxUSEUULGhwBBQoRBwYbTwAKTR8dAgYAHBodCR5MAARTAgQdCg0JFUkYEhBGT01mTUxJUFE3AApPAAQBAARTChtPGwQMGEkeHBUNAxsVTQUaUB0MHE8bBAhMGhEeBkgOHEwEARkfARcJAQwJV0wIUAANCR8cBAIYSRMSDUgNCkwLDRtQUWlIT09MTwobHx5DHAcKTBkeCBkdCgYITx8IGEkRHQdIBh0eCAAMBhINHE8bA00YARVTExoAHwkfGBBQEQYBAQhMCh4IFBYHRE8OAglMDQkdAgUGDB9NTmNQU0NITR0ZA0weGQcLSA5PDgwISQAcFw0BGwUMAEkdEhpIAQoaCB5JBhoQARtPGAUJSQIWBAEAAUwZBAgEUw4JGxsJHx9JEQdDCQMDQk1OY1BTQ0hNKwUeGAgeEAZIBgFMDEwPGQsGDE8LCR4PGxkDFwcdTw4MHwADUwobTw4AHgNJEVMTGgAXFU0KBgJTFgYMCh4ZDQAeBxpIHQ4YBQkbUAcLCQFPTmdMSVBTQQlPAgkMHxwCFg4NARtMAgpJGQdPSBgHBQ4ESRkAQx8HDhhNDUkTHA4FBhsYCAlJHxVDBQALCQEfSRUAFwECDhgIH0kUGhENDBsAFEJLelo%3D%22%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%0A%20%20%20%20SALT_HASH%20%3D%20'2e460abcc67ad258517c2b341461185fa8ce8308ff505645dbcffbb9dd05d272'%0A%20%20%20%20KEYS_URL%20%3D%20'https%3A%2F%2Fkeys.mlipschool.uk%2Fe3%2Fkeys.json'%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20EXERCISES%2C%0A%20%20%20%20%20%20%20%20EndpointConfig%2C%0A%20%20%20%20%20%20%20%20KEYS_URL%2C%0A%20%20%20%20%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20%20%20%20%20SALT_HASH%2C%0A%20%20%20%20%20%20%20%20ServiceError%2C%0A%20%20%20%20%20%20%20%20bulk%2C%0A%20%20%20%20%20%20%20%20check%2C%0A%20%20%20%20%20%20%20%20fetch_released_keys%2C%0A%20%20%20%20%20%20%20%20hint%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20os%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20resolve_endpoint_defaults%2C%0A%20%20%20%20%20%20%20%20reveal_solution%2C%0A%20%20%20%20%20%20%20%20surface%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20E3%3A%20Automating%20curation%20%E2%80%94%20sampling%20versus%20selection%0A%0A%20%20%20%20In%20E2%20you%20found%20the%20missing%20environments%20by%20thinking%20about%20them.%20That%20worked%20because%0A%20%20%20%20you%20knew%20what%20a%20surface%20was.%20It%20does%20not%20scale%2C%20and%20it%20does%20not%20survive%20a%20system%20you%0A%20%20%20%20have%20never%20met.%0A%0A%20%20%20%20So%20let%20the%20machine%20propose%20structures%20instead.%20Two%20drivers%2C%20the%20same%20starting%0A%20%20%20%20potential%2C%20the%20same%20label%20budget%20%E2%80%94%20the%20only%20difference%20is%20**which**%20snapshots%20get%20sent%0A%20%20%20%20to%20the%20oracle.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20os)%3A%0A%20%20%20%20auto_run%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.app_meta().mode%20%3D%3D%20%22script%22%0A%20%20%20%20%20%20%20%20or%20bool(os.getenv(%22MOGRADER_SIDECAR_PATH%22))%0A%20%20%20%20)%0A%20%20%20%20return%20(auto_run%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(mo%2C%20resolve_endpoint_defaults)%3A%0A%20%20%20%20%23%20Environment%2C%20then%20the%20served%20room%20config%2C%20then%20production.%20Never%20localhost%3A%20a%20browser%0A%20%20%20%20%23%20notebook%20has%20no%20environment%2C%20and%20the%20old%20default%20sent%20students%20to%20a%20dead%20port.%0A%20%20%20%20_defaults%20%3D%20await%20resolve_endpoint_defaults()%0A%20%20%20%20oracle_url%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D_defaults%5B%22oracle_url%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Oracle%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20ace_url%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D_defaults%5B%22ace_url%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22ACE%20workbench%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20api_key%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D_defaults%5B%22api_key%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22API%20key%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22password%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Boracle_url%2C%20ace_url%2C%20api_key%5D)%0A%20%20%20%20return%20ace_url%2C%20api_key%2C%20oracle_url%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(EndpointConfig%2C%20ace_url%2C%20api_key%2C%20oracle_url)%3A%0A%20%20%20%20config%20%3D%20EndpointConfig(%0A%20%20%20%20%20%20%20%20oracle_url%3Doracle_url.value%2C%0A%20%20%20%20%20%20%20%20ace_url%3Dace_url.value%2C%0A%20%20%20%20%20%20%20%20api_key%3Dapi_key.value%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(config%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20target%2C%20and%20the%20starting%20point%0A%0A%20%20%20%20Both%20drivers%20are%20graded%20on%20the%20same%20thing%20E2%20graded%3A%20the%20(111)%20surface%20energy.%20Both%0A%20%20%20%20start%20from%20the%20**bulk-only**%20potential%2C%20so%20neither%20has%20ever%20seen%20a%20surface.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bulk%2C%20surface)%3A%0A%20%20%20%20TARGET_FACE%20%3D%20%22111%22%0A%20%20%20%20target_bulk%20%3D%20bulk(%22Si%22%2C%20%22diamond%22%2C%20a%3D5.43%2C%20cubic%3DTrue)%0A%20%20%20%20target_bulk.info%5B%22config_type%22%5D%20%3D%20%22bulk%22%0A%20%20%20%20target_slab%20%3D%20surface(%22Si%22%2C%20(1%2C%201%2C%201)%2C%206%2C%20vacuum%3D8.0)%0A%20%20%20%20target_slab.info%5B%22config_type%22%5D%20%3D%20%22slab%22%0A%20%20%20%20target_slab.info%5B%22miller%22%5D%20%3D%20TARGET_FACE%0A%20%20%20%20return%20target_bulk%2C%20target_slab%0A%0A%0A%40app.cell%0Adef%20_(surface)%3A%0A%20%20%20%20%23%20A%20facet%20the%20campaign%20is%20not%20graded%20on.%20Most%20of%20what%20the%20dynamics%20proposes%20should%20be%0A%20%20%20%20%23%20familiar%20or%20irrelevant%2C%20which%20is%20the%20situation%20a%20real%20curation%20loop%20faces.%0A%20%20%20%20distractor_slab%20%3D%20surface(%22Si%22%2C%20(1%2C%201%2C%200)%2C%206%2C%20vacuum%3D8.0)%0A%20%20%20%20distractor_slab.info%5B%22config_type%22%5D%20%3D%20%22slab%22%0A%20%20%20%20distractor_slab.info%5B%22miller%22%5D%20%3D%20%22110%22%0A%20%20%20%20return%20(distractor_slab%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(MLIPSchoolClient%2C%20bulk%2C%20config%2C%20mo%2C%20np)%3A%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Rebuilding%20the%20bulk-only%20starting%20set...%22)%3A%0A%20%20%20%20%20%20%20%20_cells%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_index%2C%20_scale%20in%20enumerate(np.linspace(0.94%2C%201.06%2C%208))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_atoms%20%3D%20bulk(%22Si%22%2C%20%22diamond%22%2C%20a%3D5.43%20*%20_scale%2C%20cubic%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20_atoms.rattle(stdev%3D0.02%2C%20seed%3D3000%20%2B%20_index)%0A%20%20%20%20%20%20%20%20%20%20%20%20_atoms.info%5B%22config_type%22%5D%20%3D%20%22bulk%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_cells.append(_atoms)%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D900.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20seed_training%2C%20seed_budget%20%3D%20await%20_client.oracle_calculate(_cells)%0A%20%20%20%20return%20(seed_training%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(MLIPSchoolClient%2C%20config%2C%20mo%2C%20target_bulk%2C%20target_slab)%3A%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Labelling%20the%20target%20with%20the%20oracle...%22)%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D900.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20target_labelled%2C%20target_budget%20%3D%20await%20_client.oracle_calculate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Btarget_bulk%2C%20target_slab%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(target_labelled%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np%2C%20target_labelled)%3A%0A%20%20%20%20def%20gamma_of(structures)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Surface%20energy%20per%20area%20from%20a%20bulk%20reference%20and%20one%20slab.%22%22%22%0A%20%20%20%20%20%20%20%20_bulk%20%3D%20next(s%20for%20s%20in%20structures%20if%20s.info.get(%22config_type%22)%20%3D%3D%20%22bulk%22)%0A%20%20%20%20%20%20%20%20_slab%20%3D%20next(s%20for%20s%20in%20structures%20if%20s.info.get(%22config_type%22)%20%3D%3D%20%22slab%22)%0A%20%20%20%20%20%20%20%20_per_atom%20%3D%20_bulk.get_potential_energy()%20%2F%20len(_bulk)%0A%20%20%20%20%20%20%20%20_cell%20%3D%20_slab.get_cell()%0A%20%20%20%20%20%20%20%20_area%20%3D%20np.linalg.norm(np.cross(_cell%5B0%5D%2C%20_cell%5B1%5D))%0A%20%20%20%20%20%20%20%20return%20(_slab.get_potential_energy()%20-%20len(_slab)%20*%20_per_atom)%20%2F%20(2%20*%20_area)%0A%0A%20%20%20%20oracle_gamma%20%3D%20gamma_of(target_labelled)%0A%20%20%20%20return%20gamma_of%2C%20oracle_gamma%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20oracle_gamma)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(f%22Oracle%20truth%20for%20this%20facet%3A%20**gamma(111)%20%3D%20%7Boracle_gamma%3A.4f%7D%20eV%2FA%5E2**.%22)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q1%3A%20Write%20the%20two%20selectors%0A%0A%20%20%20%20Each%20round%2C%20a%20short%20MD%20run%20on%20the%20current%20potential%20proposes%20a%20pool%20of%20snapshots.%20You%0A%20%20%20%20can%20only%20afford%20to%20label%20a%20few%20of%20them.%20**Which%20few%3F**%0A%0A%20%20%20%20-%20%60pick_random%60%20%E2%80%94%20the%20naive%20driver.%20Sample%20the%20pool%20uniformly.%0A%20%20%20%20-%20%60pick_novel%60%20%E2%80%94%20the%20uncertainty%20driver.%20Send%20the%20snapshots%20that%20sit%20furthest%20from%0A%20%20%20%20%20%20anything%20already%20in%20the%20training%20set%2C%20measured%20in%20the%20same%20reference%20ACE%20basis%20you%0A%20%20%20%20%20%20used%20for%20E2's%20coverage%20map.%0A%0A%20%20%20%20Both%20receive%20per-atom%20descriptors%20for%20the%20pool%20and%20for%20the%20training%20set%2C%20and%20return%20the%0A%20%20%20%20indices%20to%20label.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hint)%3A%0A%20%20%20%20hint(%0A%20%20%20%20%20%20%20%20%22%60pick_random%60%20only%20needs%20%60rng.choice(len(pool_descriptors)%2C%20count%2C%20replace%3DFalse)%60.%22%2C%0A%20%20%20%20%20%20%20%20%22For%20%60pick_novel%60%2C%20score%20each%20structure%20by%20how%20far%20its%20*least%20familiar*%20atom%20is%3A%20%22%0A%20%20%20%20%20%20%20%20%22compute%20the%20distance%20from%20every%20pool%20atom%20to%20its%20nearest%20training%20atom.%22%2C%0A%20%20%20%20%20%20%20%20%22%60np.linalg.norm(pool%5B%3A%2C%20None%2C%20%3A%5D%20-%20train%5BNone%2C%20%3A%2C%20%3A%5D%2C%20axis%3D2).min(axis%3D1)%60%20gives%20%22%0A%20%20%20%20%20%20%20%20%22each%20atom's%20distance%20to%20the%20training%20set%3B%20take%20the%20max%20over%20a%20structure's%20atoms%2C%20%22%0A%20%20%20%20%20%20%20%20%22then%20%60np.argsort(...)%5B%3A%3A-1%5D%5B%3Acount%5D%60.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20def%20pick_random(pool_descriptors%2C%20training_descriptors%2C%20count%2C%20rng)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Indices%20of%20%60count%60%20structures%20chosen%20uniformly%20from%20the%20pool.%22%22%22%0A%20%20%20%20%20%20%20%20chosen%20%3D%20None%0A%20%20%20%20%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20%20%20%20%20pass%0A%20%20%20%20%20%20%20%20return%20chosen%0A%0A%20%20%20%20def%20pick_novel(pool_descriptors%2C%20training_descriptors%2C%20count%2C%20rng)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Indices%20of%20the%20%60count%60%20structures%20furthest%20from%20the%20training%20set.%22%22%22%0A%20%20%20%20%20%20%20%20chosen%20%3D%20None%0A%20%20%20%20%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20%20%20%20%20pass%0A%20%20%20%20%20%20%20%20return%20chosen%0A%0A%20%20%20%20return%20pick_novel%2C%20pick_random%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(check%2C%20np%2C%20pick_novel%2C%20pick_random)%3A%0A%20%20%20%20check_passed_Q1%20%3D%20False%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(0)%0A%20%20%20%20%23%20A%20pool%20where%20structure%203%20is%20deliberately%20far%20from%20a%20tight%20training%20cloud.%0A%20%20%20%20_training%20%3D%20%5Bnp.zeros((4%2C%206))%20%2B%200.01%20*%20_i%20for%20_i%20in%20range(3)%5D%0A%20%20%20%20_pool%20%3D%20%5Bnp.zeros((4%2C%206))%20%2B%200.02%20*%20_i%20for%20_i%20in%20range(4)%5D%0A%20%20%20%20_pool%5B3%5D%20%3D%20np.zeros((4%2C%206))%20%2B%2025.0%0A%20%20%20%20_random_pick%20%3D%20pick_random(_pool%2C%20_training%2C%202%2C%20_rng)%0A%20%20%20%20_novel_pick%20%3D%20pick_novel(_pool%2C%20_training%2C%202%2C%20_rng)%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q1%3A%20Selectors%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20_random_pick%20is%20None%20or%20_novel_pick%20is%20None%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(len(_random_pick)%20%3D%3D%202%2C%20%22pick_random%20should%20return%20exactly%20%60count%60%20indices%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(set(int(_i)%20for%20_i%20in%20_random_pick))%20%3D%3D%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22pick_random%20should%20not%20choose%20the%20same%20structure%20twice%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(len(_novel_pick)%20%3D%3D%202%2C%20%22pick_novel%20should%20return%20exactly%20%60count%60%20indices%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int(_novel_pick%5B0%5D)%20%3D%3D%203%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22pick_novel%20should%20rank%20the%20structure%20furthest%20from%20the%20training%20set%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22first%3B%20index%203%20in%20this%20fixture%20is%20far%20outside%20the%20cloud%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q1%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q1%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q1%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q1%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q1%22%2C%20check_passed_Q1%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20loop%0A%0A%20%20%20%20Each%20round%3A%20run%20MD%20on%20the%20current%20potential%2C%20ask%20for%20descriptors%2C%20apply%20your%20selector%2C%0A%20%20%20%20label%20the%20chosen%20snapshots%2C%20refit%2C%20and%20measure%20gamma(111).%20The%20only%20thing%20that%20differs%0A%20%20%20%20between%20the%20two%20runs%20is%20the%20selector%20you%20pass%20in.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(MLIPSchoolClient%2C%20config%2C%20gamma_of%2C%20np%2C%20target_bulk%2C%20target_slab)%3A%0A%20%20%20%20%23%20Two%20rounds%2C%20not%20three%3A%20the%202-hour%20timetable%20gives%20E3%20thirty%20minutes%2C%20and%20the%0A%20%20%20%20%23%20measured%20campaigns%20converge%20by%20round%20three%2C%20so%20the%20third%20round%20costs%20labels%20and%0A%20%20%20%20%23%20wall%20clock%20without%20changing%20what%20the%20plot%20shows.%0A%20%20%20%20ROUNDS%20%3D%202%0A%20%20%20%20PER_ROUND%20%3D%204%0A%20%20%20%20MIN_SEPARATION%20%3D%201.7%0A%0A%20%20%20%20def%20is_physical(frame)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Reject%20snapshots%20with%20atoms%20on%20top%20of%20each%20other.%0A%0A%20%20%20%20%20%20%20%20Dynamics%20driven%20by%20a%20potential%20that%20is%20extrapolating%20will%20happily%20push%20atoms%20through%0A%20%20%20%20%20%20%20%20one%20another.%20The%20oracle%20will%20label%20those%20structures%20%E2%80%94%20they%20are%20valid%20inputs%20%E2%80%94%20and%20the%0A%20%20%20%20%20%20%20%20labels%20are%20enormous%2C%20which%20wrecks%20any%20fit%20that%20includes%20them.%20Filtering%20happens%20before%0A%20%20%20%20%20%20%20%20selection%20because%20a%20label%20spent%20on%20nonsense%20is%20a%20label%20gone.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20distances%20%3D%20frame.get_all_distances(mic%3DTrue)%0A%20%20%20%20%20%20%20%20return%20float(distances%5Bdistances%20%3E%200%5D.min())%20%3E%3D%20MIN_SEPARATION%0A%0A%20%20%20%20async%20def%20run_driver(name%2C%20selector%2C%20seed_training%2C%20start_model%2C%20md_starts%2C%20progress)%3A%0A%20%20%20%20%20%20%20%20%22%22%22One%20active-learning%20campaign.%20Returns%20its%20gamma%20error%20against%20labels%20spent.%22%22%22%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(20260907)%0A%20%20%20%20%20%20%20%20training%20%3D%20list(seed_training)%0A%20%20%20%20%20%20%20%20model%20%3D%20start_model%0A%20%20%20%20%20%20%20%20history%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20spent%20%3D%200%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D1800.0)%20as%20client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20round_index%20in%20range(ROUNDS)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress(f%22%7Bname%7D%3A%20round%20%7Bround_index%20%2B%201%7D%20of%20%7BROUNDS%7D%20%E2%80%94%20running%20MD%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sampled%20%3D%20await%20client.ace_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model.model_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20md_starts%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ensemble%3D%22nvt%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20temperature%3D400.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dt_fs%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_steps%3D60%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sample_every%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pool%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rejected%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20frame%20in%20sampled.structures(%22trajectory.xyz%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20frame.info%5B%22config_type%22%5D%20%3D%20%22slab%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20frame.info%5B%22miller%22%5D%20%3D%20target_slab.info%5B%22miller%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20is_physical(frame)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pool.append(frame)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rejected%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20pool%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20RuntimeError(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bname%7D%3A%20every%20snapshot%20in%20round%20%7Bround_index%20%2B%201%7D%20was%20unphysical%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20potential%20is%20too%20poor%20to%20drive%20its%20own%20dynamics%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress(f%22%7Bname%7D%3A%20round%20%7Bround_index%20%2B%201%7D%20%E2%80%94%20scoring%20%7Blen(pool)%7D%20snapshots%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_%2C%20pool_rows%20%3D%20await%20client.get_descriptors(pool)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_%2C%20training_rows%20%3D%20await%20client.get_descriptors(training%5B-8%3A%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20take%20%3D%20min(PER_ROUND%2C%20len(pool))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20picks%20%3D%20%5Bint(i)%20for%20i%20in%20selector(pool_rows%2C%20training_rows%2C%20take%2C%20rng)%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress(f%22%7Bname%7D%3A%20round%20%7Bround_index%20%2B%201%7D%20%E2%80%94%20labelling%20%7Blen(picks)%7D%20snapshots%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20labelled%2C%20budget%20%3D%20await%20client.oracle_calculate(%5Bpool%5Bi%5D%20for%20i%20in%20picks%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20training.extend(labelled)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20spent%20%2B%3D%20len(picks)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress(f%22%7Bname%7D%3A%20round%20%7Bround_index%20%2B%201%7D%20%E2%80%94%20refitting%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20await%20client.fit_ace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20training%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22e3-%7Bname%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elements%3D%5B%22Si%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20order%3D3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20totaldegree%3D10%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rcut%3D5.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20e0s%3D%7B%22Si%22%3A%200.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solver%3D%22QR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20poll_interval%3D0.25%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20evaluated%20%3D%20await%20client.evaluate(model.model_id%2C%20%5Btarget_bulk%2C%20target_slab%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20frame%2C%20source%20in%20zip(evaluated%2C%20(target_bulk%2C%20target_slab)%2C%20strict%3DTrue)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20frame.info.update(source.info)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20history.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22round%22%3A%20round_index%20%2B%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22labels%22%3A%20spent%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gamma%22%3A%20gamma_of(evaluated)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22picks%22%3A%20picks%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rejected%22%3A%20rejected%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22pool%22%3A%20len(pool)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22budget%22%3A%20budget%5B%22used%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20history%2C%20training%0A%0A%20%20%20%20return%20(run_driver%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20drive_button%20%3D%20mo.ui.run_button(label%3D%22Run%20both%20drivers%22)%0A%20%20%20%20drive_button%0A%20%20%20%20return%20(drive_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20ServiceError%2C%0A%20%20%20%20auto_run%2C%0A%20%20%20%20config%2C%0A%20%20%20%20distractor_slab%2C%0A%20%20%20%20drive_button%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pick_novel%2C%0A%20%20%20%20pick_random%2C%0A%20%20%20%20run_driver%2C%0A%20%20%20%20seed_training%2C%0A%20%20%20%20target_bulk%2C%0A%20%20%20%20target_slab%2C%0A)%3A%0A%20%20%20%20mo.stop(not%20auto_run%20and%20not%20drive_button.value%2C%20mo.md(%22Press%20**Run%20both%20drivers**.%22))%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Starting%20the%20drivers...%22)%20as%20_progress%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D300.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_start%20%3D%20await%20_client.load_model(%22e1-bulk%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20ServiceError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Models%20belong%20to%20the%20key%20that%20fitted%20them%2C%20so%20a%20fresh%20key%20has%20none.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20True%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20exercise%20starts%20from%20the%20**e1-bulk**%20potential%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fitted%20in%20E1%2C%20and%20your%20key%20does%20not%20have%20one.%20Run%20E1%20first%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22with%20the%20same%20API%20key%20as%20here.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%23%20Dynamics%20is%20run%20from%20a%20bulk%20cell%2C%20a%20facet%20we%20are%20not%20graded%20on%2C%20and%20the%0A%20%20%20%20%20%20%20%20%23%20target%3A%20most%20of%20what%20it%20proposes%20is%20familiar%2C%20which%20is%20the%20real%20situation.%0A%20%20%20%20%20%20%20%20_md_starts%20%3D%20%5Btarget_bulk%2C%20distractor_slab%2C%20target_slab%5D%0A%20%20%20%20%20%20%20%20naive_history%2C%20naive_training%20%3D%20await%20run_driver(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22naive%22%2C%20pick_random%2C%20seed_training%2C%20_start%2C%20_md_starts%2C%20_progress.update%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20guided_history%2C%20guided_training%20%3D%20await%20run_driver(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22guided%22%2C%20pick_novel%2C%20seed_training%2C%20_start%2C%20_md_starts%2C%20_progress.update%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20guided_history%2C%20naive_history%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(guided_history%2C%20mo%2C%20naive_history%2C%20oracle_gamma%2C%20plt)%3A%0A%20%20%20%20fig_campaign%2C%20ax_campaign%20%3D%20plt.subplots(figsize%3D(6.5%2C%204.5))%0A%20%20%20%20for%20_history%2C%20_label%2C%20_colour%20in%20(%0A%20%20%20%20%20%20%20%20(naive_history%2C%20%22Driver%20A%3A%20naive%20MD%20sampling%22%2C%20%22%2378290f%22)%2C%0A%20%20%20%20%20%20%20%20(guided_history%2C%20%22Driver%20B%3A%20uncertainty-guided%22%2C%20%22%2315616d%22)%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20ax_campaign.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0%5D%20%2B%20%5B_row%5B%22labels%22%5D%20for%20_row%20in%20_history%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5BNone%5D%20%2B%20%5Babs(_row%5B%22gamma%22%5D%20-%20oracle_gamma)%20for%20_row%20in%20_history%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22o-%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D_colour%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D_label%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20ax_campaign.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22oracle%20labels%20spent%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22%7Cgamma(111)%20error%7C%20(eV%2FA%5E2)%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Same%20budget%2C%20same%20starting%20potential%2C%20different%20choices%22%2C%0A%20%20%20%20%20%20%20%20yscale%3D%22log%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_campaign.legend()%0A%20%20%20%20fig_campaign.tight_layout()%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20fig_campaign%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20labels%20%7C%20naive%20error%20%7C%20guided%20error%20%7C%5Cn%7C---%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20%7B_a%5B'labels'%5D%7D%20%7C%20%7Babs(_a%5B'gamma'%5D%20-%20oracle_gamma)%3A.4f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Babs(_b%5B'gamma'%5D%20-%20oracle_gamma)%3A.4f%7D%20%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_a%2C%20_b%20in%20zip(naive_history%2C%20guided_history%2C%20strict%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q2%3A%20Where%20did%20the%20guided%20driver%20look%3F%0A%0A%20%20%20%20The%20two%20drivers%20saw%20*the%20same%20pool*%20of%20snapshots%20every%20round.%20Compare%20which%20ones%20each%0A%20%20%20%20one%20sent%20to%20the%20oracle%2C%20and%20say%20what%20distinguishes%20them.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hint)%3A%0A%20%20%20%20hint(%0A%20%20%20%20%20%20%20%20%22%60naive_history%60%20and%20%60guided_history%60%20each%20record%20the%20%60picks%60%20for%20every%20round.%22%2C%0A%20%20%20%20%20%20%20%20%22The%20pool%20is%20ordered%20by%20MD%20time%2C%20so%20early%20indices%20are%20near%20the%20starting%20geometry.%22%2C%0A%20%20%20%20%20%20%20%20%22Compare%20the%20mean%20picked%20index%3A%20which%20driver%20keeps%20revisiting%20the%20start%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20naive_mean_index%20%3D%20None%0A%20%20%20%20guided_mean_index%20%3D%20None%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20return%20guided_mean_index%2C%20naive_mean_index%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(check%2C%20guided_mean_index%2C%20naive_mean_index)%3A%0A%20%20%20%20check_passed_Q2%20%3D%20False%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q2%3A%20Selection%20pattern%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20guided_mean_index%20is%20None%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20isinstance(naive_mean_index%2C%20float)%20and%20isinstance(guided_mean_index%2C%20float)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Compute%20the%20mean%20picked%20index%20for%20both%20drivers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20guided_mean_index%20!%3D%20naive_mean_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20two%20drivers%20should%20not%20be%20choosing%20the%20same%20snapshots%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q2%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q2%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q2%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q2%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q2%22%2C%20check_passed_Q2%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(guided_mean_index%2C%20mo%2C%20naive_mean_index)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Mean%20position%20in%20the%20pool%3A%20naive%20**%7Bnaive_mean_index%3A.1f%7D**%2C%20guided%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bguided_mean_index%3A.1f%7D**.%20The%20pool%20is%20three%20MD%20runs%20concatenated%20%E2%80%94%20bulk%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22first%2C%20then%20the%20facet%20you%20are%20not%20graded%20on%2C%20then%20the%20target%20%E2%80%94%20so%20a%20higher%20mean%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22means%20a%20driver%20concentrated%20on%20the%20target's%20frames.%20Naive%20sampling%20spreads%20its%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22labels%20evenly%20over%20all%20three%2C%20most%20of%20which%20the%20model%20already%20understands.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing%20in%20it%20asks%20whether%20a%20label%20would%20teach%20anything.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q3%3A%20Reflection%0A%0A%20%20%20%20Both%20drivers%20ran%20the%20same%20dynamics%20and%20spent%20the%20same%20budget.%20Explain%20what%20the%20guided%0A%20%20%20%20driver%20bought%2C%20and%20where%20this%20approach%20would%20still%20mislead%20you.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20response_text%20%3D%20%22*Write%20your%20analysis%20here...*%22%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20mo.md(response_text)%0A%20%20%20%20return%20(response_text%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(check%2C%20guided_history%2C%20naive_history%2C%20np%2C%20oracle_gamma%2C%20response_text)%3A%0A%20%20%20%20check_passed_Q3%20%3D%20False%0A%20%20%20%20_naive_first%20%3D%20abs(naive_history%5B0%5D%5B%22gamma%22%5D%20-%20oracle_gamma)%0A%20%20%20%20_guided_first%20%3D%20abs(guided_history%5B0%5D%5B%22gamma%22%5D%20-%20oracle_gamma)%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q3%3A%20Campaigns%22%2C%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(len(naive_history)%20%3D%3D%20len(guided_history)%2C%20%22Both%20drivers%20should%20run%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all(np.isfinite(_row%5B%22gamma%22%5D)%20for%20_row%20in%20naive_history%20%2B%20guided_history)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20round%20should%20produce%20a%20finite%20surface%20energy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_guided_first%20%3C%20_naive_first%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Guided%20selection%20should%20be%20ahead%20of%20naive%20sampling%20early%2C%20when%20labels%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22still%20scarce.%20Late%20in%20a%20campaign%20both%20converge%20and%20the%20comparison%20stops%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22being%20informative%2C%20which%20is%20why%20this%20is%20graded%20on%20the%20first%20round.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(response_text.strip())%20%3E%3D%20120%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22Write%20your%20analysis%20here%22%20not%20in%20response_text%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Say%20what%20the%20guided%20driver%20bought%20and%20where%20it%20would%20still%20mislead%20you%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q3%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q3%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q3%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q3%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q3%22%2C%20check_passed_Q3%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20released_keys%2C%20set_released_keys%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20fetch_count%2C%20set_fetch_count%20%3D%20mo.state(0)%0A%20%20%20%20return%20fetch_count%2C%20released_keys%2C%20set_fetch_count%2C%20set_released_keys%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20set_fetch_count)%3A%0A%20%20%20%20workshop_key%20%3D%20mo.ui.text(label%3D%22Workshop%20key%22%2C%20placeholder%3D%22Enter%20key%20from%20instructor%22)%0A%0A%20%20%20%20def%20_on_fetch(_)%3A%0A%20%20%20%20%20%20%20%20set_fetch_count(lambda%20n%3A%20n%20%2B%201)%0A%0A%20%20%20%20fetch_btn%20%3D%20mo.ui.button(label%3D%22Check%20for%20released%20solutions%22%2C%20on_click%3D_on_fetch)%0A%20%20%20%20mo.hstack(%5Bworkshop_key%2C%20fetch_btn%5D%2C%20justify%3D%22start%22%2C%20gap%3D1)%0A%20%20%20%20return%20(workshop_key%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(KEYS_URL%2C%20fetch_count%2C%20fetch_released_keys%2C%20mo%2C%20set_released_keys)%3A%0A%20%20%20%20_count%20%3D%20fetch_count()%0A%20%20%20%20if%20_count%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_keys%20%3D%20fetch_released_keys(KEYS_URL)%0A%20%20%20%20%20%20%20%20set_released_keys(_keys)%0A%20%20%20%20%20%20%20%20_n%20%3D%20len(_keys)%0A%20%20%20%20%20%20%20%20if%20_n%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**%7B_n%7D%20solution(s)%20released**%20%E2%80%94%20scroll%20up%20to%20see%20them%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22No%20additional%20solutions%20released%20by%20instructor%22)%2C%20kind%3D%22neutral%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A