e2 surfaces

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22ase%3E%3D3.25%22%2C%0A%23%20%20%20%20%20%22httpx%3E%3D0.28%22%2C%0A%23%20%20%20%20%20%22marimo%3E%3D0.24%2C%3C0.25%22%2C%0A%23%20%20%20%20%20%22marimol%3D%3D0.3.2%22%2C%0A%23%20%20%20%20%20%22matplotlib%3E%3D3.10%22%2C%0A%23%20%20%20%20%20%22mograder%3E%3D0.3.3%22%2C%0A%23%20%20%20%20%20%22numpy%3E%3D2.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20from%20js%20import%20self%20as%20js_self%0A%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%0A%0A%20%20%20%20%20%20%20%20_worker_dir%20%3D%20str(js_self.location.href).rsplit(%22%2F%22%2C%201)%5B0%5D%0A%20%20%20%20%20%20%20%20_site_root%20%3D%20_worker_dir.rsplit(%22%2F%22%2C%201)%5B0%5D%20%2B%20%22%2F%22%0A%20%20%20%20%20%20%20%20%23%20The%20wheel's%20filename%20carries%20the%20client%20version.%20Reading%20it%20from%20the%20manifest%20that%0A%20%20%20%20%20%20%20%20%23%20scripts%2Fbuild_client_wheel.py%20writes%20keeps%20that%20version%20out%20of%20every%20notebook%2C%20so%0A%20%20%20%20%20%20%20%20%23%20a%20client%20release%20does%20not%20mean%20editing%20five%20files.%0A%20%20%20%20%20%20%20%20_wheel%20%3D%20open_url(_site_root%20%2B%20%22public%2Fclient-wheel.txt%22).read().strip()%0A%20%20%20%20%20%20%20%20await%20micropip.install(_site_root%20%2B%20%22public%2F%22%20%2B%20_wheel%2C%20deps%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%20%20%20%20_client_src%20%3D%20Path(__file__).resolve().parents%5B3%5D%20%2F%20%22client%22%20%2F%20%22src%22%0A%20%20%20%20%20%20%20%20if%20_client_src.exists()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_client_src))%0A%20%20%20%20client_path_ready%20%3D%20True%0A%20%20%20%20return%20(client_path_ready%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(client_path_ready)%3A%0A%20%20%20%20import%20os%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20ase.build%20import%20bulk%2C%20surface%0A%20%20%20%20from%20marimol%20import%20view_ase%0A%20%20%20%20from%20mlipschool_client%20import%20(%0A%20%20%20%20%20%20%20%20EndpointConfig%2C%0A%20%20%20%20%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20%20%20%20%20resolve_endpoint_defaults%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mograder.runtime%20import%20check%2C%20hint%0A%20%20%20%20from%20mograder.transport.workshop%20import%20reveal_solution%2C%20fetch_released_keys%0A%0A%20%20%20%20assert%20client_path_ready%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20EXERCISES%20%3D%3D%3D%0A%20%20%20%20EXERCISES%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Q1%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22HwkPFQEGBgwKMw8ZBRtTXkgNGgAGREsjGkFET00IBA0EHx0HSkNPDVBZR0RAT0gMGg4ED1QkARYNRmUeCAoMAhYNCwowDhgAAl4aDQ4ANE4OAwcWGgQ3GxYcCE40UE5DSg0aAAZOYwMfAgocT1FNNzR6FQwaTzABBAAFFQFDAQFPISQgJTUhWWJPT0xNMxocEgFIUk8fGB4PERAGQE08BU9ASS8eCgQDCh5BTAURCgYaHEEaDAAcFV9DHg4MGRgBVAYSAB0aAkIbDQUFFkpiT09MTTMaHBIBRgYBCgI3SxMcDQ4GCDMZFRkVUT5IUk9OHgAIElFpSE9PTDIfBRERTQEBCQM2TgQZHw8NHU0xTVFJUlFNAgAGAkUfHQJbPAEBCwkVRUkWHBFIMAYCCQkRUBoNSDACBQEADAJaaUhPT0weAAgSAE0JHx8JAwhBLwAPCQ1G%22%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22Q2%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22MhgbERoNAQEITFBMBwBdAhsOHR4MFUESBg8DMAsJHg8bGQMXBx0cQE0IHQkDBlUJAwMMGEB6LBAEDg1MUEwHAF0CGw4dHgwVQQMfAgowCwkeDxsZAxcHHRxATQgdCQMGVQkDAwwYQHosDg0OAUxQTDYEAQIBAQYCCkIEFRINQA4XBR5RWVl5PERPMEBNMwofHhMHAQoCGR9JTVMNGEEDBQMNBRddEB4LRzMZHggZHQoGCE9BTTMEFRINRE8JGQEANh0SFxoGDAkeUS8RHxANRmUOGAACLwMACU9STEUzHQISCgYGAQtNQUkvHgYJAUZMLUw2ExwOGAABCQMYGitJUTVBO2YeAAgSLBMLDk9RTUQ2Ax8CCk9CTDIBDBEdSkgvTzMOAwQAHA0NARsfNlZbLV03%22%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22Q3%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22HwkZERoRNxwDDQ8fSU1TODVlCQMfTDYdGg8ECh1MBAJJPTovJCo9VmdMSVBTPBwHBgJNUUkDBhEODgwJRU46GVFPSDACBQEADAJfQ1xDTxoMDxwFHl4eDgwZGAFHBhIPHQpGZk1MSVAsFwAGAUIEAg8fKEELAAEKBAs2BAoTDU0yTFBMSwMfAgpNZUxNTEkvBwsBAUEFAwoGK1EOAQMDCR9ONFBOQ0pNQQYCBQdYABcaRzAFAwgMCFpDDgAdTDIFBxQWG0gGAUwyAQAcHwYaRmVMTUxJAhYTCQYdMx4ACBIATQkfHwkDCEEvBwsBAUY%3D%22%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22Q4%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22HwkZERoRDQswGB8NAB4aDQ9PUkw2RgsFHwg3Gx0NBAIAHhRPSEUDDQ8JBRwWBzcdChwMBRst%22%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22Q5%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22CQUaAB8CCwoLMx4ACBIAQ1VPNDFnCgYCUzwBAQsJFUBJLwAPCQ1PBQNMDB4GDg0dDhgIRBsVAwIBHTAfAQ0LA1pZYk9PTE0KBgJTPBoKHwAEDwhcUzwJAh8ABBgcFBZDAQFPCQMZBBUBAhwKR0RdQllFX0NYQV5eREVTelNDSE9PTE1MNgMbAgMKAUxQTDYDHwIKQQwDHRVBWXlDSE9PTE1MSS8ACwkECgJDHggEBw8NRxwYCQkfTSwCBR8DBRkZDRVfQxsKCghQWVlAQ0NDT15cTUZJLxoNDAoXTEZMNgIWEwQGDA1EZklQU0NIT09MMh8BERgGBkEGAgsDMlIQDAYJBgsyGBAAFkE1T1JMTx8FERFODAYcHAENChUXQWJPT0xNTElQUzwbBw4HCAJHGR0FBzRNAQQABRUBQTVPUkwyHwUREU0BAQkDNk4EGR8PDR1NMWdMSVBTQ0hPTwgEHxkcEgANCzAfAQ0LA10CGB8KAglENgMbAgMKAUU%3D%22%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22Q6%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22HwkaABwNGwowGAgUHVBOQ0BlT0xNTEsiFgIETzwFTR8cAhUCCwocTB8JCh8dEBwdGg8ZTIvw50NaF15MCQUEFQEQSAABTEVdWUBaT0hYF1tNAwdQW1JZXkZMj%2Bz9UBINDE8BAwMJSR8VQ0plT0xNTEsEGwYbCk9dFV1JExYPBBxPDwwCSQIWExoKHAkDGEkEGwIcQ08fAkwdGBZDDA4bDR4JHVAaEEgcGwUBAEkSHwoGC08YAkwdGBZDHB0aCU1OY1BTQ0hNCB4CGQcUUxAcDhsJHkJJNhoNARsKTBkJBAAWEQkbGh4ITAADUw4BHBwFAwtJBBwMUk8BAxkEAB4UQwAKHQlNBAgDUwENCgFMAwkIAlMCSE1lTE1MSVIHCw0dAg0BTAweAAYFDQMJQUwIHhdDGxsKHB5ASREXAhwAAh9NDQcUUxUJDA4CDgUMA1MCGgpPDQ8fDB4HQw0BGwUfCQUJXUMvGgofHgUHF1NBYk9PTE1OHRgWQwYKFxhNCwgAUwcHChxMAwMdUAAACQMKQE0bARkQC0gGHEwZBAxQAwwBARtCTSUHAwcGCQtPAwtMDB4GDg0dDhgEAg5QUWlIT09MTwkHBhoRBwECCQMYGlARGkgHDgIJTCBQBAwdAwtMAQkdUAcLDU8CAwkJBVAHBgQDTwEITB4YFhENTwYYTQUaUAYNCwodGAwFB0pTER0BT05nTElQU0EMFgENAAUKA1MUARsHTAQYRVAEAhwMB0wLAxtQEAwGCQYLGB4IBBoMBhxPCgweSRYBDAVPGwQITB0CEgoGBgELTQ8FHwYHSAABTBkEDFBRaUhPT0xPHwgdFkMLABkJHw0OFVMOCR9DTAwCDVAfAgoKA0wZBAYDFk1IOwcNGUwAA1MCHRsAAQwYDBRTAB0dDhgEAwdcUwIGC08FGUwAA1MUAA4bTE9mSVBTQ0obBwlNAgwIB0MNFwoeDgUaFVMABwIfDR8JGlASBAkGAR8ZTA4FFhAbBgELQ05jWQ%3D%3D%22%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%0A%20%20%20%20SALT_HASH%20%3D%20'2e460abcc67ad258517c2b341461185fa8ce8308ff505645dbcffbb9dd05d272'%0A%20%20%20%20KEYS_URL%20%3D%20'https%3A%2F%2Fkeys.mlipschool.uk%2Fe2%2Fkeys.json'%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20EXERCISES%2C%0A%20%20%20%20%20%20%20%20EndpointConfig%2C%0A%20%20%20%20%20%20%20%20KEYS_URL%2C%0A%20%20%20%20%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20%20%20%20%20SALT_HASH%2C%0A%20%20%20%20%20%20%20%20bulk%2C%0A%20%20%20%20%20%20%20%20check%2C%0A%20%20%20%20%20%20%20%20fetch_released_keys%2C%0A%20%20%20%20%20%20%20%20hint%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20os%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20resolve_endpoint_defaults%2C%0A%20%20%20%20%20%20%20%20reveal_solution%2C%0A%20%20%20%20%20%20%20%20view_ase%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20E2%3A%20Surfaces%20%E2%80%94%20extrapolation%20bites%2C%20curation%20fixes%20it%0A%0A%20%20%20%20Your%20E1%20potential%20interpolates%20its%20own%20training%20data%20almost%20perfectly.%20Now%20ask%20it%0A%20%20%20%20for%20a%20property%20that%20data%20never%20contained%3A%20the%20energy%20of%20a%20silicon%20surface.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20os)%3A%0A%20%20%20%20auto_run%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.app_meta().mode%20%3D%3D%20%22script%22%0A%20%20%20%20%20%20%20%20or%20bool(os.getenv(%22MOGRADER_SIDECAR_PATH%22))%0A%20%20%20%20)%0A%20%20%20%20return%20(auto_run%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(mo%2C%20resolve_endpoint_defaults)%3A%0A%20%20%20%20%23%20Environment%2C%20then%20the%20served%20room%20config%2C%20then%20production.%20Never%20localhost%3A%20a%20browser%0A%20%20%20%20%23%20notebook%20has%20no%20environment%2C%20and%20the%20old%20default%20sent%20students%20to%20a%20dead%20port.%0A%20%20%20%20_defaults%20%3D%20await%20resolve_endpoint_defaults()%0A%20%20%20%20oracle_url%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D_defaults%5B%22oracle_url%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Oracle%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20ace_url%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D_defaults%5B%22ace_url%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22ACE%20workbench%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20api_key%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D_defaults%5B%22api_key%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22API%20key%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22password%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Boracle_url%2C%20ace_url%2C%20api_key%5D)%0A%20%20%20%20return%20ace_url%2C%20api_key%2C%20oracle_url%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(EndpointConfig%2C%20ace_url%2C%20api_key%2C%20oracle_url)%3A%0A%20%20%20%20config%20%3D%20EndpointConfig(%0A%20%20%20%20%20%20%20%20oracle_url%3Doracle_url.value%2C%0A%20%20%20%20%20%20%20%20ace_url%3Dace_url.value%2C%0A%20%20%20%20%20%20%20%20api_key%3Dapi_key.value%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(config%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Resume%20your%20E1%20potential%0A%0A%20%20%20%20The%20server%20holds%20your%20fitted%20models%2C%20so%20this%20notebook%20picks%20up%20where%20E1%20left%20off.%0A%20%20%20%20No%20files%2C%20no%20re-fitting%3A%20the%20model%20is%20named%2C%20and%20the%20name%20is%20the%20handle.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(MLIPSchoolClient%2C%20config%2C%20mo)%3A%0A%20%20%20%20_requested%20%3D%20mo.query_params().get(%22model%22)%20or%20%22e1-bulk%22%0A%20%20%20%20with%20mo.status.spinner(title%3Df%22Resuming%20%7B_requested%7D%20from%20the%20workbench...%22)%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D120.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20bulk_model%20%3D%20await%20_client.load_model(_requested)%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Resumed%20**%7Bbulk_model.name%7D**%20(%60%7Bbulk_model.model_id%7D%60)%20from%20the%20workbench.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(bulk_model%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q1%3A%20Build%20the%20surfaces%20you%20care%20about%0A%0A%20%20%20%20A%20surface%20energy%20is%20defined%20per%20unit%20area%20of%20the%20cleaved%20face%3A%0A%0A%20%20%20%20%24%24%5Cgamma%20%3D%20%5Cfrac%7BE_%5Cmathrm%7Bslab%7D%20-%20N%20E_%5Cmathrm%7Bbulk%7D%2F%5Cmathrm%7Batom%7D%7D%7B2A%7D%24%24%0A%0A%20%20%20%20The%20factor%20of%20two%20is%20because%20cleaving%20makes%20*two*%20surfaces.%20Build%20one%20slab%20for%20each%0A%20%20%20%20of%20the%20three%20low-index%20faces.%20Thickness%20and%20vacuum%20are%20your%20decisions%20%E2%80%94%20they%20are%0A%20%20%20%20dataset%20craft%20too%2C%20and%20you%20will%20test%20them%20later.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hint)%3A%0A%20%20%20%20hint(%0A%20%20%20%20%20%20%20%20%22%60surface('Si'%2C%20(1%2C%200%2C%200)%2C%20layers%2C%20vacuum%3D...)%60%20builds%20a%20slab%20from%20a%20Miller%20index.%22%2C%0A%20%20%20%20%20%20%20%20%22Tag%20each%20slab%20so%20the%20workbench%20can%20find%20it%3A%20%60info%5B'config_type'%5D%20%3D%20'slab'%60%20and%20%22%0A%20%20%20%20%20%20%20%20%22%60info%5B'miller'%5D%20%3D%20'100'%60.%22%2C%0A%20%20%20%20%20%20%20%20%22The%20bulk%20reference%20needs%20%60info%5B'config_type'%5D%20%3D%20'bulk'%60.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20layers%20%3D%20mo.ui.slider(start%3D4%2C%20stop%3D12%2C%20step%3D1%2C%20value%3D6%2C%20label%3D%22Slab%20layers%22)%0A%20%20%20%20vacuum%20%3D%20mo.ui.slider(start%3D4.0%2C%20stop%3D12.0%2C%20step%3D1.0%2C%20value%3D8.0%2C%20label%3D%22Vacuum%20(A)%22)%0A%20%20%20%20mo.hstack(%5Blayers%2C%20vacuum%5D%2C%20justify%3D%22start%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20MILLER%20%3D%20((1%2C%200%2C%200)%2C%20(1%2C%201%2C%200)%2C%20(1%2C%201%2C%201))%0A%20%20%20%20reference_bulk%20%3D%20None%0A%20%20%20%20slabs%20%3D%20None%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20return%20MILLER%2C%20reference_bulk%2C%20slabs%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(MILLER%2C%20check%2C%20reference_bulk%2C%20slabs)%3A%0A%20%20%20%20check_passed_Q1%20%3D%20False%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q1%3A%20Surface%20slabs%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20slabs%20is%20None%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(len(slabs)%20%3D%3D%20len(MILLER)%2C%20%22Build%20one%20slab%20per%20Miller%20index%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all(s.info.get(%22config_type%22)%20%3D%3D%20%22slab%22%20for%20s%20in%20slabs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Tag%20every%20slab%20with%20config_type%3D'slab'%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bs.info.get(%22miller%22)%20for%20s%20in%20slabs%7D%20%3D%3D%20%7B%22100%22%2C%20%22110%22%2C%20%22111%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Tag%20each%20slab%20with%20its%20Miller%20index%20as%20a%20string%2C%20e.g.%20'111'%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20reference_bulk%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20reference_bulk.info.get(%22config_type%22)%20%3D%3D%20%22bulk%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Provide%20a%20bulk%20reference%20tagged%20config_type%3D'bulk'%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all(s.get_cell()%5B2%5D%5B2%5D%20%3E%2010.0%20for%20s%20in%20slabs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Slabs%20need%20vacuum%20along%20c%20so%20the%20two%20faces%20do%20not%20interact%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q1%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q1%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q1%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q1%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q1%22%2C%20check_passed_Q1%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20slabs%2C%20view_ase)%3A%0A%20%20%20%20mo.stop(slabs%20is%20None%2C%20mo.md(%22Complete%20**Q1**%20to%20inspect%20the%20slabs.%22))%0A%20%20%20%20slab_viewer%20%3D%20view_ase(%0A%20%20%20%20%20%20%20%20slabs%2C%0A%20%20%20%20%20%20%20%20height%3D%22460px%22%2C%0A%20%20%20%20%20%20%20%20show_axes%3DTrue%2C%0A%20%20%20%20%20%20%20%20trajectory_slider%3DTrue%2C%0A%20%20%20%20%20%20%20%20compute_extra_data%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20slab_viewer%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20truth%2C%20and%20what%20your%20potential%20thinks%0A%0A%20%20%20%20One%20call%20each.%20The%20oracle%20gives%20ground%20truth%3B%20%60ace_validate%60%20runs%20the%20same%20battery%0A%20%20%20%20against%20your%20E1%20potential%2C%20on%20the%20same%20structures.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20gamma_button%20%3D%20mo.ui.run_button(label%3D%22Measure%20surface%20energies%22)%0A%20%20%20%20gamma_button%0A%20%20%20%20return%20(gamma_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20auto_run%2C%0A%20%20%20%20bulk_model%2C%0A%20%20%20%20config%2C%0A%20%20%20%20gamma_button%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20reference_bulk%2C%0A%20%20%20%20slabs%2C%0A)%3A%0A%20%20%20%20mo.stop(slabs%20is%20None%2C%20mo.md(%22Complete%20**Q1**%20first.%22))%0A%20%20%20%20mo.stop(not%20auto_run%20and%20not%20gamma_button.value%2C%20mo.md(%22Press%20**Measure%20surface%20energies**.%22))%0A%20%20%20%20_test_set%20%3D%20%5Breference_bulk%2C%20*slabs%5D%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Labelling%20the%20test%20set%20with%20the%20oracle...%22)%20as%20_progress%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D600.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20labelled_test_set%2C%20budget_after_truth%20%3D%20await%20_client.oracle_calculate(_test_set)%0A%20%20%20%20%20%20%20%20%20%20%20%20_progress.update(%22Running%20the%20surface%20battery%20against%20your%20E1%20potential...%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20labelled%20structures%2C%20not%20the%20bare%20ones%3A%20parity%20compares%20against%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20oracle%20energies%2C%20so%20they%20have%20to%20travel%20with%20the%20geometries.%0A%20%20%20%20%20%20%20%20%20%20%20%20bulk_validation%20%3D%20await%20_client.ace_validate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bulk_model.model_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20labelled_test_set%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20properties%3D%5B%22parity%22%2C%20%22surface_energy%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress%3Dlambda%20_job%3A%20_progress.update(f%22Surface%20battery%3A%20%7B_job%5B'status'%5D%7D...%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20bulk_validation%2C%20labelled_test_set%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(labelled_test_set%2C%20np)%3A%0A%20%20%20%20def%20surface_energies(structures)%3A%0A%20%20%20%20%20%20%20%20%22%22%22gamma%20per%20Miller%20index%20from%20a%20list%20of%20labelled%20structures.%22%22%22%0A%20%20%20%20%20%20%20%20_bulk%20%3D%20next(s%20for%20s%20in%20structures%20if%20s.info.get(%22config_type%22)%20%3D%3D%20%22bulk%22)%0A%20%20%20%20%20%20%20%20_per_atom%20%3D%20_bulk.get_potential_energy()%20%2F%20len(_bulk)%0A%20%20%20%20%20%20%20%20_gammas%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20for%20_slab%20in%20structures%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_slab.info.get(%22config_type%22)%20!%3D%20%22slab%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20_cell%20%3D%20_slab.get_cell()%0A%20%20%20%20%20%20%20%20%20%20%20%20_area%20%3D%20np.linalg.norm(np.cross(_cell%5B0%5D%2C%20_cell%5B1%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20_gammas%5B_slab.info%5B%22miller%22%5D%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_slab.get_potential_energy()%20-%20len(_slab)%20*%20_per_atom%0A%20%20%20%20%20%20%20%20%20%20%20%20)%20%2F%20(2%20*%20_area)%0A%20%20%20%20%20%20%20%20return%20_gammas%0A%0A%20%20%20%20oracle_gamma%20%3D%20surface_energies(labelled_test_set)%0A%20%20%20%20return%20oracle_gamma%2C%20surface_energies%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bulk_validation)%3A%0A%20%20%20%20bulk_gamma%20%3D%20%7B%0A%20%20%20%20%20%20%20%20entry%5B%22miller%22%5D%3A%20entry%5B%22gamma_unrelaxed%22%5D%0A%20%20%20%20%20%20%20%20for%20entry%20in%20bulk_validation.report%5B%22surface_energy%22%5D%0A%20%20%20%20%7D%0A%20%20%20%20return%20(bulk_gamma%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bulk_gamma%2C%20mo%2C%20np%2C%20oracle_gamma%2C%20plt)%3A%0A%20%20%20%20_faces%20%3D%20sorted(oracle_gamma)%0A%20%20%20%20_truth%20%3D%20np.array(%5Boracle_gamma%5Bf%5D%20for%20f%20in%20_faces%5D)%0A%20%20%20%20_model%20%3D%20np.array(%5Bbulk_gamma%5Bf%5D%20for%20f%20in%20_faces%5D)%0A%20%20%20%20fig_gamma%2C%20ax_gamma%20%3D%20plt.subplots(figsize%3D(6.0%2C%204.0))%0A%20%20%20%20_x%20%3D%20np.arange(len(_faces))%0A%20%20%20%20ax_gamma.bar(_x%20-%200.2%2C%20_truth%2C%20width%3D0.4%2C%20label%3D%22oracle%22%2C%20color%3D%22%2315616d%22)%0A%20%20%20%20ax_gamma.bar(_x%20%2B%200.2%2C%20_model%2C%20width%3D0.4%2C%20label%3D%22E1%20potential%22%2C%20color%3D%22%2378290f%22)%0A%20%20%20%20ax_gamma.set_xticks(_x)%0A%20%20%20%20ax_gamma.set_xticklabels(%5Bf%22(%7Bf%7D)%22%20for%20f%20in%20_faces%5D)%0A%20%20%20%20ax_gamma.set(ylabel%3D%22gamma%20(eV%2FA%5E2)%22%2C%20title%3D%22Surface%20energy%3A%20truth%20vs%20bulk-only%20fit%22)%0A%20%20%20%20ax_gamma.legend()%0A%20%20%20%20fig_gamma.tight_layout()%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20fig_gamma%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20face%20%7C%20oracle%20%7C%20E1%20potential%20%7C%20error%20%7C%5Cn%7C---%7C---%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20(%7Bf%7D)%20%7C%20%7Boracle_gamma%5Bf%5D%3A.4f%7D%20%7C%20%7Bbulk_gamma%5Bf%5D%3A.4f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bbulk_gamma%5Bf%5D%20-%20oracle_gamma%5Bf%5D%3A%2B.4f%7D%20%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20f%20in%20_faces%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bulk_validation%2C%20mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20_parity%20%3D%20bulk_validation.report%5B%22parity%22%5D%5B%22energy%22%5D%0A%20%20%20%20_reference%20%3D%20np.array(_parity%5B%22reference%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_predicted%20%3D%20np.array(_parity%5B%22predicted%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_natoms%20%3D%20np.array(_parity%5B%22natoms%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20fig_parity%2C%20ax_parity%20%3D%20plt.subplots(figsize%3D(5.0%2C%205.0))%0A%20%20%20%20ax_parity.scatter(_reference%20%2F%20_natoms%2C%20_predicted%20%2F%20_natoms%2C%20color%3D%22%2315616d%22)%0A%20%20%20%20_low%20%3D%20float(min((_reference%20%2F%20_natoms).min()%2C%20(_predicted%20%2F%20_natoms).min()))%0A%20%20%20%20_high%20%3D%20float(max((_reference%20%2F%20_natoms).max()%2C%20(_predicted%20%2F%20_natoms).max()))%0A%20%20%20%20ax_parity.plot(%5B_low%2C%20_high%5D%2C%20%5B_low%2C%20_high%5D%2C%20color%3D%22%2378290f%22)%0A%20%20%20%20ax_parity.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22oracle%20energy%20%2F%20atom%20(eV)%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22ACE%20energy%20%2F%20atom%20(eV)%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Parity%20on%20the%20test%20set%22%2C%0A%20%20%20%20)%0A%20%20%20%20fig_parity.tight_layout()%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20fig_parity%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20bulk%20point%20sits%20on%20the%20line%3B%20the%20slabs%20do%20not.%20E1's%20parity%20plot%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22contained%20**only%20bulk%20structures**%2C%20so%20it%20could%20not%20have%20shown%20you%20this%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22however%20hard%20you%20looked.%20A%20parity%20plot%20tells%20you%20about%20the%20structures%20in%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22it%2C%20and%20nothing%20at%20all%20about%20the%20ones%20you%20left%20out.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(bulk%2C%20np)%3A%0A%20%20%20%20%23%20The%20E1%20recipe%2C%20rebuilt%20here%20so%20the%20coverage%20map%20compares%20slabs%20against%20the%20cloud%20the%0A%20%20%20%20%23%20model%20was%20actually%20fitted%20to.%20Deterministic%3A%20same%20seeds%2C%20same%20cells%2C%20every%20run.%0A%20%20%20%20training_cells%20%3D%20%5B%5D%0A%20%20%20%20for%20_index%2C%20_scale%20in%20enumerate(np.linspace(0.94%2C%201.06%2C%208))%3A%0A%20%20%20%20%20%20%20%20_atoms%20%3D%20bulk(%22Si%22%2C%20%22diamond%22%2C%20a%3D5.43%20*%20_scale%2C%20cubic%3DTrue)%0A%20%20%20%20%20%20%20%20_atoms.rattle(stdev%3D0.02%2C%20seed%3D3000%20%2B%20_index)%0A%20%20%20%20%20%20%20%20_atoms.info%5B%22config_type%22%5D%20%3D%20%22bulk%22%0A%20%20%20%20%20%20%20%20training_cells.append(_atoms)%0A%20%20%20%20return%20(training_cells%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q2%3A%20Diagnose%20it%20%E2%80%94%20where%20does%20the%20model%20think%20it%20is%3F%0A%0A%20%20%20%20Surface%20atoms%20are%20undercoordinated.%20Ask%20the%20workbench%20to%20project%20both%20your%20training%0A%20%20%20%20cloud%20and%20your%20slabs%20onto%20the%20**school's%20fixed%20reference%20ACE%20basis**%2C%20then%20look%20at%0A%20%20%20%20where%20they%20sit.%20PCA%20is%20two%20lines%20of%20numpy%3A%20no%20library%2C%20no%20magic.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hint)%3A%0A%20%20%20%20hint(%0A%20%20%20%20%20%20%20%20%22Centre%20the%20descriptor%20matrix%20on%20the%20*training*%20mean%20before%20decomposing.%22%2C%0A%20%20%20%20%20%20%20%20%22%60numpy.linalg.svd(centred%2C%20full_matrices%3DFalse)%60%20gives%20components%20in%20%60Vt%60.%22%2C%0A%20%20%20%20%20%20%20%20%22Project%20both%20sets%20with%20%60centred%20%40%20Vt%5B%3A2%5D.T%60.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(MLIPSchoolClient%2C%20config%2C%20mo%2C%20slabs%2C%20training_cells)%3A%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Projecting%20the%20training%20cloud...%22)%20as%20_progress%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D300.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_basis%2C%20_training_rows%20%3D%20await%20_client.get_descriptors(training_cells)%0A%20%20%20%20%20%20%20%20%20%20%20%20_progress.update(%22Projecting%20the%20slab%20environments...%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20descriptor_basis%2C%20_slab_rows%20%3D%20await%20_client.get_descriptors(slabs)%0A%20%20%20%20bulk_descriptors%20%3D%20%5Brow%20for%20frame%20in%20_training_rows%20for%20row%20in%20frame%5D%0A%20%20%20%20slab_descriptors%20%3D%20%5Brow%20for%20frame%20in%20_slab_rows%20for%20row%20in%20frame%5D%0A%20%20%20%20return%20bulk_descriptors%2C%20descriptor_basis%2C%20slab_descriptors%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20bulk_pca%20%3D%20None%0A%20%20%20%20slab_pca%20%3D%20None%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20return%20bulk_pca%2C%20slab_pca%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bulk_pca%2C%20check%2C%20np%2C%20slab_descriptors%2C%20slab_pca)%3A%0A%20%20%20%20check_passed_Q2%20%3D%20False%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q2%3A%20Coverage%20projection%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20bulk_pca%20is%20None%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(bulk_pca.shape%5B1%5D%20%3D%3D%202%2C%20%22Project%20onto%20the%20first%20two%20components%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20slab_pca.shape%5B0%5D%20%3D%3D%20len(slab_descriptors)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Project%20every%20slab%20atom%2C%20not%20just%20one%20structure%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bool(np.abs(bulk_pca.mean(axis%3D0)).max()%20%3C%201e-6)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Centre%20on%20the%20training%20mean%3A%20the%20training%20projection%20should%20sit%20at%20the%20origin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q2%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q2%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q2%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q2%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q2%22%2C%20check_passed_Q2%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bulk_pca%2C%20descriptor_basis%2C%20mo%2C%20plt%2C%20slab_pca)%3A%0A%20%20%20%20mo.stop(bulk_pca%20is%20None%2C%20mo.md(%22Complete%20**Q2**%20to%20see%20the%20coverage%20map.%22))%0A%20%20%20%20fig_pca%2C%20ax_pca%20%3D%20plt.subplots(figsize%3D(6.0%2C%205.0))%0A%20%20%20%20ax_pca.scatter(%0A%20%20%20%20%20%20%20%20slab_pca%5B%3A%2C%200%5D%2C%20slab_pca%5B%3A%2C%201%5D%2C%20s%3D18%2C%20color%3D%22%2378290f%22%2C%20label%3D%22slab%20environments%22%0A%20%20%20%20)%0A%20%20%20%20ax_pca.scatter(%0A%20%20%20%20%20%20%20%20bulk_pca%5B%3A%2C%200%5D%2C%20bulk_pca%5B%3A%2C%201%5D%2C%20s%3D28%2C%20color%3D%22%2315616d%22%2C%20label%3D%22training%20(bulk)%22%0A%20%20%20%20)%0A%20%20%20%20ax_pca.set(xlabel%3D%22PC%201%22%2C%20ylabel%3D%22PC%202%22%2C%20title%3D%22Coverage%20in%20the%20reference%20ACE%20basis%22)%0A%20%20%20%20ax_pca.legend()%0A%20%20%20%20fig_pca.tight_layout()%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20fig_pca%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Basis%20%60%7Bdescriptor_basis%5B'id'%5D%7D%60%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(%7Bdescriptor_basis%5B'length'%5D%7D%20functions)%2C%20checksum%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%60%7Bdescriptor_basis%5B'checksum'%5D%5B%3A19%5D%7D...%60%20%E2%80%94%20every%20student's%20map%20is%20comparable.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(bulk_descriptors%2C%20np%2C%20slab_descriptors)%3A%0A%20%20%20%20%23%20How%20far%20is%20each%20slab%20environment%20from%20anything%20the%20model%20was%20trained%20on%3F%20This%20is%20the%0A%20%20%20%20%23%20extrapolation%20question%20stated%20numerically%2C%20and%20it%20is%20what%20the%20picture%20above%20shows.%0A%20%20%20%20_training%20%3D%20np.asarray(bulk_descriptors%2C%20dtype%3Dfloat)%0A%20%20%20%20_slab%20%3D%20np.asarray(slab_descriptors%2C%20dtype%3Dfloat)%0A%20%20%20%20_within%20%3D%20np.linalg.norm(_training%5B%3A%2C%20None%2C%20%3A%5D%20-%20_training%5BNone%2C%20%3A%2C%20%3A%5D%2C%20axis%3D2)%0A%20%20%20%20np.fill_diagonal(_within%2C%20np.inf)%0A%20%20%20%20training_spacing%20%3D%20float(np.median(_within.min(axis%3D1)))%0A%20%20%20%20_to_training%20%3D%20np.linalg.norm(_slab%5B%3A%2C%20None%2C%20%3A%5D%20-%20_training%5BNone%2C%20%3A%2C%20%3A%5D%2C%20axis%3D2).min(axis%3D1)%0A%20%20%20%20slab_distance%20%3D%20float(np.median(_to_training))%0A%20%20%20%20novelty_ratio%20%3D%20slab_distance%20%2F%20training_spacing%0A%20%20%20%20return%20(novelty_ratio%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(check%2C%20novelty_ratio)%3A%0A%20%20%20%20%23%20Not%20an%20exercise%3A%20this%20measures%20the%20physics%20the%20projection%20reveals%2C%20not%20the%20student's%0A%20%20%20%20%23%20code%2C%20and%20it%20cannot%20run%20until%20novelty_ratio%20has%20been%20computed%20further%20down.%0A%20%20%20%20check(%0A%20%20%20%20%20%20%20%20%22Coverage%3A%20how%20far%20outside%3F%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20novelty_ratio%20is%20None%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20novelty_ratio%20%3E%205.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Slab%20environments%20should%20be%20far%20outside%20the%20training%20cloud.%20Distances%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22measured%20to%20the%20nearest%20training%20environment%2C%20not%20along%20one%20axis%3A%20a%20slab%20atom%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22can%20sit%20inside%20the%20PC1%20range%20and%20still%20be%20somewhere%20the%20model%20has%20never%20been.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q3-Q4%3A%20Repair%20it%20%E2%80%94%20put%20the%20missing%20environments%20in%20the%20data%0A%0A%20%20%20%20You%20have%20seen%20where%20the%20model%20is%20blind.%20Fix%20the%20dataset%2C%20not%20the%20model%3A%20label%20the%0A%20%20%20%20slabs%20you%20already%20built%2C%20add%20them%20to%20the%20bulk%20data%2C%20and%20refit%20under%20a%20new%20name.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hint)%3A%0A%20%20%20%20hint(%0A%20%20%20%20%20%20%20%20%22Do%20not%20put%20the%20held-out%20slabs%20themselves%20in%20the%20training%20set%3A%20that%20measures%20%22%0A%20%20%20%20%20%20%20%20%22memory%2C%20not%20learning.%20Add%20the%20same%20*kind*%20of%20environment%20instead.%22%2C%0A%20%20%20%20%20%20%20%20%22Cleave%20the%20same%20three%20faces%20at%20a%20different%20thickness%20%E2%80%94%20%60surface('Si'%2C%20miller%2C%20%22%0A%20%20%20%20%20%20%20%20%224%2C%20vacuum%3D...)%60%20%E2%80%94%20so%20the%20surface%20environments%20are%20represented%20but%20the%20graded%20%22%0A%20%20%20%20%20%20%20%20%22structures%20are%20not.%22%2C%0A%20%20%20%20%20%20%20%20%22Tag%20them%20exactly%20as%20before%2C%20so%20the%20workbench%20can%20find%20them.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20The%20repair%20set%3A%20the%20same%20surface%20environments%2C%20cleaved%20at%20a%20different%20thickness.%20The%0A%20%20%20%20%23%20graded%20slabs%20stay%20held%20out%2C%20so%20gamma%20still%20measures%20prediction%20rather%20than%20recall.%0A%20%20%20%20repair_slabs%20%3D%20None%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20return%20(repair_slabs%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(MILLER%2C%20check%2C%20repair_slabs%2C%20slabs)%3A%0A%20%20%20%20check_passed_Q3%20%3D%20False%0A%20%20%20%20if%20repair_slabs%20is%20None%3A%0A%20%20%20%20%20%20%20%20_result%20%3D%20check(%22Q3%3A%20Repair%20set%22%2C%20%5B%5D)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_graded_thickness%20%3D%20%7Blen(_slab)%20for%20_slab%20in%20slabs%7D%0A%20%20%20%20%20%20%20%20check(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Q3%3A%20Repair%20set%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(len(repair_slabs)%20%3D%3D%20len(MILLER)%2C%20%22Build%20one%20repair%20slab%20per%20Miller%20index%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_slab.info.get(%22miller%22)%20for%20_slab%20in%20repair_slabs%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%3D%20%7B%22100%22%2C%20%22110%22%2C%20%22111%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Tag%20each%20repair%20slab%20with%20its%20Miller%20index%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all(_slab.info.get(%22config_type%22)%20%3D%3D%20%22slab%22%20for%20_slab%20in%20repair_slabs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Tag%20the%20repair%20slabs%20config_type%3D'slab'%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20not%20(%7Blen(_slab)%20for%20_slab%20in%20repair_slabs%7D%20%26%20_graded_thickness)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Cleave%20the%20repair%20slabs%20at%20a%20different%20thickness%20from%20the%20graded%20ones%2C%20so%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gamma%20still%20measures%20prediction%20rather%20than%20recall%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20check_passed_Q3%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q3%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q3%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q3%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q3%22%2C%20check_passed_Q3%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(MLIPSchoolClient%2C%20config%2C%20mo%2C%20repair_slabs)%3A%0A%20%20%20%20mo.stop(repair_slabs%20is%20None%2C%20mo.md(%22Complete%20**Q3**%20to%20label%20the%20repair%20set.%22))%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Labelling%20the%20repair%20slabs...%22)%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D900.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20labelled_repair%2C%20budget_after_repair%20%3D%20await%20_client.oracle_calculate(repair_slabs)%0A%20%20%20%20return%20budget_after_repair%2C%20labelled_repair%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20refit_button%20%3D%20mo.ui.run_button(label%3D%22Refit%20with%20surfaces%22)%0A%20%20%20%20refit_button%0A%20%20%20%20return%20(refit_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20auto_run%2C%0A%20%20%20%20config%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20refit_button%2C%0A%20%20%20%20training_cells%2C%0A)%3A%0A%20%20%20%20mo.stop(not%20auto_run%20and%20not%20refit_button.value%2C%20mo.md(%22Press%20**Refit%20with%20surfaces**.%22))%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Labelling%20the%20bulk%20training%20set...%22)%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D600.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20bulk_training%2C%20budget_after_bulk%20%3D%20await%20_client.oracle_calculate(training_cells)%0A%20%20%20%20return%20(bulk_training%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20repaired_training%20%3D%20None%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20return%20(repaired_training%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bulk_training%2C%20check%2C%20labelled_repair%2C%20repaired_training)%3A%0A%20%20%20%20check_passed_Q4%20%3D%20False%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q4%3A%20Repaired%20training%20set%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20repaired_training%20is%20None%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(repaired_training)%20%3D%3D%20len(bulk_training)%20%2B%20len(labelled_repair)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Keep%20every%20bulk%20configuration%20and%20add%20the%20labelled%20repair%20slabs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_atoms.info.get(%22config_type%22)%20for%20_atoms%20in%20repaired_training%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%3D%20%7B%22bulk%22%2C%20%22slab%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20repaired%20set%20should%20hold%20both%20bulk%20and%20slab%20environments%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q4%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q4%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q4%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q4%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q4%22%2C%20check_passed_Q4%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(MLIPSchoolClient%2C%20config%2C%20mo%2C%20repaired_training)%3A%0A%20%20%20%20mo.stop(repaired_training%20is%20None%2C%20mo.md(%22Complete%20**Q4**%20to%20refit.%22))%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Fitting%20e2-surfaces...%22)%20as%20_progress%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D900.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20surface_model%20%3D%20await%20_client.fit_ace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20repaired_training%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22e2-surfaces%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress%3Dlambda%20_job%3A%20_progress.update(f%22Fit%20%7B_job%5B'status'%5D%7D...%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elements%3D%5B%22Si%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20order%3D3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20totaldegree%3D10%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rcut%3D5.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20e0s%3D%7B%22Si%22%3A%200.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solver%3D%22QR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20poll_interval%3D0.25%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(surface_model%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(MLIPSchoolClient%2C%20config%2C%20labelled_test_set%2C%20mo%2C%20surface_model)%3A%0A%20%20%20%20mo.stop(surface_model%20is%20None%2C%20mo.md(%22Waiting%20for%20the%20refit.%22))%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Re-running%20the%20surface%20battery...%22)%20as%20_progress%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D900.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20surface_validation%20%3D%20await%20_client.ace_validate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20surface_model.model_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20labelled_test_set%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20properties%3D%5B%22parity%22%2C%20%22surface_energy%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress%3Dlambda%20_job%3A%20_progress.update(f%22Battery%3A%20%7B_job%5B'status'%5D%7D...%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(surface_validation%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(surface_validation)%3A%0A%20%20%20%20repaired_gamma%20%3D%20%7B%0A%20%20%20%20%20%20%20%20entry%5B%22miller%22%5D%3A%20entry%5B%22gamma_unrelaxed%22%5D%0A%20%20%20%20%20%20%20%20for%20entry%20in%20surface_validation.report%5B%22surface_energy%22%5D%0A%20%20%20%20%7D%0A%20%20%20%20return%20(repaired_gamma%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bulk_gamma%2C%20mo%2C%20np%2C%20oracle_gamma%2C%20plt%2C%20repaired_gamma)%3A%0A%20%20%20%20_faces%20%3D%20sorted(oracle_gamma)%0A%20%20%20%20_x%20%3D%20np.arange(len(_faces))%0A%20%20%20%20fig_repair%2C%20ax_repair%20%3D%20plt.subplots(figsize%3D(6.5%2C%204.0))%0A%20%20%20%20ax_repair.bar(%0A%20%20%20%20%20%20%20%20_x%20-%200.25%2C%0A%20%20%20%20%20%20%20%20%5Boracle_gamma%5Bf%5D%20for%20f%20in%20_faces%5D%2C%0A%20%20%20%20%20%20%20%20width%3D0.25%2C%20label%3D%22oracle%22%2C%20color%3D%22%2315616d%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_repair.bar(%0A%20%20%20%20%20%20%20%20_x%2C%0A%20%20%20%20%20%20%20%20%5Bbulk_gamma%5Bf%5D%20for%20f%20in%20_faces%5D%2C%0A%20%20%20%20%20%20%20%20width%3D0.25%2C%20label%3D%22bulk-only%22%2C%20color%3D%22%2378290f%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_repair.bar(%0A%20%20%20%20%20%20%20%20_x%20%2B%200.25%2C%0A%20%20%20%20%20%20%20%20%5Brepaired_gamma%5Bf%5D%20for%20f%20in%20_faces%5D%2C%0A%20%20%20%20%20%20%20%20width%3D0.25%2C%20label%3D%22with%20surfaces%22%2C%20color%3D%22%232a9d8f%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_repair.set_xticks(_x)%0A%20%20%20%20ax_repair.set_xticklabels(%5Bf%22(%7Bf%7D)%22%20for%20f%20in%20_faces%5D)%0A%20%20%20%20ax_repair.set(ylabel%3D%22gamma%20(eV%2FA%5E2)%22%2C%20title%3D%22Curation%20closes%20the%20gap%22)%0A%20%20%20%20ax_repair.legend()%0A%20%20%20%20fig_repair.tight_layout()%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20fig_repair%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20face%20%7C%20oracle%20%7C%20bulk-only%20error%20%7C%20repaired%20error%20%7C%5Cn%7C---%7C---%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20(%7Bf%7D)%20%7C%20%7Boracle_gamma%5Bf%5D%3A.4f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bbulk_gamma%5Bf%5D%20-%20oracle_gamma%5Bf%5D%3A%2B.4f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Brepaired_gamma%5Bf%5D%20-%20oracle_gamma%5Bf%5D%3A%2B.4f%7D%20%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20f%20in%20_faces%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20budget_after_repair%2C%0A%20%20%20%20bulk_gamma%2C%0A%20%20%20%20check%2C%0A%20%20%20%20np%2C%0A%20%20%20%20oracle_gamma%2C%0A%20%20%20%20repaired_gamma%2C%0A%20%20%20%20repaired_training%2C%0A%20%20%20%20slabs%2C%0A)%3A%0A%20%20%20%20if%20repaired_gamma%20is%20None%3A%0A%20%20%20%20%20%20%20%20check(%22Repair%3A%20surface%20energies%22%2C%20%5B%5D)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_errors%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Babs(repaired_gamma%5Bf%5D%20-%20oracle_gamma%5Bf%5D)%20for%20f%20in%20sorted(oracle_gamma)%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_before%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Babs(bulk_gamma%5Bf%5D%20-%20oracle_gamma%5Bf%5D)%20for%20f%20in%20sorted(oracle_gamma)%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%23%20Training%20on%20the%20structures%20you%20are%20graded%20against%20measures%20memory%2C%20not%20learning.%0A%20%20%20%20%20%20%20%20_test_positions%20%3D%20%5Bnp.round(s.get_positions()%2C%206).tobytes()%20for%20s%20in%20slabs%5D%0A%20%20%20%20%20%20%20%20_trained_on_test%20%3D%20any(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.round(s.get_positions()%2C%206).tobytes()%20in%20_test_positions%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20s%20in%20repaired_training%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20check(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Repair%3A%20surface%20energies%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set(repaired_gamma)%20%3D%3D%20set(oracle_gamma)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20refit%20should%20report%20every%20face%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20not%20_trained_on_test%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20held-out%20slabs%20must%20not%20appear%20in%20the%20training%20set%3A%20add%20the%20same%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22kind%20of%20environment%2C%20not%20the%20answer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(_errors.max())%20%3C%200.02%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20surface%20energy%20should%20land%20within%200.02%20eV%2FA%5E2%20of%20the%20oracle%20once%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22slab%20environments%20are%20represented%20in%20the%20training%20set%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(_errors.max())%20%3C%200.25%20*%20float(_before.max())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20repair%20should%20be%20a%20large%20improvement%20on%20the%20bulk-only%20fit%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20budget_after_repair%5B%22used%22%5D%20%3C%3D%20110%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Keep%20cumulative%20oracle%20labels%20at%20or%20below%20110%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(budget_after_repair%2C%20bulk_gamma%2C%20mo%2C%20oracle_gamma%2C%20repaired_gamma)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Coverage%20of%20the%20target%20environments%2C%20not%20volume%20of%20data.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Six%20rattled%20slabs%20took%20the%20worst%20error%20from%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bmax(abs(bulk_gamma%5Bf%5D%20-%20oracle_gamma%5Bf%5D)%20for%20f%20in%20oracle_gamma)%3A.3f%7D%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bmax(abs(repaired_gamma%5Bf%5D%20-%20oracle_gamma%5Bf%5D)%20for%20f%20in%20oracle_gamma)%3A.4f%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22eV%2FA%5E2.%20The%20dataset%20barely%20grew%3B%20it%20simply%20stopped%20being%20blind.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Budget%3A%20**%7Bbudget_after_repair%5B'used'%5D%7D%20%2F%20%7Bbudget_after_repair%5B'limit'%5D%7D**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22labels%20used.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q5%3A%20Now%20let%20it%20move%0A%0A%20%20%20%20Real%20surfaces%20relax.%20Your%20repaired%20potential%20has%20seen%20cleaved%20faces%2C%20but%20never%20a%0A%20%20%20%20surface%20atom%20that%20has%20*moved*%20off%20its%20bulk-terminated%20site.%20Ask%20it%20to%20relax%20the%20slabs%0A%20%20%20%20and%20watch%20what%20it%20does%20when%20it%20leaves%20the%20data%20behind.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20relax_button%20%3D%20mo.ui.run_button(label%3D%22Relax%20the%20slabs%22)%0A%20%20%20%20relax_button%0A%20%20%20%20return%20(relax_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20auto_run%2C%0A%20%20%20%20config%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20relax_button%2C%0A%20%20%20%20slabs%2C%0A%20%20%20%20surface_model%2C%0A)%3A%0A%20%20%20%20mo.stop(not%20auto_run%20and%20not%20relax_button.value%2C%20mo.md(%22Press%20**Relax%20the%20slabs**.%22))%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Relaxing%20the%20slabs...%22)%20as%20_progress%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D1800.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20cleaved_relaxation%20%3D%20await%20_client.ace_relax(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20surface_model.model_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20slabs%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fmax%3D0.03%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max_steps%3D200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress%3Dlambda%20_job%3A%20_progress.update(f%22Relaxation%3A%20%7B_job%5B'status'%5D%7D...%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(cleaved_relaxation%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(cleaved_relaxation%2C%20mo%2C%20slabs)%3A%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_slab%2C%20_entry%20in%20zip(slabs%2C%20cleaved_relaxation.report%5B%22structures%22%5D%2C%20strict%3DTrue)%3A%0A%20%20%20%20%20%20%20%20_drop%20%3D%20_entry%5B%22delta_energy%22%5D%0A%20%20%20%20%20%20%20%20_force%20%3D%20_entry%5B%22max_force_final%22%5D%0A%20%20%20%20%20%20%20%20_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20(%7B_slab.info%5B'miller'%5D%7D)%20%7C%20%7B_entry%5B'converged'%5D%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B'diverged'%20if%20_drop%20is%20None%20or%20abs(_drop)%20%3E%201e3%20else%20f'%7B_drop%3A.3f%7D'%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B'diverged'%20if%20_force%20is%20None%20or%20_force%20%3E%201e3%20else%20f'%7B_force%3A.3f%7D'%7D%20%7C%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_stable%20%3D%20all(%0A%20%20%20%20%20%20%20%20_entry%5B%22converged%22%5D%20and%20_entry%5B%22delta_energy%22%5D%20is%20not%20None%0A%20%20%20%20%20%20%20%20and%20abs(_entry%5B%22delta_energy%22%5D)%20%3C%201e3%0A%20%20%20%20%20%20%20%20for%20_entry%20in%20cleaved_relaxation.report%5B%22structures%22%5D%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20face%20%7C%20converged%20%7C%20dE%20(eV)%20%7C%20final%20max%20force%20(eV%2FA)%20%7C%5Cn%7C---%7C---%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(_rows)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Off%20its%20data%20the%20potential%20is%20not%20merely%20inaccurate%2C%20it%20is%20**unstable**%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20optimiser%20follows%20forces%20that%20point%20nowhere%20real.%20A%20parity%20plot%20cannot%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tell%20you%20this%20either.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20_stable%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22These%20relaxations%20held%20together.%20Check%20the%20energies%20below%20anyway%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22converging%20is%20not%20the%20same%20as%20converging%20to%20the%20right%20place.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%20if%20not%20_stable%20else%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hint)%3A%0A%20%20%20%20hint(%0A%20%20%20%20%20%20%20%20%22Displaced%20surface%20atoms%20are%20the%20missing%20environment%3A%20rattle%20the%20slabs.%22%2C%0A%20%20%20%20%20%20%20%20%22Use%20two%20amplitudes%20so%20the%20model%20sees%20both%20small%20and%20large%20displacements%2C%20for%20%22%0A%20%20%20%20%20%20%20%20%22example%20stdev%200.05%20and%200.12%20A%2C%20with%20fixed%20seeds.%22%2C%0A%20%20%20%20%20%20%20%20%22Keep%20tagging%20them%2C%20and%20keep%20the%20graded%20slabs%20out%20of%20the%20training%20set.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20displaced_slabs%20%3D%20None%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20return%20(displaced_slabs%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(check%2C%20displaced_slabs%2C%20repair_slabs)%3A%0A%20%20%20%20check_passed_Q5%20%3D%20False%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q5%3A%20Displaced%20slabs%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20displaced_slabs%20is%20None%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(displaced_slabs)%20%3D%3D%202%20*%20len(repair_slabs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Displace%20each%20repair%20slab%20at%20two%20amplitudes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_slab.info.get(%22config_type%22)%20%3D%3D%20%22slab-displaced%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_slab%20in%20displaced_slabs%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Tag%20the%20displaced%20configurations%20config_type%3D'slab-displaced'%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_slab.info.get(%22miller%22)%20for%20_slab%20in%20displaced_slabs%7D%20%3D%3D%20%7B%22100%22%2C%20%22110%22%2C%20%22111%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Carry%20the%20Miller%20index%20through%20from%20the%20slab%20each%20one%20came%20from%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q5%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q5%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q5%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q5%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q5%22%2C%20check_passed_Q5%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(MLIPSchoolClient%2C%20config%2C%20displaced_slabs%2C%20mo)%3A%0A%20%20%20%20mo.stop(displaced_slabs%20is%20None%2C%20mo.md(%22Complete%20**Q5**%20to%20label%20the%20displaced%20slabs.%22))%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Labelling%20the%20displaced%20slabs...%22)%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D1800.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20labelled_displaced%2C%20budget_after_displaced%20%3D%20await%20_client.oracle_calculate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20displaced_slabs%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(labelled_displaced%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20config%2C%0A%20%20%20%20labelled_displaced%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20repaired_training%2C%0A)%3A%0A%20%20%20%20mo.stop(labelled_displaced%20is%20None%2C%20mo.md(%22Waiting%20for%20labels.%22))%0A%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D1800.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20relaxed_model%20%3D%20await%20_client.fit_ace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B*repaired_training%2C%20*labelled_displaced%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22e2-relaxed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20elements%3D%5B%22Si%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20order%3D3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20totaldegree%3D10%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20rcut%3D5.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20e0s%3D%7B%22Si%22%3A%200.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20solver%3D%22QR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20poll_interval%3D0.25%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(relaxed_model%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20config%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20reference_bulk%2C%0A%20%20%20%20relaxed_model%2C%0A%20%20%20%20slabs%2C%0A)%3A%0A%20%20%20%20mo.stop(relaxed_model%20is%20None%2C%20mo.md(%22Waiting%20for%20the%20refit.%22))%0A%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D1800.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20stable_relaxation%20%3D%20await%20_client.ace_relax(%0A%20%20%20%20%20%20%20%20%20%20%20%20relaxed_model.model_id%2C%20slabs%2C%20fmax%3D0.03%2C%20max_steps%3D200%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_relaxed%20%3D%20stable_relaxation.structures(%22relaxed.xyz%22)%0A%20%20%20%20%20%20%20%20for%20_slab%2C%20_geometry%20in%20zip(slabs%2C%20_relaxed%2C%20strict%3DTrue)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_geometry.info%5B%22config_type%22%5D%20%3D%20%22slab%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_geometry.info%5B%22miller%22%5D%20%3D%20_slab.info%5B%22miller%22%5D%0A%20%20%20%20%20%20%20%20labelled_relaxed%2C%20budget_final%20%3D%20await%20_client.oracle_calculate(_relaxed)%0A%20%20%20%20%20%20%20%20relaxed_validation%20%3D%20await%20_client.ace_validate(%0A%20%20%20%20%20%20%20%20%20%20%20%20relaxed_model.model_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Breference_bulk%2C%20*_relaxed%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20properties%3D%5B%22surface_energy%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20budget_final%2C%0A%20%20%20%20%20%20%20%20labelled_relaxed%2C%0A%20%20%20%20%20%20%20%20relaxed_validation%2C%0A%20%20%20%20%20%20%20%20stable_relaxation%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20labelled_relaxed%2C%0A%20%20%20%20labelled_test_set%2C%0A%20%20%20%20relaxed_validation%2C%0A%20%20%20%20surface_energies%2C%0A)%3A%0A%20%20%20%20_bulk%20%3D%20next(s%20for%20s%20in%20labelled_test_set%20if%20s.info.get(%22config_type%22)%20%3D%3D%20%22bulk%22)%0A%20%20%20%20relaxed_truth%20%3D%20surface_energies(%5B*labelled_relaxed%2C%20_bulk%5D)%0A%20%20%20%20relaxed_predicted%20%3D%20%7B%0A%20%20%20%20%20%20%20%20entry%5B%22miller%22%5D%3A%20entry%5B%22gamma_unrelaxed%22%5D%0A%20%20%20%20%20%20%20%20for%20entry%20in%20relaxed_validation.report%5B%22surface_energy%22%5D%0A%20%20%20%20%7D%0A%20%20%20%20return%20relaxed_predicted%2C%20relaxed_truth%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20relaxed_predicted%2C%20relaxed_truth%2C%20stable_relaxation)%3A%0A%20%20%20%20_rows%20%3D%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20f%22%7C%20(%7B_face%7D)%20%7C%20%7Brelaxed_truth%5B_face%5D%3A.4f%7D%20%7C%20%7Brelaxed_predicted%5B_face%5D%3A.4f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20f%22%7Brelaxed_predicted%5B_face%5D%20-%20relaxed_truth%5B_face%5D%3A%2B.4f%7D%20%7C%22%0A%20%20%20%20%20%20%20%20for%20_face%20in%20sorted(relaxed_truth)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**At%20the%20relaxed%20geometry**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20face%20%7C%20oracle%20%7C%20your%20potential%20%7C%20error%20%7C%5Cn%7C---%7C---%7C---%7C---%7C%5Cn%22%20%2B%20_rows%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22All%20three%20relaxations%20converged%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B%5Bround(_e%5B'delta_energy'%5D%2C%203)%20for%20_e%20in%20stable_relaxation.report%5B'structures'%5D%5D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20eV.%20The%20dataset%20now%20covers%20the%20geometries%20the%20model%20itself%20wants%20to%20visit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20budget_final%2C%0A%20%20%20%20check%2C%0A%20%20%20%20np%2C%0A%20%20%20%20relaxed_predicted%2C%0A%20%20%20%20relaxed_truth%2C%0A%20%20%20%20slabs%2C%0A%20%20%20%20stable_relaxation%2C%0A)%3A%0A%20%20%20%20if%20relaxed_predicted%20is%20None%3A%0A%20%20%20%20%20%20%20%20check(%22Stability%3A%20relaxed%20surfaces%22%2C%20%5B%5D)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_errors%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Babs(relaxed_predicted%5B_f%5D%20-%20relaxed_truth%5B_f%5D)%20for%20_f%20in%20sorted(relaxed_truth)%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_entries%20%3D%20stable_relaxation.report%5B%22structures%22%5D%0A%20%20%20%20%20%20%20%20check(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Stability%3A%20relaxed%20surfaces%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all(_entry%5B%22converged%22%5D%20for%20_entry%20in%20_entries)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20slab%20should%20relax%20to%20convergence%20once%20displaced%20surface%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22environments%20are%20in%20the%20training%20set%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_entry%5B%22delta_energy%22%5D%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20abs(_entry%5B%22delta_energy%22%5D)%20%3C%2050.0%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_entry%20in%20_entries%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20relaxation%20that%20drops%20thousands%20of%20eV%20has%20run%20away%2C%20not%20relaxed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(_entries)%20%3D%3D%20len(slabs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Relax%20every%20face%20you%20are%20graded%20on%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(_errors.max())%20%3C%200.03%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Surface%20energies%20at%20the%20relaxed%20geometry%20should%20land%20within%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%220.03%20eV%2FA%5E2%20of%20the%20oracle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20budget_final%5B%22used%22%5D%20%3C%3D%20110%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Keep%20cumulative%20oracle%20labels%20at%20or%20below%20110%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q6%3A%20Reflection%0A%0A%20%20%20%20You%20fixed%20the%20unrelaxed%20energies%20by%20adding%20cleaved%20faces%2C%20and%20the%20relaxations%20by%0A%20%20%20%20adding%20displaced%20ones.%20Each%20repair%20was%20aimed%20at%20environments%20you%20had%20a%20reason%20to%0A%20%20%20%20expect.%20What%20is%20still%20missing%20from%20this%20dataset%2C%20and%20how%20would%20you%20find%20out%20*without*%0A%20%20%20%20already%20knowing%20the%20answer%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20response_text%20%3D%20%22*Write%20your%20analysis%20here...*%22%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20mo.md(response_text)%0A%20%20%20%20return%20(response_text%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(check%2C%20response_text)%3A%0A%20%20%20%20check_passed_Q6%20%3D%20False%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q6%3A%20Reflection%22%2C%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(response_text.strip())%20%3E%3D%20120%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22Write%20your%20analysis%20here%22%20not%20in%20response_text%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Name%20the%20environments%20still%20missing%20and%20how%20you%20would%20verify%20the%20fix.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q6%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q6%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q6%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q6%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q6%22%2C%20check_passed_Q6%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20released_keys%2C%20set_released_keys%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20fetch_count%2C%20set_fetch_count%20%3D%20mo.state(0)%0A%20%20%20%20return%20fetch_count%2C%20released_keys%2C%20set_fetch_count%2C%20set_released_keys%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20set_fetch_count)%3A%0A%20%20%20%20workshop_key%20%3D%20mo.ui.text(label%3D%22Workshop%20key%22%2C%20placeholder%3D%22Enter%20key%20from%20instructor%22)%0A%0A%20%20%20%20def%20_on_fetch(_)%3A%0A%20%20%20%20%20%20%20%20set_fetch_count(lambda%20n%3A%20n%20%2B%201)%0A%0A%20%20%20%20fetch_btn%20%3D%20mo.ui.button(label%3D%22Check%20for%20released%20solutions%22%2C%20on_click%3D_on_fetch)%0A%20%20%20%20mo.hstack(%5Bworkshop_key%2C%20fetch_btn%5D%2C%20justify%3D%22start%22%2C%20gap%3D1)%0A%20%20%20%20return%20(workshop_key%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(KEYS_URL%2C%20fetch_count%2C%20fetch_released_keys%2C%20mo%2C%20set_released_keys)%3A%0A%20%20%20%20_count%20%3D%20fetch_count()%0A%20%20%20%20if%20_count%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_keys%20%3D%20fetch_released_keys(KEYS_URL)%0A%20%20%20%20%20%20%20%20set_released_keys(_keys)%0A%20%20%20%20%20%20%20%20_n%20%3D%20len(_keys)%0A%20%20%20%20%20%20%20%20if%20_n%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**%7B_n%7D%20solution(s)%20released**%20%E2%80%94%20scroll%20up%20to%20see%20them%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22No%20additional%20solutions%20released%20by%20instructor%22)%2C%20kind%3D%22neutral%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A