e1x basis and overfitting

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22ase%3E%3D3.25%22%2C%0A%23%20%20%20%20%20%22httpx%3E%3D0.28%22%2C%0A%23%20%20%20%20%20%22marimo%3E%3D0.24%2C%3C0.25%22%2C%0A%23%20%20%20%20%20%22marimol%3D%3D0.3.2%22%2C%0A%23%20%20%20%20%20%22matplotlib%3E%3D3.10%22%2C%0A%23%20%20%20%20%20%22mograder%3E%3D0.3.3%22%2C%0A%23%20%20%20%20%20%22numpy%3E%3D2.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20from%20js%20import%20self%20as%20js_self%0A%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%0A%0A%20%20%20%20%20%20%20%20_worker_dir%20%3D%20str(js_self.location.href).rsplit(%22%2F%22%2C%201)%5B0%5D%0A%20%20%20%20%20%20%20%20_site_root%20%3D%20_worker_dir.rsplit(%22%2F%22%2C%201)%5B0%5D%20%2B%20%22%2F%22%0A%20%20%20%20%20%20%20%20_wheel%20%3D%20open_url(_site_root%20%2B%20%22public%2Fclient-wheel.txt%22).read().strip()%0A%20%20%20%20%20%20%20%20await%20micropip.install(_site_root%20%2B%20%22public%2F%22%20%2B%20_wheel%2C%20deps%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%20%20%20%20_client_src%20%3D%20Path(__file__).resolve().parents%5B3%5D%20%2F%20%22client%22%20%2F%20%22src%22%0A%20%20%20%20%20%20%20%20if%20_client_src.exists()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_client_src))%0A%20%20%20%20client_path_ready%20%3D%20True%0A%20%20%20%20return%20(client_path_ready%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(client_path_ready)%3A%0A%20%20%20%20import%20os%0A%20%20%20%20import%20re%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20mlipschool_client%20import%20(%0A%20%20%20%20%20%20%20%20EndpointConfig%2C%0A%20%20%20%20%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20%20%20%20%20extxyz_to_atoms%2C%0A%20%20%20%20%20%20%20%20resolve_endpoint_defaults%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mograder.runtime%20import%20check%2C%20hint%0A%20%20%20%20from%20mograder.transport.workshop%20import%20reveal_solution%2C%20fetch_released_keys%0A%0A%20%20%20%20assert%20client_path_ready%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20EXERCISES%20%3D%3D%3D%0A%20%20%20%20EXERCISES%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Q1%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22MgMbFBYRSFJPAh1CGxEdBwcCQQgICggFHxc3HQELRV1YWV0TDR0CGRkNHRkcDUADCgJFHgwWFhENAQwJMgobER4GG0ZGZjIPHARTXkgGARhFXEdIU0lIAwoCRTMGAhcGGkZGZhkeCBkdPA4dDgEIH0lNUzgaCgkJHwkHExY8Dh0OAQgfMhkuQw4AHUwETAAeUzwHHQsJHzdTLxAWHDIyZhkJGgQsBRoOAgkeTFRQKBENCQoeCAIKFSwFGg4CCR43AC1TBQcdTwVNBQdQLAwaCwoeNjMKBQdZNTI%3D%22%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22Q2%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22HhsMFQNDVU80MWcKBgJTPBoAGEwEAkkWGhcbVWVMTUxJLxYRGgAdH01RSR4DTQkdHQ0URDJ6U0NIT09MTUw2AF0EDRswHAIYDB4HCgkDMAkDCRsXCktBT0BMAQkHWCwTQU9CTDIYRxcWFzcfABgIAh0ZEg83CgEJHwsQWFpDR08DCQNENgRaaUhPT0xNTElQFQwaTzAcQUw2BFMKBk8VBR1ENgIcFDNNGwkeGDYAAQYMBgwYBAMHA1E%2BRE8bCR4YNhYBAgUKHEBNHx0CGgAcUjseGAlAelNDSE8yRWdMSVBTEB8KChxDDRkAFg0MRxRmTUxJUFNDSE9NGAIYCBwXBg8dCglPVkkvAQwfNE0YAhgIHBcGDx0KCU8xRXpTQ0hPT0xNTEsSEhABHE1WTTMbHwQ4Sg0OHwQfSy1faUhPT0xNTElQURcaDgYCMilLSlM8GgAYN08YGxEaDTcqTTFNRklBQ1NYQV9AZ0xJUFNDSE9PThkJGgQsJkpVTwoBAwgEWw0YQRwdHxhBHgNNBQoOAkUzDAIBDBocRUZfRUBZU0lIXl9cXUJZXHlDSE9PEUQ%3D%22%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22Q3%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22solution%22%3A%20%22BApJAwQGDR9VZk1MSVARBhsbMAgICxsVFkNVTwIFA0QaBxYGGENPBwgVVBwSDgoLDkwfAx5KUxEHGDROGQkaBCwmSjJGN08YBgQSDwwKCB4ICUsteUNIT08DGwkbFhoXNx0OGAQDSU1TEB8KChw2QVgtKEEcChwYMilLLVNMSBwYCQgcMl1CPjNNGx4MBQcvNkE1%22%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%0A%20%20%20%20SALT_HASH%20%3D%20'2e460abcc67ad258517c2b341461185fa8ce8308ff505645dbcffbb9dd05d272'%0A%20%20%20%20KEYS_URL%20%3D%20'https%3A%2F%2Fkeys.mlipschool.uk%2Fe1x%2Fkeys.json'%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20EXERCISES%2C%0A%20%20%20%20%20%20%20%20EndpointConfig%2C%0A%20%20%20%20%20%20%20%20KEYS_URL%2C%0A%20%20%20%20%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20%20%20%20%20SALT_HASH%2C%0A%20%20%20%20%20%20%20%20check%2C%0A%20%20%20%20%20%20%20%20extxyz_to_atoms%2C%0A%20%20%20%20%20%20%20%20fetch_released_keys%2C%0A%20%20%20%20%20%20%20%20hint%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20os%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20re%2C%0A%20%20%20%20%20%20%20%20resolve_endpoint_defaults%2C%0A%20%20%20%20%20%20%20%20reveal_solution%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20E1x%3A%20Choosing%20a%20basis%0A%0A%20%20%20%20*This%20is%20an%20optional%20extension%20for%20those%20who%20have%20time.*%0A%0A%20%20%20%20You%20have%20already%20seen%20a%20potential%20with%20a%20parity%20plot%20at%0A%20%20%20%20%24R%5E2%24%20%3D%201.0000%20get%20a%20vacancy%20formation%20energy%20significantly%20wrong%2C%0A%20%20%20%20%20%20%20%20as%20the%20data%20did%20not%20cover%20the%20question.%0A%0A%20%20%20%20This%20time%20the%20data%20covers%20the%20question%20completely%2C%20but%20the%20model%20fails%20in%20a%20different%20way.%0A%0A%20%20%20%20Everything%20below%20runs%20against%20250%20pre-labelled%20bulk%20structures%20that%20ship%20with%20this%0A%20%20%20%20notebook.%20You%20will%20not%20spend%20a%20single%20oracle%20label%2C%20since%20nothing%20here%20requires%20the%0A%20%20%20%20oracle.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20os)%3A%0A%20%20%20%20auto_run%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.app_meta().mode%20%3D%3D%20%22script%22%0A%20%20%20%20%20%20%20%20or%20bool(os.getenv(%22MOGRADER_SIDECAR_PATH%22))%0A%20%20%20%20)%0A%20%20%20%20return%20(auto_run%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(mo%2C%20resolve_endpoint_defaults)%3A%0A%20%20%20%20%23%20Environment%2C%20then%20the%20served%20room%20config%2C%20then%20production.%20Never%20localhost%3A%20a%20browser%0A%20%20%20%20%23%20notebook%20has%20no%20environment%2C%20and%20that%20default%20sent%20students%20to%20a%20dead%20port.%0A%20%20%20%20_defaults%20%3D%20await%20resolve_endpoint_defaults()%0A%20%20%20%20ace_url%20%3D%20mo.ui.text(value%3D_defaults%5B%22ace_url%22%5D%2C%20label%3D%22ACE%20workbench%22%2C%20full_width%3DTrue)%0A%20%20%20%20api_key%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D_defaults%5B%22api_key%22%5D%2C%20label%3D%22API%20key%22%2C%20kind%3D%22password%22%2C%20full_width%3DTrue%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bace_url%2C%20api_key%5D)%0A%20%20%20%20return%20ace_url%2C%20api_key%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(EndpointConfig%2C%20ace_url%2C%20api_key)%3A%0A%20%20%20%20config%20%3D%20EndpointConfig(%0A%20%20%20%20%20%20%20%20oracle_url%3Dace_url.value%2C%20%20%23%20unused%20here%3A%20this%20notebook%20never%20calls%20the%20oracle%0A%20%20%20%20%20%20%20%20ace_url%3Dace_url.value%2C%0A%20%20%20%20%20%20%20%20api_key%3Dapi_key.value%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(config%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(extxyz_to_atoms%2C%20mo)%3A%0A%20%20%20%20%23%20Every%20name%20here%20is%20underscore-private%3A%20marimo%20requires%20globally%20unique%20definitions%0A%20%20%20%20%23%20across%20cells%2C%20and%20the%20bootstrap%20cell%20above%20already%20binds%20sys%2C%20Path%20and%20open_url.%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20_name%20%3D%20%22e1x-bulk-reference.xyz%22%0A%20%20%20%20if%20_sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20from%20js%20import%20self%20as%20_js_self%0A%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%20as%20_open_url%0A%0A%20%20%20%20%20%20%20%20_worker_dir%20%3D%20str(_js_self.location.href).rsplit(%22%2F%22%2C%201)%5B0%5D%0A%20%20%20%20%20%20%20%20_text%20%3D%20_open_url(_worker_dir.rsplit(%22%2F%22%2C%201)%5B0%5D%20%2B%20%22%2Fpublic%2F%22%20%2B%20_name).read()%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20from%20pathlib%20import%20Path%20as%20_Path%0A%0A%20%20%20%20%20%20%20%20_text%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20_Path(__file__).resolve().parents%5B3%5D%20%2F%20%22notebooks%22%20%2F%20%22reference%22%20%2F%20_name%0A%20%20%20%20%20%20%20%20).read_text()%0A%20%20%20%20reference_frames%20%3D%20extxyz_to_atoms(_text)%0A%20%20%20%20_atoms%20%3D%20sum(len(f)%20for%20f%20in%20reference_frames)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22Loaded%20**%7Blen(reference_frames)%7D**%20labelled%20bulk%20structures%20%22%0A%20%20%20%20%20%20%20%20f%22(%7B_atoms%7D%20atoms%2C%20%7Blen(reference_frames)%20%2B%203%20*%20_atoms%7D%20observations)%20%E2%80%94%20%22%0A%20%20%20%20%20%20%20%20%22no%20labels%20spent.%22%0A%20%20%20%20)%0A%20%20%20%20return%20(reference_frames%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q1%20Hold%20out%20a%20test%20set%0A%0A%20%20%20%20Every%20exercise%20so%20far%20has%20judged%20a%20potential%20on%20physics%20you%20could%20name%20%E2%80%94%20a%20lattice%0A%20%20%20%20constant%2C%20a%20surface%20energy.%20Here%20you%20need%20something%20else%3A%20a%20set%20of%20structures%20the%20fit%0A%20%20%20%20never%20sees%2C%20scored%20the%20same%20way%20as%20the%20training%20set.%0A%0A%20%20%20%20Split%20%60reference_frames%60%20into%20%60train_frames%60%20and%20%60test_frames%60%2C%20holding%20out%20about%20a%0A%20%20%20%20fifth.%20Shuffle%20first%20%E2%80%94%20the%20file%20is%20ordered%20by%20cell%20size%2C%20and%20a%20split%20by%20position%20would%0A%20%20%20%20put%20every%2016-atom%20supercell%20in%20one%20side.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hint)%3A%0A%20%20%20%20hint(%0A%20%20%20%20%20%20%20%20%22%60np.random.default_rng(11).permutation(len(reference_frames))%60%20gives%20shuffled%20indices.%22%2C%0A%20%20%20%20%20%20%20%20%22Take%20the%20first%2080%25%20for%20training%20and%20the%20rest%20for%20testing.%22%2C%0A%20%20%20%20%20%20%20%20%22Index%20%60reference_frames%60%20with%20those%2C%20do%20not%20slice%20it%20directly.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20train_frames%20%3D%20None%0A%20%20%20%20test_frames%20%3D%20None%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20return%20test_frames%2C%20train_frames%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(check%2C%20reference_frames%2C%20test_frames%2C%20train_frames)%3A%0A%20%20%20%20check_passed_Q1%20%3D%20False%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q1%3A%20Hold%20out%20a%20test%20set%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20train_frames%20is%20None%20or%20test_frames%20is%20None%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(train_frames)%20%2B%20len(test_frames)%20%3D%3D%20len(reference_frames)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20structure%20should%20belong%20to%20exactly%20one%20of%20the%20two%20sets%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20not%20(%7Bid(f)%20for%20f%20in%20train_frames%7D%20%26%20%7Bid(f)%20for%20f%20in%20test_frames%7D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20structure%20in%20both%20sets%20makes%20the%20test%20error%20meaningless%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200.7%20%3C%3D%20len(train_frames)%20%2F%20len(reference_frames)%20%3C%3D%200.9%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Hold%20out%20roughly%20a%20fifth%20of%20the%20data%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q1%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q1%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q1%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q1%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q1%22%2C%20check_passed_Q1%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q2%20Sweep%20the%20basis%0A%0A%20%20%20%20%60totaldegree%60%20sets%20how%20many%20functions%20the%20basis%20may%20spend.%20The%20sweep%20fits%20the%20same%0A%20%20%20%20training%20data%20at%20four%20degrees%20%E2%80%94%20**8%2C%2012%2C%2014%20and%2020**%20%E2%80%94%20holding%20everything%20else%20fixed%3A%0A%20%20%20%20correlation%20order%203%2C%20a%205.5%20A%20cutoff%20and%20a%20QR%20solve.%20Only%20the%20basis%20size%20changes%2C%20so%0A%20%20%20%20anything%20the%20results%20show%20is%20down%20to%20that.%0A%0A%20%20%20%20Pressing%20the%20button%20runs%20those%20four%20fits%20for%20you%20and%20evaluates%20each%20one%20on%0A%20%20%20%20%60test_frames%60.%20It%20leaves%20you%20%60fits%60%3A%20one%20entry%20per%20degree%2C%20with%20%60totaldegree%60%2C%20%60basis%60%2C%0A%20%20%20%20%60train_E%60%20(the%20RMSE%20the%20fit%20reports%20on%20its%20own%20training%20data)%20and%20%60test_predictions%60%0A%20%20%20%20(your%20model's%20energies%20for%20the%20held-out%20frames).%20Your%20job%20is%20to%20turn%20that%20into%20the%0A%20%20%20%20table%20the%20rest%20of%20the%20exercise%20reads.%0A%0A%20%20%20%20-%20%60sweep%60%20should%20be%20a%20list%20of%20dicts%2C%20one%20per%20degree%20and%20in%20the%20same%20order%2C%20each%20with%0A%20%20%20%20%20%20four%20keys%3A%0A%20%20%20%20%20%20%20%20-%20%60totaldegree%60%20%E2%80%94%20the%20degree%20that%20was%20fitted%0A%20%20%20%20%20%20%20%20-%20%60basis%60%20%E2%80%94%20the%20number%20of%20basis%20functions%0A%20%20%20%20%20%20%20%20-%20%60train_E%60%20%E2%80%94%20the%20training%20RMSE%2C%20in%20meV%2Fatom%0A%20%20%20%20%20%20%20%20-%20%60test_E%60%20%E2%80%94%20the%20RMSE%20against%20%60test_frames%60%2C%20which%20the%20fit%20never%20saw%2C%20in%20meV%2Fatom%0A%0A%20%20%20%20Energies%20come%20back%20in%20eV%20per%20atom%2C%20so%20both%20errors%20need%20multiplying%20by%201000.%0A%0A%20%20%20%20Each%20fit%20takes%20a%20minute%20or%20two%20and%20the%20last%20is%20much%20the%20longest.%20The%20progress%20line%20is%0A%20%20%20%20ACEpotentials'%20own%20output%2C%20not%20a%20placeholder%2C%20so%20it%20is%20worth%20watching%20rather%20than%0A%20%20%20%20assuming%20a%20hang.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hint)%3A%0A%20%20%20%20hint(%0A%20%20%20%20%20%20%20%20%22%60fits%60%20already%20holds%20the%20fitted%20results%20%E2%80%94%20you%20are%20only%20turning%20them%20into%20a%20table.%22%2C%0A%20%20%20%20%20%20%20%20%22For%20each%20entry%2C%20compare%20%60test_predictions%60%20against%20%60test_frames%60%20energy%20per%20atom%3B%20%22%0A%20%20%20%20%20%20%20%20%22both%20are%20ASE%20Atoms%2C%20so%20%60get_potential_energy()%20%2F%20len(atoms)%60.%22%2C%0A%20%20%20%20%20%20%20%20%22RMSE%20is%20%60np.sqrt(np.mean(errors**2))%60%2C%20and%20meV%2Fatom%20is%20that%20times%201000.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20sweep_button%20%3D%20mo.ui.run_button(label%3D%22Run%20the%20sweep%22)%0A%20%20%20%20sweep_button%20%20%23%20noqa%3A%20B018%0A%20%20%20%20return%20(sweep_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20MLIPSchoolClient%2C%0A%20%20%20%20auto_run%2C%0A%20%20%20%20config%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20re%2C%0A%20%20%20%20sweep_button%2C%0A%20%20%20%20test_frames%2C%0A%20%20%20%20train_frames%2C%0A)%3A%0A%20%20%20%20mo.stop(test_frames%20is%20None%2C%20mo.md(%22Complete%20**Q1**%20first.%22))%0A%20%20%20%20mo.stop(not%20auto_run%20and%20not%20sweep_button.value%2C%20mo.md(%22Press%20**Run%20the%20sweep**.%22))%0A%20%20%20%20%23%20Only%20totaldegree%20varies%3A%20correlation%20order%2C%20cutoff%20and%20solver%20are%20held%20fixed%20so%20the%0A%20%20%20%20%23%20sweep%20isolates%20basis%20size%20and%20nothing%20else.%0A%20%20%20%20%23%0A%20%20%20%20%23%20Maintainer%20note%2C%20not%20student-facing%3A%20do%20not%20lower%20the%20top%20of%20this%20sweep.%20Q2%20asserts%20the%0A%20%20%20%20%23%20largest%20basis%20exceeds%201%2C500%20functions%20and%20Q3%20asserts%20a%20test%2Ftrain%20ratio%20above%2010%2C%20and%0A%20%20%20%20%23%20both%20are%20what%20make%20the%20over-parameterised%20regime%20real%20rather%20than%20asserted.%20At%0A%20%20%20%20%23%20totaldegree%2016%20those%20numbers%20are%20684%20and%205.4.%0A%20%20%20%20DEGREES%20%3D%20(8%2C%2012%2C%2014%2C%2020)%0A%0A%20%20%20%20%23%20ACEpotentials%20draws%20its%20own%20progress%20bar%2C%20and%20passing%20it%20straight%20through%20wraps%20and%0A%20%20%20%20%23%20jitters%3A%20the%20line%20is%2071%20visible%20characters%2C%20it%20ends%20in%20an%20ANSI%20erase-to-end-of-line%2C%0A%20%20%20%20%23%20and%20its%20block%20glyphs%20have%20different%20advance%20widths%20in%20the%20spinner's%20proportional%20font%2C%0A%20%20%20%20%23%20so%20the%20text%20reflows%20on%20every%20update.%20Parse%20out%20the%20two%20numbers%20that%20mean%20anything%20and%0A%20%20%20%20%23%20redraw%20the%20bar%20at%20a%20fixed%20character%20count%20instead.%20Filled%20and%20empty%20both%20come%20from%20the%0A%20%20%20%20%23%20same%20Unicode%20block%20so%20they%20share%20an%20advance%20width%3B%20a%20space%20for%20the%20empty%20half%20would%0A%20%20%20%20%23%20not.%0A%20%20%20%20_ANSI%20%3D%20re.compile(r%22%5Cx1b%5C%5B%5B0-9%3B%5D*%5BA-Za-z%5D%22)%0A%20%20%20%20%23%20%60ETA%3A%60%20while%20running%2C%20%60Time%3A%60%20on%20the%20final%20line%3B%20the%20label%20is%20padded%20so%20the%0A%20%20%20%20%23%20subtitle%20keeps%20one%20width%20from%20start%20to%20finish.%0A%20%20%20%20_METER%20%3D%20re.compile(r%22(%5Cd%2B)%5Cs*%25.*%3F%5Cb(ETA%7CTime)%3A%5Cs*(%5CS%2B)%22)%0A%20%20%20%20_BAR_WIDTH%20%3D%2024%0A%0A%0A%20%20%20%20def%20_spinner_subtitle(job)%3A%0A%20%20%20%20%20%20%20%20_text%20%3D%20_ANSI.sub(%22%22%2C%20job.get(%22log_tail%22)%20or%20%22%22)%0A%20%20%20%20%20%20%20%20_line%20%3D%20next(%0A%20%20%20%20%20%20%20%20%20%20%20%20(line.strip()%20for%20line%20in%20reversed(_text.splitlines())%20if%20line.strip())%2C%20%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_match%20%3D%20_METER.search(_line)%0A%20%20%20%20%20%20%20%20if%20_match%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Not%20a%20progress%20meter%20--%20an%20iteration%20table%2C%20or%20nothing%20yet.%20Keep%20it%20short.%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(_line%20or%20job%5B%22status%22%5D)%5B%3A_BAR_WIDTH%20%2B%2016%5D%0A%20%20%20%20%20%20%20%20_percent%20%3D%20min(100%2C%20max(0%2C%20int(_match.group(1))))%0A%20%20%20%20%20%20%20%20_filled%20%3D%20round(_BAR_WIDTH%20*%20_percent%20%2F%20100)%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B'%E2%96%88'%20*%20_filled%7D%7B'%E2%96%91'%20*%20(_BAR_WIDTH%20-%20_filled)%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%7B_percent%3A3d%7D%25%20%20%7B_match.group(2)%3A%3E4%7D%20%7B_match.group(3)%7D%22%0A%20%20%20%20%20%20%20%20)%0A%0A%0A%20%20%20%20fits%20%3D%20%5B%5D%0A%20%20%20%20with%20mo.status.spinner(title%3D%22Fitting...%22)%20as%20_progress%3A%0A%20%20%20%20%20%20%20%20async%20with%20MLIPSchoolClient(config%2C%20timeout%3D120.0)%20as%20_client%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_index%2C%20_degree%20in%20enumerate(DEGREES%2C%20start%3D1)%3A%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20_report(job%2C%20degree%3D_degree%2C%20index%3D_index%2C%20progress%3D_progress)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress.update(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Fitting%20totaldegree%20%7Bdegree%7D%20%20(%7Bindex%7D%20of%20%7Blen(DEGREES)%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20subtitle%3D_spinner_subtitle(job)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_fit%20%3D%20await%20_client.fit_ace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20train_frames%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22e1x-td%7B_degree%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elements%3D%5B%22Si%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20order%3D3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20totaldegree%3D_degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rcut%3D5.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20e0s%3D%7B%22Si%22%3A%200.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solver%3D%22QR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20poll_interval%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20progress%3D_report%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fits.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22totaldegree%22%3A%20_degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22basis%22%3A%20_fit.report%5B%22basis_size%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22train_E%22%3A%20_fit.report%5B%22errors%22%5D%5B%22rmse%22%5D%5B%22set%22%5D%5B%22E%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22test_predictions%22%3A%20await%20_client.evaluate(_fit.model_id%2C%20test_frames)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20return%20(DEGREES%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20sweep%20%3D%20None%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20return%20(sweep%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(DEGREES%2C%20check%2C%20sweep)%3A%0A%20%20%20%20check_passed_Q2%20%3D%20False%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q2%3A%20Sweep%20the%20basis%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20not%20sweep%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(len(sweep)%20%3D%3D%20len(DEGREES)%2C%20f%22Fit%20one%20potential%20per%20degree%20in%20%7BDEGREES%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20later%5B%22basis%22%5D%20%3E%20earlier%5B%22basis%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20earlier%2C%20later%20in%20zip(sweep%2C%20sweep%5B1%3A%5D%2C%20strict%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Basis%20size%20should%20grow%20with%20totaldegree%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sweep%5B-1%5D%5B%22basis%22%5D%20%3E%201500%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20largest%20basis%20should%20exceed%201%2C500%20functions%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all(row%5B%22test_E%22%5D%20%3E%200.0%20for%20row%20in%20sweep)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20fit%20needs%20a%20held-out%20error%20measured%20on%20test_frames%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q2%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q2%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q2%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q2%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q2%22%2C%20check_passed_Q2%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20sweep)%3A%0A%20%20%20%20mo.stop(not%20sweep%2C%20mo.md(%22Run%20the%20sweep%20to%20see%20the%20table.%22))%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%22%7C%20totaldegree%20%7C%20basis%20%7C%20train%20RMSE%20(meV%2Fatom)%20%7C%20test%20RMSE%20(meV%2Fatom)%20%7C%20ratio%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%22%7C---%7C---%3A%7C---%3A%7C---%3A%7C---%3A%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20%7Br%5B'totaldegree'%5D%7D%20%7C%20%7Br%5B'basis'%5D%7D%20%7C%20%7Br%5B'train_E'%5D%3A.3f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Br%5B'test_E'%5D%3A.3f%7D%20%7C%20%7Br%5B'test_E'%5D%20%2F%20r%5B'train_E'%5D%3A.1f%7Dx%20%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20r%20in%20sweep%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Q3%20Read%20the%20curves%0A%0A%20%20%20%20Set%20%60best_degree%60%20to%20the%20%60totaldegree%60%20with%20the%20**lowest%20held-out%20error**%2C%20and%0A%20%20%20%20%60overfit_ratio%60%20to%20the%20test-to-train%20error%20ratio%20at%20the%20**largest**%20basis.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hint)%3A%0A%20%20%20%20hint(%0A%20%20%20%20%20%20%20%20%22%60min(sweep%2C%20key%3D...)%60%20finds%20the%20row%20with%20the%20smallest%20test_E.%22%2C%0A%20%20%20%20%20%20%20%20%22The%20largest%20basis%20is%20the%20last%20row%2C%20since%20basis%20grows%20with%20totaldegree.%22%2C%0A%20%20%20%20%20%20%20%20%22The%20ratio%20is%20that%20row's%20test_E%20divided%20by%20its%20train_E.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20best_degree%20%3D%20None%0A%20%20%20%20overfit_ratio%20%3D%20None%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%0A%20%20%20%20pass%0A%20%20%20%20return%20best_degree%2C%20overfit_ratio%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(best_degree%2C%20check%2C%20overfit_ratio)%3A%0A%20%20%20%20check_passed_Q3%20%3D%20False%0A%20%20%20%20_result%20%3D%20check(%0A%20%20%20%20%20%20%20%20%22Q3%3A%20Read%20the%20curves%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20best_degree%20is%20None%20or%20overfit_ratio%20is%20None%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2012%20%3C%3D%20best_degree%20%3C%3D%2016%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Held-out%20error%20is%20lowest%20in%20the%20middle%20of%20the%20sweep%2C%20not%20at%20the%20end%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overfit_ratio%20%3E%2010%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%20the%20largest%20basis%20the%20model%20should%20be%20far%20worse%20on%20held-out%20data%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22than%20on%20its%20own%20training%20set%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20check_passed_Q3%20%3D%20%22success%22%20in%20getattr(_result%2C%20%22text%22%2C%20%22%22)%0A%20%20%20%20_result%0A%20%20%20%20return%20(check_passed_Q3%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20EXERCISES%2C%0A%20%20%20%20SALT_HASH%2C%0A%20%20%20%20check_passed_Q3%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20released_keys%2C%0A%20%20%20%20reveal_solution%2C%0A%20%20%20%20workshop_key%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%20MOGRADER%3A%20WORKSHOP%20SOLUTION%20Q3%20%3D%3D%3D%0A%20%20%20%20_status%2C%20_solution%20%3D%20reveal_solution(%22Q3%22%2C%20check_passed_Q3%2C%20EXERCISES%2C%20released_keys()%2C%20workshop_key.value%2C%20SALT_HASH)%0A%20%20%20%20if%20_status%20%3D%3D%20%22passed%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Model%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22released%22%3A%0A%20%20%20%20%20%20%20%20if%20_solution%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**Released%20solution**%5Cn%5Cn%60%60%60python%5Cn%7B_solution%7D%5Cn%60%60%60%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Solution%20released**%20%E2%80%94%20enter%20the%20workshop%20key%20to%20view%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20elif%20_status%20%3D%3D%20%22no_key%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22**Checks%20passed!**%20Enter%20the%20workshop%20key%20below%20to%20reveal%20the%20model%20solution%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20plt%2C%20sweep)%3A%0A%20%20%20%20mo.stop(not%20sweep%2C%20mo.md(%22Run%20the%20sweep%20to%20see%20the%20plot.%22))%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.0%2C%204.5))%0A%20%20%20%20_basis%20%3D%20%5Br%5B%22basis%22%5D%20for%20r%20in%20sweep%5D%0A%20%20%20%20_ax.plot(_basis%2C%20%5Br%5B%22train_E%22%5D%20for%20r%20in%20sweep%5D%2C%20%22o-%22%2C%20color%3D%22%2315616d%22%2C%20label%3D%22training%22)%0A%20%20%20%20_ax.plot(_basis%2C%20%5Br%5B%22test_E%22%5D%20for%20r%20in%20sweep%5D%2C%20%22s-%22%2C%20color%3D%22%2378290f%22%2C%20label%3D%22held%20out%22)%0A%20%20%20%20_best%20%3D%20min(sweep%2C%20key%3Dlambda%20row%3A%20row%5B%22test_E%22%5D)%0A%20%20%20%20_ax.axvline(_best%5B%22basis%22%5D%2C%20color%3D%22%23999999%22%2C%20linestyle%3D%22--%22)%0A%20%20%20%20_ax.set(xscale%3D%22log%22%2C%20yscale%3D%22log%22%2C%20xlabel%3D%22basis%20functions%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ylabel%3D%22energy%20RMSE%20(meV%2Fatom)%22)%0A%20%20%20%20_ax.set_title(%22The%20two%20curves%20part%20company%22)%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%20%20%23%20noqa%3A%20B018%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(check%2C%20sweep)%3A%0A%20%20%20%20%23%20Outside%20_exercises%3A%20this%20runs%20and%20gives%20feedback%20but%20gets%20no%20reveal%20cell%2C%20the%20pattern%0A%20%20%20%20%23%20E2%20uses%20for%20its%20physics%20payoffs.%0A%20%20%20%20check(%0A%20%20%20%20%20%20%20%20%22Training%20error%20never%20stops%20improving%22%2C%0A%20%20%20%20%20%20%20%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20not%20sweep%0A%20%20%20%20%20%20%20%20else%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sweep%5B-1%5D%5B%22train_E%22%5D%20%3C%20sweep%5B0%5D%5B%22train_E%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20biggest%20basis%20has%20the%20best%20training%20error%20of%20the%20whole%20sweep%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sweep%5B-1%5D%5B%22test_E%22%5D%20%3E%20min(row%5B%22test_E%22%5D%20for%20row%20in%20sweep)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22...and%20it%20is%20not%20the%20best%20on%20data%20it%20has%20never%20seen%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20sweep)%3A%0A%20%20%20%20mo.stop(not%20sweep%2C%20mo.md(%22%22))%0A%20%20%20%20_best%20%3D%20min(sweep%2C%20key%3Dlambda%20row%3A%20row%5B%22test_E%22%5D)%0A%20%20%20%20_last%20%3D%20sweep%5B-1%5D%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Training%20error%20fell%20from%20**%7Bsweep%5B0%5D%5B'train_E'%5D%3A.3f%7D**%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_last%5B'train_E'%5D%3A.3f%7D**%20meV%2Fatom%20and%20never%20once%20got%20worse.%20Judged%20on%20its%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22own%20training%20data%2C%20the%20%7B_last%5B'basis'%5D%7D-function%20basis%20is%20the%20best%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22here.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22On%20structures%20it%20has%20never%20seen%20it%20is%20**%7B_last%5B'test_E'%5D%20%2F%20_best%5B'test_E'%5D%3A.1f%7Dx%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22worse**%20than%20the%20%7B_best%5B'basis'%5D%7D-function%20basis%20at%20totaldegree%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_best%5B'totaldegree'%5D%7D%20%E2%80%94%20and%20it%20is%20slower%20to%20evaluate%2C%20which%20is%20the%20cost%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pay%20every%20step%20of%20every%20MD%20run%20you%20ever%20use%20it%20for.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22In%20E1%20a%20perfect-looking%20fit%20failed%20because%20the%20**data**%20did%20not%20cover%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22question.%20Here%20the%20data%20covers%20it%20completely%20and%20the%20fit%20still%20fails%2C%20because%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20**model**%20is%20free%20enough%20to%20memorise.%20Same%20lie%2C%20different%20cause.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Where%20to%20go%20next%0A%0A%20%20%20%20Two%20more%20knobs%2C%20both%20live%20and%20both%20capped%20so%20a%20runaway%20fit%20cannot%20take%20the%20workbench%3A%0A%0A%20%20%20%20-%20**%60order%60**%20is%20the%20*correlation*%20order%2C%20one%20less%20than%20the%20body%20order%3A%20%60order%3D2%60%20is%20a%0A%20%20%20%20%20%20three-body%20model%2C%20%60order%3D4%60%20five-body.%20Allowed%202%20to%204.%0A%20%20%20%20-%20**%60wL%60**%20balances%20angular%20against%20radial%20resolution%20at%20a%20given%20%60totaldegree%60.%20Lower%0A%20%20%20%20%20%20means%20more%20angular%20detail%20%E2%80%94%20and%20a%20bigger%20basis%2C%20so%20it%20changes%20cost%20as%20well%20as%0A%20%20%20%20%20%20balance.%20Allowed%201.0%20to%204.0.%0A%0A%20%20%20%20A%20fair%20comparison%20between%20them%20holds%20**basis%20size**%20roughly%20constant%2C%20not%0A%20%20%20%20%60totaldegree%60%3A%20otherwise%20you%20are%20only%20discovering%20that%20bigger%20models%20fit%20better.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20released_keys%2C%20set_released_keys%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20fetch_count%2C%20set_fetch_count%20%3D%20mo.state(0)%0A%20%20%20%20return%20fetch_count%2C%20released_keys%2C%20set_fetch_count%2C%20set_released_keys%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20set_fetch_count)%3A%0A%20%20%20%20workshop_key%20%3D%20mo.ui.text(label%3D%22Workshop%20key%22%2C%20placeholder%3D%22Enter%20key%20from%20instructor%22)%0A%0A%20%20%20%20def%20_on_fetch(_)%3A%0A%20%20%20%20%20%20%20%20set_fetch_count(lambda%20n%3A%20n%20%2B%201)%0A%0A%20%20%20%20fetch_btn%20%3D%20mo.ui.button(label%3D%22Check%20for%20released%20solutions%22%2C%20on_click%3D_on_fetch)%0A%20%20%20%20mo.hstack(%5Bworkshop_key%2C%20fetch_btn%5D%2C%20justify%3D%22start%22%2C%20gap%3D1)%0A%20%20%20%20return%20(workshop_key%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(KEYS_URL%2C%20fetch_count%2C%20fetch_released_keys%2C%20mo%2C%20set_released_keys)%3A%0A%20%20%20%20_count%20%3D%20fetch_count()%0A%20%20%20%20if%20_count%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_keys%20%3D%20fetch_released_keys(KEYS_URL)%0A%20%20%20%20%20%20%20%20set_released_keys(_keys)%0A%20%20%20%20%20%20%20%20_n%20%3D%20len(_keys)%0A%20%20%20%20%20%20%20%20if%20_n%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22**%7B_n%7D%20solution(s)%20released**%20%E2%80%94%20scroll%20up%20to%20see%20them%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(%22No%20additional%20solutions%20released%20by%20instructor%22)%2C%20kind%3D%22neutral%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A