probe analysis wasm

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20json%0A%20%20%20%20import%20os%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20return%20Path%2C%20alt%2C%20json%2C%20mo%2C%20np%2C%20os%2C%20pd%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20def%20roc_curve_np(labels%2C%20scores)%3A%0A%20%20%20%20%20%20%20%20labels%20%3D%20np.asarray(labels).astype(int)%0A%20%20%20%20%20%20%20%20scores%20%3D%20np.asarray(scores)%0A%20%20%20%20%20%20%20%20if%20labels.size%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5B0.0%2C%201.0%5D)%2C%20np.array(%5B0.0%2C%201.0%5D)%0A%20%20%20%20%20%20%20%20order%20%3D%20np.argsort(-scores)%0A%20%20%20%20%20%20%20%20labels%20%3D%20labels%5Border%5D%0A%20%20%20%20%20%20%20%20tps%20%3D%20np.cumsum(labels)%0A%20%20%20%20%20%20%20%20fps%20%3D%20np.cumsum(1%20-%20labels)%0A%20%20%20%20%20%20%20%20tpr%20%3D%20tps%20%2F%20tps%5B-1%5D%20if%20tps%5B-1%5D%20%3E%200%20else%20np.zeros_like(tps)%0A%20%20%20%20%20%20%20%20fpr%20%3D%20fps%20%2F%20fps%5B-1%5D%20if%20fps%5B-1%5D%20%3E%200%20else%20np.zeros_like(fps)%0A%20%20%20%20%20%20%20%20return%20np.concatenate(%5B%5B0.0%5D%2C%20fpr%2C%20%5B1.0%5D%5D)%2C%20np.concatenate(%5B%5B0.0%5D%2C%20tpr%2C%20%5B1.0%5D%5D)%0A%20%20%20%20return%20(roc_curve_np%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20Probe%20Analysis%20(Altair%20%2B%20marimo)%0A%20%20%20%20Visualize%20probe%20scores%2C%20entropies%2C%20and%20UMAP%20embeddings.%20Use%20the%20controls%20to%20filter%3B%20charts%20support%20interval%20selection.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Path%2C%20json%2C%20mo%2C%20os%2C%20pd)%3A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20base%20%3D%20mo.notebook_location()%0A%20%20%20%20except%20Exception%3A%20%20%23%20noqa%3A%20BLE001%0A%20%20%20%20%20%20%20%20base%20%3D%20None%0A%20%20%20%20if%20base%20is%20None%3A%0A%20%20%20%20%20%20%20%20base%20%3D%20Path(%22.%22).resolve()%0A%0A%20%20%20%20base_str%20%3D%20str(base)%0A%20%20%20%20is_wasm%20%3D%20base_str.startswith(%22http%3A%2F%2F%22)%20or%20base_str.startswith(%22https%3A%2F%2F%22)%0A%0A%20%20%20%20data_source%20%3D%20os.getenv(%22ANALYSIS_CSV%22%2C%20str(base%20%2F%20%22public%22%20%2F%20%22analysis.csv%22))%0A%20%20%20%20metrics_source%20%3D%20os.getenv(%22METRICS_JSON%22%2C%20str(base%20%2F%20%22public%22%20%2F%20%22probe_eval.json%22))%0A%0A%20%20%20%20metrics_data%20%3D%20None%0A%20%20%20%20metrics_notice%20%3D%20None%0A%0A%20%20%20%20def%20_read_csv(source%3A%20str)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20if%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20open_url(source)%20as%20f%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20pd.read_csv(f)%0A%20%20%20%20%20%20%20%20return%20pd.read_csv(source)%0A%0A%20%20%20%20if%20is_wasm%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df_all%20%3D%20_read_csv(data_source)%0A%20%20%20%20%20%20%20%20%20%20%20%20data_notice%20%3D%20mo.md(f%22Loaded%20analysis%20dataset%3A%20%60%7Bdata_source%7D%60%22)%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20exc%3A%20%20%23%20noqa%3A%20BLE001%0A%20%20%20%20%20%20%20%20%20%20%20%20df_all%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20%20%20%20%20data_notice%20%3D%20mo.alert(f%22Failed%20to%20load%20analysis%20CSV%3A%20%7Bdata_source%7D%5Cn%7Bexc%7D%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20data_path%20%3D%20Path(data_source)%0A%20%20%20%20%20%20%20%20if%20data_path.exists()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df_all%20%3D%20pd.read_csv(data_path)%0A%20%20%20%20%20%20%20%20%20%20%20%20data_notice%20%3D%20mo.md(f%22Loaded%20analysis%20dataset%3A%20%60%7Bdata_path%7D%60%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df_all%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20%20%20%20%20data_notice%20%3D%20mo.alert(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Analysis%20dataset%20not%20found%3A%20%7Bdata_path%7D.%20Provide%20ANALYSIS_CSV%20or%20include%20public%2Fanalysis.csv.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Coerce%20dtypes%20so%20Altair%20can%20plot%20(CSV%20loads%20everything%20as%20object).%0A%20%20%20%20if%20not%20df_all.empty%3A%0A%20%20%20%20%20%20%20%20bool_cols%20%3D%20%5B%22is_correct%22%2C%20%22is_representative%22%5D%0A%20%20%20%20%20%20%20%20num_cols%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probe_margin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mean_think_entropy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22se_probe_margin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22entropy_baseline_margin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probe_prob_correct%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22se_probe_prob_high%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22entropy_baseline_prob%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22semantic_entropy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22umap_x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22umap_y%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22think_token_len%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22think_char_len%22%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20for%20_col%20in%20num_cols%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_col%20in%20df_all.columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%5B_col%5D%20%3D%20pd.to_numeric(df_all%5B_col%5D%2C%20errors%3D%22coerce%22)%0A%20%20%20%20%20%20%20%20for%20_col%20in%20bool_cols%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_col%20in%20df_all.columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%5B_col%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%5B_col%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.astype(str)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.str.lower()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.isin(%7B%22true%22%2C%20%221%22%2C%20%22yes%22%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20if%20is_wasm%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20open_url(metrics_source)%20as%20f%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metrics_data%20%3D%20json.load(f)%0A%20%20%20%20%20%20%20%20%20%20%20%20metrics_notice%20%3D%20mo.md(f%22Loaded%20metrics%3A%20%60%7Bmetrics_source%7D%60%22)%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20exc%3A%20%20%23%20noqa%3A%20BLE001%0A%20%20%20%20%20%20%20%20%20%20%20%20metrics_notice%20%3D%20mo.alert(f%22Metrics%20file%20not%20found%3A%20%7Bmetrics_source%7D%5Cn%7Bexc%7D%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20metrics_path%20%3D%20Path(metrics_source)%0A%20%20%20%20%20%20%20%20if%20metrics_path.exists()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20metrics_path.open(%22r%22%2C%20encoding%3D%22utf-8%22)%20as%20f%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metrics_data%20%3D%20json.load(f)%0A%20%20%20%20%20%20%20%20%20%20%20%20metrics_notice%20%3D%20mo.md(f%22Loaded%20metrics%3A%20%60%7Bmetrics_path%7D%60%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metrics_notice%20%3D%20mo.alert(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Metrics%20file%20not%20found%3A%20%7Bmetrics_path%7D.%20Provide%20METRICS_JSON%20or%20include%20public%2Fprobe_eval.json.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20controls%20%3D%20dict(%0A%20%20%20%20%20%20%20%20dataset_filter%3Dmo.ui.dropdown(options%3D%5B%22all%22%2C%20%22math%22%2C%20%22ood%22%5D%2C%20value%3D%22all%22%2C%20label%3D%22Dataset%22)%2C%0A%20%20%20%20%20%20%20%20rep_only%3Dmo.ui.switch(value%3DFalse%2C%20label%3D%22Per-question%20representative%20only%22)%2C%0A%20%20%20%20%20%20%20%20correctness_filter%3Dmo.ui.dropdown(options%3D%5B%22all%22%2C%20%22correct%22%2C%20%22incorrect%22%5D%2C%20value%3D%22all%22%2C%20label%3D%22Correctness%22)%2C%0A%20%20%20%20%20%20%20%20max_points%3Dmo.ui.slider(200%2C%2010000%2C%20value%3D5000%2C%20step%3D200%2C%20label%3D%22Max%20points%20to%20plot%22)%2C%0A%20%20%20%20%20%20%20%20seed_box%3Dmo.ui.number(start%3D0%2C%20stop%3D10_000%2C%20step%3D1%2C%20value%3D42%2C%20label%3D%22Random%20seed%22)%2C%0A%20%20%20%20%20%20%20%20metrics_source%3Dmetrics_source%2C%0A%20%20%20%20%20%20%20%20metrics_data%3Dmetrics_data%2C%0A%20%20%20%20)%0A%20%20%20%20notices%20%3D%20%5Bdata_notice%5D%0A%20%20%20%20if%20metrics_notice%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20notices.append(metrics_notice)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20notices%0A%20%20%20%20%20%20%20%20%2B%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20controls%5B%22dataset_filter%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20controls%5B%22rep_only%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20controls%5B%22correctness_filter%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20controls%5B%22max_points%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20controls%5B%22seed_box%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20controls%2C%20df_all%0A%0A%0A%40app.cell%0Adef%20_(df_all%2C%20mo)%3A%0A%20%20%20%20mo.ui.dataframe(df_all)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(controls%2C%20df_all%2C%20mo)%3A%0A%20%20%20%20df_filt%20%3D%20df_all.copy()%0A%20%20%20%20if%20controls%5B%22dataset_filter%22%5D.value%20!%3D%20%22all%22%3A%0A%20%20%20%20%20%20%20%20df_filt%20%3D%20df_filt%5Bdf_filt%5B%22dataset%22%5D%20%3D%3D%20controls%5B%22dataset_filter%22%5D.value%5D%0A%20%20%20%20if%20controls%5B%22rep_only%22%5D.value%3A%0A%20%20%20%20%20%20%20%20df_filt%20%3D%20df_filt%5Bdf_filt.get(%22is_representative%22%2C%20False)%5D%0A%20%20%20%20if%20controls%5B%22correctness_filter%22%5D.value%20%3D%3D%20%22correct%22%3A%0A%20%20%20%20%20%20%20%20df_filt%20%3D%20df_filt%5Bdf_filt%5B%22is_correct%22%5D%5D%0A%20%20%20%20elif%20controls%5B%22correctness_filter%22%5D.value%20%3D%3D%20%22incorrect%22%3A%0A%20%20%20%20%20%20%20%20df_filt%20%3D%20df_filt%5B~df_filt%5B%22is_correct%22%5D%5D%0A%0A%20%20%20%20if%20len(df_filt)%20%3E%20controls%5B%22max_points%22%5D.value%3A%0A%20%20%20%20%20%20%20%20df_filt%20%3D%20df_filt.sample(n%3Dint(controls%5B%22max_points%22%5D.value)%2C%20random_state%3Dint(controls%5B%22seed_box%22%5D.value))%0A%0A%20%20%20%20df_filt%20%3D%20df_filt.reset_index(drop%3DTrue)%0A%20%20%20%20selection_widget%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20options%3Ddf_filt%5B%22run_uid%22%5D.tolist()%5B%3A5000%5D%2C%0A%20%20%20%20%20%20%20%20value%3Ddf_filt%5B%22run_uid%22%5D.tolist()%5B%3A%20min(3%2C%20len(df_filt))%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Selected%20runs%20(%3C%3D10)%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20selection_widget%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Blen(df_filt)%7D%20rows%20%7C%20correct%3D%7Bdf_filt%5B'is_correct'%5D.sum()%7D%20%2F%20incorrect%3D%7Blen(df_filt)-df_filt%5B'is_correct'%5D.sum()%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20df_filt%2C%20selection_widget%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20df_filt%2C%20mo%2C%20selection_widget)%3A%0A%20%20%20%20sel_ids%20%3D%20selection_widget.value%5B%3A10%5D%0A%20%20%20%20if%20df_filt.empty%3A%0A%20%20%20%20%20%20%20%20margin_chart%20%3D%20None%0A%20%20%20%20%20%20%20%20view_margin%20%3D%20mo.alert(%22No%20rows%20to%20plot%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%23%20Keep%20plot%20data%20small%3A%20df_filt%20includes%20long%20text%20columns%20(question%2Fthink%2Foutput)%2C%0A%20%20%20%20%20%20%20%20%23%20which%20can%20blow%20up%20marimo's%20Arrow%20payload%20and%20%2Fdev%2Fshm%20usage%20on%20constrained%20hosts.%0A%20%20%20%20%20%20%20%20_plot_cols%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22run_uid%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22question_id%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probe_margin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mean_think_entropy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22is_correct%22%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_df_plot%20%3D%20df_filt%5B_plot_cols%5D.dropna(subset%3D%5B%22probe_margin%22%2C%20%22mean_think_entropy%22%5D)%0A%20%20%20%20%20%20%20%20margin_scatter%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(_df_plot)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_circle(size%3D60%2C%20opacity%3D0.7)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22probe_margin%3AQ%22%2C%20title%3D%22Probe%20margin%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22mean_think_entropy%3AQ%22%2C%20title%3D%22Mean%20think%20entropy%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22is_correct%3AN%22%2C%20scale%3Dalt.Scale(range%3D%5B%22%231b9e77%22%2C%20%22%23d95f02%22%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22run_uid%22%2C%20%22question_id%22%2C%20%22probe_margin%22%2C%20%22mean_think_entropy%22%2C%20%22is_correct%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(height%3D280%2C%20width%3D%22container%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20margin_chart%20%3D%20mo.ui.altair_chart(margin_scatter%2C%20chart_selection%3D%22interval%22)%0A%20%20%20%20%20%20%20%20view_margin%20%3D%20mo.vstack(%5Bmo.md(%22%23%23%23%20Margin%20vs%20entropy%20(probe)%22)%2C%20margin_chart%5D)%0A%20%20%20%20view_margin%0A%20%20%20%20return%20margin_chart%2C%20sel_ids%0A%0A%0A%40app.cell%0Adef%20_(margin_chart%2C%20mo%2C%20pd)%3A%0A%20%20%20%20if%20margin_chart%20is%20None%3A%0A%20%20%20%20%20%20%20%20view_margin_selection%20%3D%20None%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20selected%20%3D%20margin_chart.value%0A%20%20%20%20%20%20%20%20if%20isinstance(selected%2C%20pd.DataFrame)%20and%20not%20selected.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20preview%20%3D%20selected.head(5)%0A%20%20%20%20%20%20%20%20%20%20%20%20_margin_cards%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_%2C%20row%20in%20preview.iterrows()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_margin_cards.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Brow%5B'run_uid'%5D%7D**%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22question_id%3A%20%60%7Brow%5B'question_id'%5D%7D%60%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22probe_margin%3A%20%60%7Brow%5B'probe_margin'%5D%3A.3f%7D%60%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22mean_think_entropy%3A%20%60%7Brow%5B'mean_think_entropy'%5D%3A.3f%7D%60%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22is_correct%3A%20%60%7Brow%5B'is_correct'%5D%7D%60%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20view_margin_selection%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Selected%20points%20(max%205)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(_margin_cards)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20view_margin_selection%20%3D%20mo.md(%22Select%20points%20on%20the%20chart%20to%20preview%20up%20to%205%20rows.%22)%0A%20%20%20%20view_margin_selection%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20df_filt%2C%20mo%2C%20sel_ids)%3A%0A%20%20%20%20umap_widgets%20%3D%20%5B%5D%0A%20%20%20%20if%20df_filt.empty%3A%0A%20%20%20%20%20%20%20%20view_umap%20%3D%20mo.alert(%22No%20UMAP%20coordinates%20to%20plot%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20specs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22probe_margin%22%2C%20%22Probe%20margin%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22se_probe_margin%22%2C%20%22SE%20probe%20margin%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22entropy_baseline_margin%22%2C%20%22Entropy%20baseline%20margin%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20for%20_col%2C%20title%20in%20specs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_plot_cols%20%3D%20%5B%22run_uid%22%2C%20%22question_id%22%2C%20%22umap_x%22%2C%20%22umap_y%22%2C%20%22is_correct%22%2C%20_col%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_df_plot%20%3D%20df_filt%5B_plot_cols%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20chart_spec%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(_df_plot)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_circle()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22umap_x%3AQ%22%2C%20title%3D%22UMAP-1%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22umap_y%3AQ%22%2C%20title%3D%22UMAP-2%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(_col%20%2B%20%22%3AQ%22%2C%20title%3Dtitle)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22run_uid%22%2C%20%22question_id%22%2C%20_col%2C%20%22is_correct%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3Dalt.condition(alt.FieldOneOfPredicate(field%3D%22run_uid%22%2C%20oneOf%3Dsel_ids)%2C%20alt.value(0.95)%2C%20alt.value(0.5))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3Dalt.condition(alt.FieldOneOfPredicate(field%3D%22run_uid%22%2C%20oneOf%3Dsel_ids)%2C%20alt.value(120)%2C%20alt.value(40))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.properties(height%3D300%2C%20width%3D300)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20widget%20%3D%20mo.ui.altair_chart(chart_spec%2C%20chart_selection%3D%22interval%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20umap_widgets.append(mo.vstack(%5Bmo.md(f%22%23%23%23%20UMAP%20colored%20by%20%7Btitle%7D%22)%2C%20widget%5D))%0A%20%20%20%20%20%20%20%20view_umap%20%3D%20mo.hstack(umap_widgets)%0A%20%20%20%20view_umap%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20df_filt%2C%20mo)%3A%0A%20%20%20%20if%20df_filt.empty%3A%0A%20%20%20%20%20%20%20%20se_scatter_widget%20%3D%20None%0A%20%20%20%20%20%20%20%20view_se%20%3D%20mo.alert(%22No%20data%20to%20plot%20SE%20vs%20margin%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_plot_cols%20%3D%20%5B%22run_uid%22%2C%20%22question_id%22%2C%20%22semantic_entropy%22%2C%20%22se_probe_margin%22%2C%20%22is_correct%22%5D%0A%20%20%20%20%20%20%20%20_df_plot%20%3D%20df_filt%5B_plot_cols%5D%0A%20%20%20%20%20%20%20%20se_scatter%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(_df_plot)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_circle()%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22semantic_entropy%3AQ%22%2C%20title%3D%22Semantic%20entropy%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22se_probe_margin%3AQ%22%2C%20title%3D%22SE%20probe%20margin%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22is_correct%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22run_uid%22%2C%20%22question_id%22%2C%20%22semantic_entropy%22%2C%20%22se_probe_margin%22%2C%20%22is_correct%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(height%3D280%2C%20width%3D%22container%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20se_scatter_widget%20%3D%20mo.ui.altair_chart(se_scatter%2C%20chart_selection%3D%22interval%22)%0A%20%20%20%20%20%20%20%20view_se%20%3D%20mo.vstack(%5Bmo.md(%22%23%23%23%20SE%20vs%20SE-probe%20margin%22)%2C%20se_scatter_widget%5D)%0A%20%20%20%20view_se%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20df_filt%2C%20mo%2C%20pd%2C%20roc_curve_np)%3A%0A%20%20%20%20if%20df_filt.empty%3A%0A%20%20%20%20%20%20%20%20view_roc%20%3D%20mo.alert(%22No%20rows%20for%20AUC%20plot%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labels%20%3D%20df_filt%5B%22is_correct%22%5D.astype(int)%0A%20%20%20%20%20%20%20%20curves%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20name%2C%20scores%20in%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probe%22%3A%20df_filt%5B%22probe_prob_correct%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22se_probe%22%3A%20df_filt%5B%22se_probe_prob_high%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22entropy%22%3A%20df_filt%5B%22entropy_baseline_prob%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20fpr%2C%20tpr%20%3D%20roc_curve_np(labels%2C%20scores)%0A%20%20%20%20%20%20%20%20%20%20%20%20curves.append(pd.DataFrame(%7B%22fpr%22%3A%20fpr%2C%20%22tpr%22%3A%20tpr%2C%20%22probe%22%3A%20name%7D))%0A%20%20%20%20%20%20%20%20roc_df%20%3D%20pd.concat(curves%2C%20ignore_index%3DTrue)%0A%20%20%20%20%20%20%20%20roc_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(roc_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_line()%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(x%3D%22fpr%3AQ%22%2C%20y%3D%22tpr%3AQ%22%2C%20color%3D%22probe%3AN%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(height%3D240%2C%20width%3D%22container%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20view_roc%20%3D%20mo.vstack(%5Bmo.md(%22%23%23%23%20ROC%20curves%20(current%20filter)%22)%2C%20mo.ui.altair_chart(roc_chart)%5D)%0A%20%20%20%20view_roc%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_filt%2C%20mo%2C%20selection_widget)%3A%0A%20%20%20%20selected_ids%20%3D%20list(selection_widget.value)%5B%3A10%5D%0A%0A%20%20%20%20if%20df_filt.empty%20or%20not%20selected_ids%3A%0A%20%20%20%20%20%20%20%20view_table%20%3D%20mo.alert(%22No%20selections%20yet.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20cols%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22run_uid%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dataset%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22problem_type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22is_correct%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probe_margin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22se_probe_margin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22entropy_baseline_margin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22semantic_entropy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mean_think_entropy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22think_token_len%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22think_char_len%22%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20missing%20%3D%20%5Bc%20for%20c%20in%20cols%20if%20c%20not%20in%20df_filt.columns%5D%0A%20%20%20%20%20%20%20%20for%20c%20in%20missing%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df_filt%5Bc%5D%20%3D%20%22%22%20if%20%22type%22%20in%20c%20else%200%0A%20%20%20%20%20%20%20%20table_df%20%3D%20df_filt%5Bdf_filt%5B%22run_uid%22%5D.isin(selected_ids)%5D%5Bcols%5D.copy()%0A%20%20%20%20%20%20%20%20view_table%20%3D%20mo.ui.table(table_df)%0A%20%20%20%20view_table%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(controls%2C%20mo)%3A%0A%20%20%20%20_metrics_data%20%3D%20controls%5B%22metrics_data%22%5D%20or%20%7B%7D%0A%20%20%20%20_metrics_source%20%3D%20controls%5B%22metrics_source%22%5D%0A%20%20%20%20if%20not%20_metrics_data%3A%0A%20%20%20%20%20%20%20%20view_metrics%20%3D%20mo.alert(f%22Metrics%20unavailable%3A%20%7B_metrics_source%7D%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_metric_cards%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20split%2C%20vals%20in%20_metrics_data.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_metric_cards.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bsplit%7D**%20%7C%20AUC%20acc%3D%7Bvals.get('auc_accuracy_probe'%2C'n%2Fa')%7D%20%7C%20AUC%20se%3D%7Bvals.get('auc_se_probe'%2C'n%2Fa')%7D%20%7C%20AUC%20ent%3D%7Bvals.get('auc_entropy_baseline'%2C'n%2Fa')%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20view_metrics%20%3D%20mo.vstack(%5Bmo.md(%22%23%23%23%20Probe%20metrics%22)%2C%20mo.hstack(_metric_cards)%5D)%0A%20%20%20%20view_metrics%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A