微軟近期在人工智能領(lǐng)域再次邁出重要一步，推出了OmniParser V2.0，這是一款基于純視覺技術(shù)的GUI智能體解析工具，能夠精準識別并解析屏幕上的可交互圖標。此前，該工具與GPT-4V的結(jié)合已顯著提升了其識別能力。

在2月12日，微軟官方網(wǎng)站上正式發(fā)布了OmniParser的最新版本。這一版本不僅延續(xù)了前代產(chǎn)品的優(yōu)勢，還實現(xiàn)了與多個先進AI模型的兼容，包括OpenAI的多個版本（4o、o1、o3-mini）、DeepSeek R1、Qwen 2.5VL以及Anthropic的Sonnet等。這意味著這些模型在OmniParser的助力下，能夠轉(zhuǎn)變?yōu)椴倏赜嬎銠C的AI智能體。

相較于V1版本，OmniParser V2.0在訓練數(shù)據(jù)上進行了大幅升級，采用了更大規(guī)模的交互元素檢測數(shù)據(jù)和圖標功能標題數(shù)據(jù)。這一改進使得V2.0在檢測較小的可交互UI元素時，準確率有了顯著提升，同時推理速度也更快，延遲降低了60%。

在高分辨率Agent基準測試ScreenSpot Pro中，OmniParser V2.0與GPT-4o的結(jié)合展現(xiàn)出了驚人的效果。測試結(jié)果顯示，V2.0+GPT-4o的準確率高達39.6%，而GPT-4o單獨使用時，準確率僅為0.8%。這一對比充分展示了OmniParser V2.0在提升AI模型性能方面的巨大潛力。

為了加速不同智能體設(shè)置的實驗進程，微軟還推出了OmniTool這一開源工具。OmniTool是一個集成了屏幕理解、定位、動作規(guī)劃和執(zhí)行等基本功能的Docker化Windows系統(tǒng)。這一工具為將大模型轉(zhuǎn)變?yōu)橹悄荏w提供了關(guān)鍵支持，極大地簡化了實驗過程。

對于對OmniParser和OmniTool感興趣的開發(fā)者而言，微軟已經(jīng)提供了開源地址，方便他們獲取并使用這些工具，以進一步推動人工智能技術(shù)的發(fā)展。