[WebKit] JavaScriptCore解析--基礎篇(一)位元組碼的生成及抽象語法樹的構建詳情分析
看到HorkeyChen寫的文章《[WebKit] JavaScriptCore解析--基礎篇(三)從指令碼程式碼到JIT編譯的程式碼實現》,寫的很好,深受啟發。想補充一些Horkey沒有寫到的細節比如位元組碼是如何生成的等等,為此成文。
JavaScript對JavaScript的處理,其實與Webkit對CSS的處理許多地方是類似的,它這麼幾個部分:(1)詞法分析->出來詞語(Token);(2)語法分析->出來抽象語法樹(AST:Abstract Syntax Tree);(3)遍歷抽象語法樹->生成位元組碼(Bytecode);(4)用直譯器(LLInt:Low Level Interpreter)執行位元組碼;(5)如果效能不夠好就用Baseline JIT編譯位元組碼生成機器碼、然後執行此機器碼;(6)如果效能還不夠好,就用DFG JIT重新編譯位元組碼生成更好的機器碼、然後執行此機器碼;(7)最後,如果還不好,就祭出重器--虛擬器(LLVM:Low Level Virtual Machine)來編譯DFG的中間表示程式碼、生成更高優化的機器碼並執行。接下來,我將會用一下系列文章描述此過程。
其中,步驟1、2是類似的,CSS JIT也是正在實現的一個功能,請參考[1]。
一、 JavaScriptCore的詞法分析器工作流程分析;
二、 JavaScriptCore的語法分析器工作流程分析;
三、 JavaScriptCore的位元組碼生成流程分析;
四、 LLInt直譯器工作流程分析;
五、 Baseline JIT編譯器的工作流程分析;
六、 DFG JIT編譯器的工作流程分析;
七、LLVM虛擬機器的工作流程分析;
八、 JavaScriptCore的未來展望;
一、 JavaScriptCore的詞法分析器工作流程分析
W3C是這麼解釋詞法和語法工作流程的:
詞法器Tokenizer的工作過程如下,就是不斷從Script--m_ptr字串中尋找尋找一個個的詞Token,比如找到連續的“true”字串,就建立一個TokenTrue。詞法器工作過程如下:
template <typename CharType> template <ParserMode mode> TokenType LiteralParser<CharType>::Lexer::lex(LiteralParserToken<CharType>& token) { while (m_ptr < m_end && isJSONWhiteSpace(*m_ptr)) ++m_ptr; if (m_ptr >= m_end) { token.type = TokEnd; token.start = token.end = m_ptr; return TokEnd; } token.type = TokError; token.start = m_ptr; switch (*m_ptr) { case '[': token.type = TokLBracket; token.end = ++m_ptr; return TokLBracket; case ']': token.type = TokRBracket; token.end = ++m_ptr; return TokRBracket; case '(': token.type = TokLParen; token.end = ++m_ptr; return TokLParen; case ')': token.type = TokRParen; token.end = ++m_ptr; return TokRParen; case ',': token.type = TokComma; token.end = ++m_ptr; return TokComma; case ':': token.type = TokColon; token.end = ++m_ptr; return TokColon; case '"': return lexString<mode, '"'>(token); case 't': if (m_end - m_ptr >= 4 && m_ptr[1] == 'r' && m_ptr[2] == 'u' && m_ptr[3] == 'e') { m_ptr += 4; token.type = TokTrue; token.end = m_ptr; return TokTrue; } break; case '-': case '0':
...
case '9':
return lexNumber(token);
}
if (m_ptr < m_end) {
if (*m_ptr == '.') {
token.type = TokDot;
token.end = ++m_ptr;
return TokDot;
}
if (*m_ptr == '=') {
token.type = TokAssign;
token.end = ++m_ptr;
return TokAssign;
}
if (*m_ptr == ';') {
token.type = TokSemi;
token.end = ++m_ptr;
return TokAssign;
}
if (isASCIIAlpha(*m_ptr) || *m_ptr == '_' || *m_ptr == '$')
return lexIdentifier(token);
if (*m_ptr == ''') {
return lexString<mode, '''>(token);
}
}
m_lexErrorMessage = String::format("Unrecognized token '%c'", *m_ptr).impl();
return TokError;
}
經過此過程,一個完整的JSC世界的Token就生成了。然後,再進行語法分析,生成抽象語法樹:
PassRefPtr<ParsedNode> Parser<LexerType>::parse(JSGlobalObject* lexicalGlobalObject, Debugger* debugger, ExecState* debuggerExecState, JSObject** exception)
{
ASSERT(lexicalGlobalObject);
ASSERT(exception && !*exception);
int errLine;
UString errMsg;
if (ParsedNode::scopeIsFunction)
m_lexer->setIsReparsing();
m_sourceElements = 0;
errLine = -1;
errMsg = UString();
UString parseError = parseInner();
。。。
}
UString Parser<LexerType>::parseInner()
{
UString parseError = UString();
unsigned oldFunctionCacheSize = m_functionCache ? m_functionCache->byteSize() : 0;
//抽象語法樹Builder:
ASTBuilder context(const_cast<JSGlobalData*>(m_globalData), const_cast<SourceCode*>(m_source));
if (m_lexer->isReparsing())
m_statementDepth--;
ScopeRef scope = currentScope();
//開始解析生成語法樹的一個節點:
SourceElements* sourceElements = parseSourceElements<CheckForStrictMode>(context);
if (!sourceElements || !consume(EOFTOK))
} 舉例說來,根據Token的型別,JSC認為這是一個常量宣告,就會使用這個模板函式來生成語法節點,然後放入ASTBuilder裡面:
template <typename LexerType> template <class TreeBuilder> TreeConstDeclList Parser<LexerType>::parseConstDeclarationList(TreeBuilder& context) { failIfTrue(strictMode()); TreeConstDeclList constDecls = 0; TreeConstDeclList tail = 0; do { next(); matchOrFail(IDENT); const Identifier* name = m_token.m_data.ident; next(); bool hasInitializer = match(EQUAL); declareVariable(name); context.addVar(name, DeclarationStacks::IsConstant | (hasInitializer ? DeclarationStacks::HasInitializer : 0)); TreeExpression initializer = 0; if (hasInitializer) { next(TreeBuilder::DontBuildStrings); // consume '=' initializer = parseAssignmentExpression(context); } tail = context.appendConstDecl(m_lexer->lastLineNumber(), tail, name, initializer); if (!constDecls) constDecls = tail; } while (match(COMMA)); return constDecls; }
接下來,就會呼叫generate生成位元組碼,具體分下節分析。我們先看看下面來自JavaScript的一個個語法樹節點生成位元組碼的過程如下:
RegisterID* BooleanNode::emitBytecode(BytecodeGenerator& generator, RegisterID* dst)
{
if (dst == generator.ignoredResult())
return 0;
return generator.emitLoad(dst, m_value);
}
引用:
1 https://www.webkit.org/blog/3271/webkit-css-selector-jit-compiler/
2 http://blog.csdn.net/horkychen/article/details/8928578